UI-TARS 桌面版上手指南3 步把电脑交给 AI 桌面助手【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天开工前你要连着点开六七页网页搜索、截图、复制、粘贴做完手都麻了小半小时也搭进去了。UI-TARS 桌面版要做的事很直接在聊天框里输入一句话这个基于视觉语言模型的 AI 桌面助手就能替你操作鼠标键盘把屏幕自动化的活儿干完。上手篇10 分钟让 AI 桌面助手跑起来 装好它macOS把 UI TARS 应用拖进应用程序文件夹再到系统设置 → 隐私与安全性里为它打开辅助功能和屏幕录制两项权限缺一项它就只能看不能动。Windows首次启动会弹出Windows 已保护你的电脑提示点更多信息再点仍要运行即可继续。用浏览器操作模式前先装好 Chrome、Edge 或 Firefox 其中之一。macOS 安装拖入应用程序文件夹再授予两项系统权限即可 你的第一个自动化任务首次启动先选操作模式本地计算机操作直接控制桌面本地浏览器操作只在浏览器里执行风险更小适合第一次试手。启动界面选择操作模式后即可在聊天框输入第一条指令试一个浏览器任务输入这句打开 Chrome搜索北京本周天气点开第一条结果告诉我明天的高温和低温。然后你只需要看它自己打开浏览器、输入关键词、点击第一条结果、读完页面后在聊天框回复温度。全程不需要你再动一下鼠标任务走偏时也可以随时从界面接管控制。浏览器自动化进行中左侧对话指令右侧预览浏览器画面可随时接管鼠标原理篇它凭什么看懂屏幕核心是一颗视觉语言模型执行链路拆成三步看每隔几秒截一次屏识别屏幕上的按钮、输入框、菜单和文字。它读的不是代码而是像素和人看屏幕的方式一样。懂把你的模糊指令翻译成可验证的目标。帮我查明天温度会被落成具体目标打开哪个页面、找什么内容、什么算完成。做规划一串动作点击、输入、滚动执行一步再截图核对结果走错下一步就修正而不是傻跑脚本。这两块职责在代码里分得很清楚智能体核心逻辑在multimodal/agent-tars/负责看和想真正动手的执行层在操作器目录packages/ui-tars/operators/提供浏览器、桌面、ADB 三种操作器同一句指令可以在不同平台上跑。任务全流程从用户指令到逐步执行、生成报告每一步都有记录玩法篇3 个可直接照抄的场景办公整理。痛点每周收尾都要翻一周的会议纪要和待办。打开桌面会议纪要文件夹把开头是临时的文件统一改成日期主题命名上个月之前的移入归档子文件夹最后告诉我处理了多少个文件。它会自动遍历文件夹 → 按规则重命名 → 移动过期文件 → 汇报数量。开发协作。痛点每次发版前要人工翻变更日志核对修了哪些 bug。打开某项目的更新日志页面提取最近两个版本的全部条目按新功能和修复分类生成一份 Markdown 摘要。它会自动打开更新日志 → 定位最近两个版本 → 分类条目 → 输出摘要。信息收集。痛点对比三家竞品定价得挨个打开官网手动抄。依次访问三家家竞品官网的定价页提取付费方案的起价和计费方式整理成 Markdown 对比表格。它会自动逐个打开定价页 → 定位价格表 → 提取数据 → 生成对比表。每个任务结束还会生成一份执行报告逐步记录截图和结果可以导出成 HTML 留档。报告可导出为 HTML每次点击和截图都有据可查调优与避坑篇接入你的 VLMKey、地址和免费额度UI-TARS 桌面版的大脑是你自己接入的视觉语言模型。在设置里选 VLM 提供商官方给出两条现成路线火山引擎 ArkDoubao-1.5-UI-TARS和 Hugging FaceUI-TARS-1.5。填三项API Key、Base URL要求 OpenAI 兼容端点Hugging Face 的地址以 /v1/ 结尾、模型名。填完点Check Model Availability确认连通再开工。选火山引擎提供商时有 30 分钟免费试用额度界面右上角有倒计时按它规划任务时长。在火山引擎控制台取得 API Key 与 Base URL回填到设置页即可怎么写指令一次成功一组对比模糊版整理一下收件箱。从哪开始、算不算完它只能猜。明确版登录邮箱页面把最近 3 天财务部发来的未读邮件全部移入账单文件夹最后告诉我移动了几封。对象、范围、验收标准齐全。两条技巧拆着发五步的大任务不如拆成 2–3 轮执行比如先打开页面再提取数据最后保存文件每轮都更容易验证。写明验收标准结果放哪、什么格式、几个文件写进指令里模型执行时可以逐步对照错了也更容易发现。⚠️ 容易翻车的 3 件事权限没给全macOS 漏开辅助功能或屏幕录制它就只能看不能点表现为任务卡在原地先回系统设置核对。网络抖动模型走远程 API断连时任务会停摆。先在设置里确认模型可用再在稳定网络下跑长任务。指令过长一句话塞五个目标动作规划很容易跑偏拆成 2–3 轮短指令成功率明显更高。写在最后一句话总结UI-TARS 桌面版替代的是手不是判断——你负责决定做什么它负责点。接下来 5 步克隆仓库git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop按文档下载安装授予系统权限并接好 VLM从单页面小任务开始比如上面查天气那一句再上多步骤工作流文件整理、更新日志、竞品对比遇到问题或想法提交给社区也欢迎看 CONTRIBUTING.md 直接贡献代码【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS 桌面版上手指南：3 步把电脑交给 AI 桌面助手
UI-TARS 桌面版上手指南3 步把电脑交给 AI 桌面助手【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每天开工前你要连着点开六七页网页搜索、截图、复制、粘贴做完手都麻了小半小时也搭进去了。UI-TARS 桌面版要做的事很直接在聊天框里输入一句话这个基于视觉语言模型的 AI 桌面助手就能替你操作鼠标键盘把屏幕自动化的活儿干完。上手篇10 分钟让 AI 桌面助手跑起来 装好它macOS把 UI TARS 应用拖进应用程序文件夹再到系统设置 → 隐私与安全性里为它打开辅助功能和屏幕录制两项权限缺一项它就只能看不能动。Windows首次启动会弹出Windows 已保护你的电脑提示点更多信息再点仍要运行即可继续。用浏览器操作模式前先装好 Chrome、Edge 或 Firefox 其中之一。macOS 安装拖入应用程序文件夹再授予两项系统权限即可 你的第一个自动化任务首次启动先选操作模式本地计算机操作直接控制桌面本地浏览器操作只在浏览器里执行风险更小适合第一次试手。启动界面选择操作模式后即可在聊天框输入第一条指令试一个浏览器任务输入这句打开 Chrome搜索北京本周天气点开第一条结果告诉我明天的高温和低温。然后你只需要看它自己打开浏览器、输入关键词、点击第一条结果、读完页面后在聊天框回复温度。全程不需要你再动一下鼠标任务走偏时也可以随时从界面接管控制。浏览器自动化进行中左侧对话指令右侧预览浏览器画面可随时接管鼠标原理篇它凭什么看懂屏幕核心是一颗视觉语言模型执行链路拆成三步看每隔几秒截一次屏识别屏幕上的按钮、输入框、菜单和文字。它读的不是代码而是像素和人看屏幕的方式一样。懂把你的模糊指令翻译成可验证的目标。帮我查明天温度会被落成具体目标打开哪个页面、找什么内容、什么算完成。做规划一串动作点击、输入、滚动执行一步再截图核对结果走错下一步就修正而不是傻跑脚本。这两块职责在代码里分得很清楚智能体核心逻辑在multimodal/agent-tars/负责看和想真正动手的执行层在操作器目录packages/ui-tars/operators/提供浏览器、桌面、ADB 三种操作器同一句指令可以在不同平台上跑。任务全流程从用户指令到逐步执行、生成报告每一步都有记录玩法篇3 个可直接照抄的场景办公整理。痛点每周收尾都要翻一周的会议纪要和待办。打开桌面会议纪要文件夹把开头是临时的文件统一改成日期主题命名上个月之前的移入归档子文件夹最后告诉我处理了多少个文件。它会自动遍历文件夹 → 按规则重命名 → 移动过期文件 → 汇报数量。开发协作。痛点每次发版前要人工翻变更日志核对修了哪些 bug。打开某项目的更新日志页面提取最近两个版本的全部条目按新功能和修复分类生成一份 Markdown 摘要。它会自动打开更新日志 → 定位最近两个版本 → 分类条目 → 输出摘要。信息收集。痛点对比三家竞品定价得挨个打开官网手动抄。依次访问三家家竞品官网的定价页提取付费方案的起价和计费方式整理成 Markdown 对比表格。它会自动逐个打开定价页 → 定位价格表 → 提取数据 → 生成对比表。每个任务结束还会生成一份执行报告逐步记录截图和结果可以导出成 HTML 留档。报告可导出为 HTML每次点击和截图都有据可查调优与避坑篇接入你的 VLMKey、地址和免费额度UI-TARS 桌面版的大脑是你自己接入的视觉语言模型。在设置里选 VLM 提供商官方给出两条现成路线火山引擎 ArkDoubao-1.5-UI-TARS和 Hugging FaceUI-TARS-1.5。填三项API Key、Base URL要求 OpenAI 兼容端点Hugging Face 的地址以 /v1/ 结尾、模型名。填完点Check Model Availability确认连通再开工。选火山引擎提供商时有 30 分钟免费试用额度界面右上角有倒计时按它规划任务时长。在火山引擎控制台取得 API Key 与 Base URL回填到设置页即可怎么写指令一次成功一组对比模糊版整理一下收件箱。从哪开始、算不算完它只能猜。明确版登录邮箱页面把最近 3 天财务部发来的未读邮件全部移入账单文件夹最后告诉我移动了几封。对象、范围、验收标准齐全。两条技巧拆着发五步的大任务不如拆成 2–3 轮执行比如先打开页面再提取数据最后保存文件每轮都更容易验证。写明验收标准结果放哪、什么格式、几个文件写进指令里模型执行时可以逐步对照错了也更容易发现。⚠️ 容易翻车的 3 件事权限没给全macOS 漏开辅助功能或屏幕录制它就只能看不能点表现为任务卡在原地先回系统设置核对。网络抖动模型走远程 API断连时任务会停摆。先在设置里确认模型可用再在稳定网络下跑长任务。指令过长一句话塞五个目标动作规划很容易跑偏拆成 2–3 轮短指令成功率明显更高。写在最后一句话总结UI-TARS 桌面版替代的是手不是判断——你负责决定做什么它负责点。接下来 5 步克隆仓库git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop按文档下载安装授予系统权限并接好 VLM从单页面小任务开始比如上面查天气那一句再上多步骤工作流文件整理、更新日志、竞品对比遇到问题或想法提交给社区也欢迎看 CONTRIBUTING.md 直接贡献代码【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考