UI-TARS 桌面版：5 分钟从安装到跑通 AI GUI 自动化

UI-TARS 桌面版5 分钟从安装到跑通 AI GUI 自动化【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS 桌面版是一个基于 UI-TARS 视觉语言模型的开源 AI 桌面自动化应用用自然语言输入指令后它自动截图、看懂屏幕、控制鼠标键盘替你在本地计算机或浏览器里完成任务。本文按一件具体的活 → 装好 → 接上模型 → 下指令 → 看过程 → 远程执行 → 排坑的顺序走一遍从干净环境到跑通大约 5 分钟。先干完一件活自动整理下载文件夹拿整理下载文件夹举例PDF、安装包、图片每天堆在那里需要定期手动拖进不同子文件夹。交给 UI-TARS 后这件事变成一句指令把 Downloads 文件夹整理一下PDF 移到 Documents/PDFs图片移到 Images。它背后是一个固定闭环理解它有助于解释为什么快、为什么慢操作器Operator对当前屏幕截图截图连同你的指令一起发给视觉语言模型VLM模型输出下一步的单个动作比如点击坐标 (x, y)或输入一段文字操作器执行该动作再回到第一步重新截图循环直到模型判定任务完成或达到步数上限。默认步数上限是 100 轮可设范围 25–200每轮之间的等待时间默认 1000 毫秒两项都可在设置里调。也就是说一次整理文件夹其实是几十次看屏幕 → 动鼠标 → 确认结果。 下载安装macOS 两步Windows 两步安装是最省事的一段。系统要求为 macOS 10.15 及以上、Windows 10 及以上目前仅支持单显示器环境多显示器配置可能导致部分任务失败。macOS从项目的 releases 页面获取最新版安装包已装 Homebrew 的也可以一行命令装brew install --cask ui-tars。下载后把 UI TARS 图标拖入 Applications 文件夹即完成安装。第二步最容易漏授权。打开系统设置 → 隐私与安全性为 UI TARS 开启Accessibility辅助功能和Screen Recording屏幕录制两项。前者让鼠标键盘可被操作后者用于截屏缺任何一项自动化循环都转不起来。Windows双击安装程序例如 UI.TARS-0.1.0-preview.Setup.exe遇到安全提示时点击仍要运行即可。还有一个前置条件浏览器操作器需要本机装有 Chrome、Edge 或 Firefoxstable / beta / dev 任一版本。 接上大脑视觉语言模型的四个必填项应用本身不带模型要外接一个看得懂屏幕、会输出 GUI 动作的视觉语言模型。设置页有四个必填项VLM Provider、VLM Base URL、VLM API Key、VLM Model Name另有一个语言选项只影响模型输出语言不影响应用界面语言。注意 Provider 不是摆设它决定应用如何解析模型返回的动作必须与部署的模型严格对应例如 Hugging Face 部署的 UI-TARS-1.5 要选 Hugging Face for UI-TARS-1.5。火山引擎 Ark 路线拿到凭证最快在火山引擎控制台找到 Doubao-1.5-UI-TARS 模型页点右上角立即体验再进入API 接入。弹出的面板里STEP 1 拿 API KeySTEP 2 完成认证后切到 OpenAI SDK 标签页可拿到 Base URL 和模型名。对应四个配置项Provider 选 VolcEngine Ark for Doubao-1.5-UI-TARSBase URL 填https://ark.cn-beijing.volces.com/api/v3模型名填doubao-1.5-ui-tars-250328。Hugging Face 自部署路线在 Hugging Face 的 endpoint 页面点右上角 Deploy from Hugging Face选择 UI-TARS-1.5-7B 模型部署完成后从 endpoint 页获取 Base URL、API Key 与模型名。这条路线最容易踩的点是 Base URL 必须以/v1/结尾例如https://your-endpoint.huggingface.cloud/v1/漏掉结尾是连接失败的主要原因之一。回填设置并校验四项填完先点一次Check Model Availability验证连通性通过之后大脑就算接好了。️ 下第一条指令两个本地操作器主界面分三块左侧是 New Chat 与历史记录列表中间是指令输入区左下角是 Settings 入口。开始任务前先选操作器Computer Use作用于本地计算机处理桌面应用、文件整理、系统设置等桌面自动化任务Browser Use作用于本地浏览器处理页面导航、表单填写、信息采集等网页 GUI 任务。本文的例子整理下载文件夹属于计算机操作选 Computer Use 即可。在输入框写下指令、回车Agent 就开始执行 看它执行截图、步骤与报告导出任务运行期间界面实时反馈每一轮的模型推理与动作能直接看到它正看着哪块屏幕、准备做什么。动作跑偏时直接终止任务并换一条更具体的指令重发即可。任务结束后全过程会整理成 HTML 报告点 Export as HTMLShare可下载到本地若配置过报告存储服务地址导出后会自动上传并复制出链接。报告也是复盘入口调试任务时先看报告里的截图与动作序列哪一轮跑偏一目了然。☁️ 远程操作器用云端的电脑和浏览器除两个本地操作器外v0.2.0 起还提供 Remote Computer Operator 与 Remote Browser Operator任务跑在云端桌面或云端浏览器里你在本地看屏幕、下指令。每个会话有 30 分钟免费时长倒计时归零或点右上角 Terminate 后会话结束、云端资源随之释放。远程浏览器画面里还有接管入口点一下即可用本地鼠标接管该标签页手动处理登录、验证码等情况再交还给模型继续跑。需要提前知道的一点官方免费的远程服务已于 2025 年 8 月 20 日停止之后如需远程任务可通过火山引擎 OS Agent 服务自行部署。 排坑与深入方向跑通过程中最常遇到的问题与处理方式如下现象常见原因处理办法鼠标键盘动不了Accessibility 未开启回到隐私与安全性重新勾选截图全黑、看不到屏幕Screen Recording 未开启开启后重启应用模型连接失败Base URL 格式错误Hugging Face 路线确认以 /v1/ 结尾并检查网络浏览器操作器起不来未安装浏览器安装最新版 Chrome / Edge / Firefox任务偶发失败多显示器环境、指令过于笼统保持单显示器把长任务拆成短指令值得继续深入的两个方向预设Preset把一套设置打包成 YAML可以文件方式导入也可以走 URL启动时自动同步适合多台机器统一配置仓库自带示例模板。SDK不想走桌面应用时ui-tars/sdk是跨平台的 GUI 自动化工具包Node.js 与浏览器环境都能跑npx ui-tars/cli start即可体验同样的截图 → 推理 → 执行循环。仓库内的相关文档快速入门、设置配置指南、预设管理指南、预设模板示例、SDK 文档。下一步清单上手后按顺序做这 4 件事工具才能真正落到日常使用里按系统完成安装macOS 用户确认辅助功能 屏幕录制两项权限都已开启用火山引擎 Ark 路线接入模型拿凭证最快点一次 Check Model Availability 验证通过先跑打开浏览器访问某个网站这类低风险任务验证闭环再切到 Computer Use 跑本文开头的整理下载文件夹示例任务结束导出 HTML 报告回看截图与动作序列按需调整 Max Loop 与每轮等待时间两项参数。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考