UI-TARS：GUI 自动化智能体，3 分钟把截图变成点击脚本

UI-TARSGUI 自动化智能体3 分钟把截图变成点击脚本【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS见过模型看一眼截图就知道该点哪里吗UI-TARS 是一个开源多模态智能体模型输入屏幕截图直接输出可执行的点击、输入、拖拽操作解决VLM 看得懂界面却操作不了界面的最后一公里适合想自动化桌面或手机界面流程的开发者。它凭什么好用UI-TARS 模型架构一图看懂原生 GUI 动作空间模型输出直接就是click(start_box...)、type(content...)这类函数调用不需要再做规则化二次解析。纯视觉输入不依赖无障碍树、不用为每个应用做适配截图就是唯一界面桌面和手机应用统一处理。先想后做每个动作前先输出 Thought 推理多步骤任务的容错率明显更高。配套解析器开源仓库里的ui-tarsPython 包负责坐标换算与智能缩放兼容 Qwen-VL、Seed-VL 等多种 VLM 输出格式。图的上半部分是交互闭环UI-TARS 接收用户任务和屏幕观察输出 Thought 与 Action再通过 PyAutoGUI 落到屏幕上下半部分的感知、动作、推理、经验学习四个模块就是这些能力的来源。3 分钟上手UI-TARS 安装命令与动作解析运行环境要求一行带过Python ≥ 3.10ui-tars没有任何第三方依赖。安装包pip install ui-tars或uv pip install ui-tars。写一个最小示例把一段模型输出字符串丢给解析器from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code response Thought: Click the button\nAction: click(start_box(100,200)) parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl, ) print(parsing_response_to_pyautogui_code(parsed, 1080, 1920))看输出。如果你看到pyautogui.click(99.378, 197.803, buttonleft)这样的可执行行说明跑通了——这段脚本在你本机直接执行就会在屏幕上复现这次点击。深入玩法UI-TARS 坐标换算与提示词模板选择场景一模型给的坐标不在你的原图上。以 Qwen2.5-VL 为例模型先把截图用smart_resize缩放边长对齐 28 的倍数、总像素限制在上下界内再基于缩放图输出坐标。解析器用同一套缩放把坐标归一化后乘回原图像素——上一节示例里的(100,200)就是这样落回 1920x1080 原图的(99.378, 197.803)。场景二不同设备要换动作词汇表。仓库的 codes/ui_tars/prompt.py 内置三套模板COMPUTER_USE面向桌面含单击双击、拖拽、快捷键MOBILE_USE面向手机多了long_press、open_app、press_homeGROUNDING只输出 Action 不带 Thought适合评估定位能力。图中的红点就是由模型输出反推回原图的实际点击位置这种可视化方式也可以拿来自检坐标链路是否接对。当你需要把日常里的重复流程——批量填表、跨应用搬运信息、定时查看固定页面——自动化时接一个模型推理端点加这条解析链路就够了不用手写任何选择器。选型与避坑UI-TARS 部署对比与常见报错左表是 UI-TARS 相对此前 SOTA 的改进幅度7B 版在 ScreenSpot-Pro 上也有 14.79%右侧雷达图里蓝色UI-TARS-72B在多数 GUI 基准上处于外侧。对比维度UI-TARS-1.5-7B传统图像匹配脚本无障碍树类自动化部署门槛中需 GPU 推理端点低CPU 即可中依赖应用支持界面依赖只需截图依赖静态截图依赖控件树动态内容容忍度高低中硬件开销L40S/A100 级 GPU几乎为零几乎为零适合任务跨应用复杂任务单一固定流程自家可控应用什么时候该用跨应用的复杂任务、目标应用没有控件树、界面经常改版。什么时候不该用单一固定流程直接写死坐标的脚本更便宜也稳定。点击位置偏移几十像素 → 模型坐标基于缩放后图片、没换算回原图 → 传对smart_resize与origin_resized_*参数部署端点请求偶发失败 → 大图超过请求体上限 → 设置PAYLOAD_LIMIT环境变量坐标完全对不上 →model_type与实际模型不符qwen25vl 用绝对坐标其他按 /1000 归一化→ 核对model_type入参落地清单读完后今天就做的 3 件事在 Python ≥ 3.10 环境安装ui-tars跑通上文示例并确认输出包含pyautogui.click截一张真实任务屏幕记录原图宽高跑一次解析并核对坐标落点在codes目录运行uv run python3 -m unittest discover tests *_test.py3 个用例应全部通过项目已演进到 UI-TARS-2 的 All In One 智能体方向README_deploy.md 里的端点部署指南是跟进后续更新的最佳入口。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考