UI-TARS 坐标定位3步校准点错不再发生【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动开源的多模态智能体让模型看着截屏直接操作真实软件。它解决 GUI 自动化里每个按钮都要手写点击脚本的问题坐标定位是最容易点歪的一环。本文带你走完配参数、跑验证、调准 3 步。它在 OSWorld 上拿到 42.5%比 OpenAI CUA 高 6 个百分点。脚本点歪按钮后会发生什么点偏十几个像素弹窗根本不会打开。下一步截屏和预期对不上模型只能对着错误的界面继续猜。错误逐步放大整个任务卡死在第三步。原理一句话在标准化图上打点再换算回屏幕整条链路可以这么理解。模型先在标准化后的截屏上标出一个位置这个坐标就像纸质地图上的记号。你得按比例把它换算成自己屏幕上的真实像素点。仓库里 codes/ui_tars/action_parser.py 中的 smart_resize 负责这次换算。 上手三步配参数、跑验证、调准第1步先把坐标换算参数配对核心是调用 parse_action_to_structure_output它在 codes/ui_tars/action_parser.py 里。四个参数对齐即可parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl)宽、高两个参数必须是喂给模型的截屏真实像素尺寸。model_type 要和实际模型对齐。qwen25vl 输出绝对坐标函数内部走 smart_resize 换算。qwen2vl 输出相对坐标直接除以 factor。第2步跑一遍验证脚本仓库自带测试用例codes/tests/action_parser_test.py。直接运行它核对三点。动作解析出的 action_type 是 click。坐标字段变成了 start_box。hotkey 动作能生成 pyautogui.hotkey 代码。第3步按可视化结果调准先选对提示模板。桌面任务用 COMPUTER_USE移动模拟器用 MOBILE_USE三个模板都在 codes/ui_tars/prompt.py 里。然后把换算后的坐标叠回截屏上。位置不对着目标元素就回到第1步重查四个参数。参数速查坐标缩放因子怎么配参数默认值什么时候要改model_typeqwen25vl换用 qwen2vl 等相对坐标模型时factor无默认常传 1000相对坐标模型的坐标范围变化时origin_resized_width / origin_resized_height无默认必填分辨率一变就要传真实截屏尺寸IMAGE_FACTOR28基本不用动这是训练时的缩放基准max_pixels16384×28×28截屏过大、超出上限时调小min_pixels100×28×28截屏过小、被放大时调大 看图验证红点落在哪准不准就知道仓库提供了一份完整教程README_coordinates.md。它把模型输出的坐标叠成红点画回原截屏。红点落在目标元素中心说明校准到位。落在元素边缘通常也能用。落在隔壁元素上就是参数配错回去查 model_type 和宽高两个参数。下图的红点正压在 GIMP 的System Resources上。真实案例GIMP 的System Resources一步点中看到什么1920×1080 的 Ubuntu 桌面上GIMP 偏好设置窗口打开左侧栏有System Resources条目。输出什么坐标模型给出 click(start_box(197,525))它是 1932×1092 标准化坐标系里的值。执行后什么结果换算后落在原截屏约 (195,520) 处正是System Resources文字位置。pyautogui 点击命中菜单正常展开。定位不准先查哪里3个坑坑系统显示缩放开着 125% 或 150%截屏像素数和屏幕坐标系对不上 → 解法按 100% 缩放运行或一切以真实截屏尺寸为换算基准 坑model_type 和实际模型不匹配相对坐标被当成绝对坐标解析 → 解法模型参数跟模型对齐相对坐标模型传 factor1000 坑origin_resized_width/height 随手填了和真实截屏不符的占位值 → 解法传喂给模型那张截屏的真实像素尺寸不要估收尾坐标定位的关键是先把四个参数对齐再看红点验证结果。这套流程跑通点歪按钮的概率会明显降下来。模型部署和第一次推理看官方指南README_deploy.md。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 UI-TARS 坐标定位：3步校准，点错不再发生
UI-TARS 坐标定位3步校准点错不再发生【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动开源的多模态智能体让模型看着截屏直接操作真实软件。它解决 GUI 自动化里每个按钮都要手写点击脚本的问题坐标定位是最容易点歪的一环。本文带你走完配参数、跑验证、调准 3 步。它在 OSWorld 上拿到 42.5%比 OpenAI CUA 高 6 个百分点。脚本点歪按钮后会发生什么点偏十几个像素弹窗根本不会打开。下一步截屏和预期对不上模型只能对着错误的界面继续猜。错误逐步放大整个任务卡死在第三步。原理一句话在标准化图上打点再换算回屏幕整条链路可以这么理解。模型先在标准化后的截屏上标出一个位置这个坐标就像纸质地图上的记号。你得按比例把它换算成自己屏幕上的真实像素点。仓库里 codes/ui_tars/action_parser.py 中的 smart_resize 负责这次换算。 上手三步配参数、跑验证、调准第1步先把坐标换算参数配对核心是调用 parse_action_to_structure_output它在 codes/ui_tars/action_parser.py 里。四个参数对齐即可parsed parse_action_to_structure_output( response, factor1000, origin_resized_height1080, origin_resized_width1920, model_typeqwen25vl)宽、高两个参数必须是喂给模型的截屏真实像素尺寸。model_type 要和实际模型对齐。qwen25vl 输出绝对坐标函数内部走 smart_resize 换算。qwen2vl 输出相对坐标直接除以 factor。第2步跑一遍验证脚本仓库自带测试用例codes/tests/action_parser_test.py。直接运行它核对三点。动作解析出的 action_type 是 click。坐标字段变成了 start_box。hotkey 动作能生成 pyautogui.hotkey 代码。第3步按可视化结果调准先选对提示模板。桌面任务用 COMPUTER_USE移动模拟器用 MOBILE_USE三个模板都在 codes/ui_tars/prompt.py 里。然后把换算后的坐标叠回截屏上。位置不对着目标元素就回到第1步重查四个参数。参数速查坐标缩放因子怎么配参数默认值什么时候要改model_typeqwen25vl换用 qwen2vl 等相对坐标模型时factor无默认常传 1000相对坐标模型的坐标范围变化时origin_resized_width / origin_resized_height无默认必填分辨率一变就要传真实截屏尺寸IMAGE_FACTOR28基本不用动这是训练时的缩放基准max_pixels16384×28×28截屏过大、超出上限时调小min_pixels100×28×28截屏过小、被放大时调大 看图验证红点落在哪准不准就知道仓库提供了一份完整教程README_coordinates.md。它把模型输出的坐标叠成红点画回原截屏。红点落在目标元素中心说明校准到位。落在元素边缘通常也能用。落在隔壁元素上就是参数配错回去查 model_type 和宽高两个参数。下图的红点正压在 GIMP 的System Resources上。真实案例GIMP 的System Resources一步点中看到什么1920×1080 的 Ubuntu 桌面上GIMP 偏好设置窗口打开左侧栏有System Resources条目。输出什么坐标模型给出 click(start_box(197,525))它是 1932×1092 标准化坐标系里的值。执行后什么结果换算后落在原截屏约 (195,520) 处正是System Resources文字位置。pyautogui 点击命中菜单正常展开。定位不准先查哪里3个坑坑系统显示缩放开着 125% 或 150%截屏像素数和屏幕坐标系对不上 → 解法按 100% 缩放运行或一切以真实截屏尺寸为换算基准 坑model_type 和实际模型不匹配相对坐标被当成绝对坐标解析 → 解法模型参数跟模型对齐相对坐标模型传 factor1000 坑origin_resized_width/height 随手填了和真实截屏不符的占位值 → 解法传喂给模型那张截屏的真实像素尺寸不要估收尾坐标定位的关键是先把四个参数对齐再看红点验证结果。这套流程跑通点歪按钮的概率会明显降下来。模型部署和第一次推理看官方指南README_deploy.md。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考