Vercel Labs 于 10 月 30 日发布了 agent-desktop 1.0.2，采用 Apache-2.0 协议开源。它是一套用 Rust 编写的 CLI 和 C 库，让 AI 智能体直接“看懂”并操作 macOS、Windows 和 Linux 桌面应用——靠的是操作系统的无障碍树，而不是截图。对开发者来说，任何具备 shell 能力的编码智能体，现在无需视觉模型就能驱动原生应用。

它是工具，不是智能体

agent-desktop 不内置大模型，也没有图形界面。每条命令输出一个 JSON 信封后即退出，观察、执行、验证的循环留在调用方智能体里。它提供 60 个命令名，其中 56 个可用。运行时只吃普通 CPU，不需要 GPU。

token 省在哪

快照会为每个可操作元素分配带限定符的 ref，例如 @s8f3k2p9:e8；裸 @e8 会被以 INVALID_ARGS 拒绝。界面变化后，动作返回 STALE_REF 或 AMBIGUOUS_TARGET，智能体重新取快照即可。每个错误都附带“是否可安全重试”的处置建议，ref 解析严格失败关闭，不猜测。

针对节点密集的应用，–skeleton 快照只读 3 层，被截断的容器报告 children_count 并给出 drill ref，再用 snapshot --root 把某个区域读进同一快照。构建者自报：在 Slack、VS Code 和 Notion 中，相比全树转储可减少 78% 到 96% 的 token；Apple Maps 单次查看从 3,811 token 降到 273；一个模拟的 52 步任务从 19.8 万 token 降到 3.1 万。这些均为自报数据，尚无独立基准。

默认无头，不抢焦点

ref 动作走无障碍 API，不移动指针、不抢占焦点，因此智能体干活时你仍可正常使用电脑。全局 --headed 标志允许物理输入。每个 ref 动作还会自动等待最多 5,000 毫秒，直到目标可见、可用且稳定。

与像素方案对比

模型侧的 computer use 工具依赖截图和像素坐标。Anthropic 的文档称每张截图约消耗 1,000 到 1,800 输入 token，其工具集定义每次请求另加约 4,500 输入 token；OpenAI 的工具同样返回点击、输入、滚动动作交由你的代码执行。agent-desktop 与模型无关，返回结构而非图像。微软的 UFO² 也用 UI Automation，但交付的是完整的 Windows 智能体。

安装与平台要求

执行 npm install -g agent-desktop 即可，Bun、Yarn、pnpm 同样可用，包内捆绑 x64 和 ARM64 原生二进制。系统要求：macOS 13 及以上；Windows 10 1809 及以上或 Server 2019 及以上；Ubuntu 24.04 及以上。macOS 需用 agent-desktop permissions --guide 授予辅助功能权限；Windows 下与终端完整性级别相同的应用无需授权；Linux 需要带 at-spi2-core 的图形会话。智能体可通过 agent-desktop skills get desktop 从捆绑文档学习用法，该技能也列在 skills.sh 上。C 库让 Python、Swift、Go、Ruby 和 Node 宿主进程内调用。针对 Electron 网页内容，–cdp 会打开 DevTools 端口对接 agent-browser。

边界

没有无障碍树的应用仍然够不着。这既是技术限制，也划定了它当下的适用范围：原生控件密集的桌面软件，正是它的主场。