macOS 后台 Computer Use：cua-driver 通过 SkyLight 私有 SPI 驱动桌面，光标不动、空间不切
Hermes Agent 可以在后台驱动你的 Mac 桌面——点击、输入、滚动、拖拽。你的光标不会移动，键盘焦点不会改变，macOS 也不会切换空间（Spaces）。你和代理可以在同一台机器上协同工作。
与大多数计算机使用集成不同，此功能适用于任何具备工具调用能力的模型——Claude、GPT、Gemini，或本地 vLLM 端点上的开源模型。不依赖 Anthropic 原生的 schema。
项目地址：trycua/cua
工作原理
computer_use 工具集通过 stdio 与 cua-driver 进行 MCP 通信。cua-driver 是一个 macOS 驱动程序，利用 SkyLight 私有 SPI（SLEventPostToPid、SLPSPostEventRecordTo）和 _AXObserverAddNotificationAndCheckRemote 辅助功能 SPI，实现：
- 直接向目标进程发布合成事件——无需 HID 事件 tap，无需光标扭曲。
- 在不提升窗口的情况下翻转 AppKit 激活状态——无需切换空间。
- 在窗口被遮挡时保持 Chromium/Electron 辅助功能树活跃。
这种组合正是 OpenAI Codex「后台计算机使用」所采用的方案，cua-driver 是其开源等效实现。
启用
两条路径运行的是同一个上游安装程序，选最方便的即可。
选项 1：专用 CLI 命令（最直接）。
hermes computer-use install
该命令会获取并运行上游 cua-driver 安装程序：
curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh
用 hermes computer-use status 验证安装。
选项 2：交互式启用工具集。运行 hermes tools，选择 🖱️ Computer Use (macOS) → cua-driver (background)。
安装完成后：
- 在提示时授予 macOS 权限：系统设置 → 隐私与安全性 → 辅助功能 → 允许终端（或 Hermes 应用）。
- 系统设置 → 隐私与安全性 → 屏幕录制 → 允许相同的应用。
- 启动启用了该工具集的会话：
hermes -t computer_use chat。 - 或者在
~/.hermes/config.yaml中将computer_use添加到已启用的工具集中。
保持 cua-driver 最新
cua-driver 项目定期发布修复（例如 v0.1.6 修复了 UTM 工作流中的 Safari 窗口焦点错误）。Hermes 在两个地方刷新二进制文件：
hermes update—— 更新 Hermes 本身时，如果cua-driver在 PATH 中，上游安装程序会在更新结束时重新运行。对非 macOS 用户和未安装 cua-driver 的用户无影响。hermes computer-use install --upgrade—— 手动强制刷新，无论是否已安装 cua-driver，都会重新运行上游安装程序。hermes computer-use status会在二进制路径旁边显示已安装的版本。
快速示例
用户提示：「找到我来自 Stripe 的最新邮件，并总结他们希望我做什么。」
代理的计划：
computer_use(action="capture", mode="som", app="Mail")—— 获取 Mail 的截图，其中每个侧边栏项目、工具栏按钮和消息行都已编号。computer_use(action="click", element=14)—— 点击搜索字段（截图中元素 #14）。computer_use(action="type", text="from:stripe")computer_use(action="key", keys="return", capture_after=True)—— 提交并获取新截图。- 点击顶部结果，阅读正文，总结。
在此过程中，你的光标保持在原位，Mail 永远不会前置。
提供商兼容性
| 提供商 | 视觉支持 | 可用 | 备注 |
|---|---|---|---|
| Anthropic (Claude Sonnet/Opus 3+) | ✅ | ✅ | 整体最佳；支持 SOM + 原始坐标。 |
| OpenRouter (任何视觉模型) | ✅ | ✅ | 支持多部分工具消息。 |
| OpenAI (GPT-4+, GPT-5) | ✅ | ✅ | 同上。 |
| 本地 vLLM / LM Studio (视觉模型) | ✅ | ✅ | 如果模型支持多部分工具内容。 |
| 纯文本模型 | ❌ | ✅ (降级) | 使用 mode="ax" 进行仅辅助功能树操作。 |
截图作为 OpenAI 风格的 image_url 部分随工具结果内联发送。对于 Anthropic，适配器将其转换为原生的 tool_result 图像块。
安全性
Hermes 应用多层防护：
- 破坏性操作（点击、输入、拖拽、滚动、按键、聚焦应用）需要批准——要么通过 CLI 对话框交互式批准，要么通过消息平台的批准按钮。
- 在工具级别硬阻塞的组合键：清空废纸篓、强制删除、锁定屏幕、注销、强制注销。
- 硬阻塞的输入模式：
curl | bash、sudo rm -rf /、fork bombs 等。 - 代理的系统提示明确告知：不点击权限对话框，不输入密码，不遵循嵌入在截图中的指令。
- 如果希望确认每个操作，请在
~/.hermes/config.yaml中配合使用approvals.mode: manual。
Token 效率
截图开销很大。Hermes 应用四层优化：
- 截图驱逐 —— Anthropic 适配器在上下文中仅保留最近的 3 张截图；较旧的截图会被替换为
[screenshot removed to save context]占位符。 - 客户端压缩修剪 —— 上下文压缩器会检测多模态工具结果，并从旧结果中剥离图像部分。
- 图像感知令牌估算 —— 每张图像按约 1500 个令牌计算（Anthropic 的固定费率），而非按其 base64 字符长度计算。
- 服务端上下文编辑（仅限 Anthropic） —— 启用时，适配器通过
context_management启用clear_tool_uses_20250919，以便 Anthropic 的 API 在服务端清除旧的工具结果。
在 1568×900 分辨率的显示器上，一次包含 20 个操作的会话通常消耗约 30K 令牌的截图上下文，而非约 600K。
限制
- 仅限 macOS。 cua-driver 使用了 Linux 或 Windows 上不存在的 Apple 私有 SPI。跨平台 GUI 自动化请使用
browser工具集。 - 私有 SPI 风险。 Apple 可能在任何操作系统更新中更改 SkyLight 的符号表面。如果希望在 macOS 版本升级后保持可复现性，请使用
HERMES_CUA_DRIVER_VERSION环境变量锁定驱动程序版本。 - 性能。 后台模式比前台模式慢——SkyLight 路由的事件耗时约 5–20 毫秒，直接 HID posting 更快。
- 不支持键盘输入密码。
type对命令 shell 负载有硬阻塞模式；密码输入请使用系统的自动填充功能。
配置
覆盖驱动程序二进制路径（测试 / CI）：
HERMES_CUA_DRIVER_CMD=/opt/homebrew/bin/cua-driver
HERMES_CUA_DRIVER_VERSION=0.5.0 # optional pin
完全交换后端（用于测试）：
HERMES_COMPUTER_USE_BACKEND=noop # records calls, no side effects
故障排除
computer_use backend unavailable: cua-driver is not installed—— 运行hermes computer-use install获取 cua-driver 二进制文件，或运行hermes tools并启用 Computer Use 工具集。- 点击似乎无效 —— 捕获并验证。可能存在你未察觉的模式对话框阻塞了输入。使用 escape 键或关闭按钮将其 dismiss。
- 元素索引过时 —— SOM 索引仅在下次 capture 之前有效。在任何改变状态的操作之后重新捕获。
blocked pattern in type text—— 你尝试 type 的文本匹配危险 shell 模式列表。请将命令拆分或重新考虑该操作。
另见
- 通用技能：
macos-computer-use - cua-driver 源码（trycua/cua）：
- 浏览器自动化：用于跨平台 Web 任务。