Generated by Answer me with HTML 0.5.10 · 2026-11-19 21:54 · ★ Star on GitHub
CUA 三种架构与评测选型
看清 CDP、AX/UIA、视觉操作的边界,再设计公平、可复现的评测。
先确定要测什么,再规定 Agent 能看什么、能做什么。环境准备和独立评分可以使用另一组工具。
三条路线,共用一个观察与行动循环
CUA 指 Computer-Using Agent,即操作计算机界面的 Agent。三条路线的核心区别,是观察信息和动作语义。
| 路线 | 一句话理解 | 观察与行动链路 |
|---|---|---|
| 浏览器结构路线:CDP | 读取浏览器内部结构,再操作页面 | DOM、页面 AX 树 → 定位元素 → 浏览器动作 → 重新观察 |
| 系统无障碍路线:AX / UIA | 读取应用暴露的控件语义,再调用动作 | 控件树 → 名称与状态 → 支持的控件动作 → 重新观察 |
| 视觉路线:Vision + 鼠标键盘 | 观察可见像素,再执行坐标动作 | 截图 → 视觉定位 → 点击、输入或拖拽 → 再截图 |
纯视觉工具可以在内部使用 CDP 截图或派发坐标事件。只要不额外暴露 DOM、AX 或 JS 状态,就不因此变成结构化评测。 动作也要遵守协议:坐标点击不能偷偷替换为 DOM 定位或直接修改状态。
三种架构分别能看到、做到什么
| 维度 | CDP 浏览器结构 | AX / UIA 系统无障碍 | Vision + 鼠标键盘 |
|---|---|---|---|
| 接口含义 | Chrome DevTools Protocol | macOS Accessibility / Windows UI Automation | 截图观察与规定的输入动作 |
| 观察输入 | 协议允许的 DOM、页面 AX、截图 | 应用暴露的控件树、属性、状态 | 屏幕上的可见像素 |
| 目标定位 | 节点、选择器、属性,也可用坐标 | 控件名称、角色、层级和属性 | 视觉推理得到的屏幕位置 |
| 动作语义 | 浏览器 Input、节点操作;JS 须另行授权 | AX Actions / UIA Control Patterns | 点击、输入、滚动、拖拽 |
| 典型范围 | Chromium 页面与可连接的 Electron renderer | 支持对应无障碍接口的桌面应用 | 可截图、可注入输入的可见桌面 |
| 主要前提 | 调试连接、目标范围与协议权限可控 | 系统授权、控件 provider 和动作支持 | 桌面会话、截图和输入权限可用 |
| 常见失败 | 目标不可连接、节点失效、越过允许的状态范围 | 自绘控件缺语义、控件不可写或不支持动作 | 遮挡、缩放、坐标误差、窗口状态变化 |
结构化接口也需要重新观察。 节点可能失效,控件可能变为禁用;动作返回成功也不证明任务已经完成。
AX / UIA 不是 HTML DOM。 “操作系统版本的 DOM”只适合作为入门类比。
应用类型、Runner 和通信协议各在哪一层
| 目标应用 | 结构化入口 | 需要检查的边界 |
|---|---|---|
| Chromium 网页 | CDP 的页面目标 | DOM 与页面 AX 不等于全桌面控件树 |
| Electron 应用 | 可连接的 renderer 调试目标;部分 UI 可走系统无障碍 | 集成 Chromium 不代表已开放外部调试;原生对话框未必属于页面 DOM |
| macOS 原生应用 | Apple AX;也可按协议使用视觉操作 | AppKit、SwiftUI 是 UI 技术,不是操作系统内核 |
| Windows 原生应用 | Windows UIA;也可按协议使用视觉操作 | Win32、WPF、WinUI 是 UI 技术,不代表统一的控件支持程度 |
CDP 协议定义限定了页面 DOM、Input 和 AX 域。Electron 调试文档区分窗口页面与 main process 的调试边界。
Harness 管理上下文、工具调用和停止条件。Runner 在目标桌面执行被允许的能力。
WebSocket 负责传输命令和结果,不决定观察方式。Mac 或 Windows 资源池负责提供执行环境,也不决定评测协议。
评测场景如何选型
先区分两类目标:测 Agent 的能力,或用自动化工具完成评测工作。下表是设计建议,不是统一 Benchmark 标准。
| 场景 | 被测 Agent 的能力选择 | 基础设施或 Grader 的选择 | 判定依据 |
|---|---|---|---|
| 纯视觉 CUA 能力 | 截图观察 + 规定的鼠标键盘动作 | 可独立读取文件、API 或数据库 | 不把结构化观察泄露给 Agent |
| Browser Agent 结构化能力 | 明确允许哪些 DOM / 页面 AX 信息和动作 | 使用独立状态或产物验证 | 固定页面范围、过滤规则及 JS 权限 |
| Electron 桌面 Agent | 按协议选择 CDP、系统无障碍或视觉 | 分别验证页面与原生界面状态 | 先检查调试入口与实际控件范围 |
| macOS 原生 App | 固定为 AX、视觉或声明过的混合能力 | 独立 AX、文件或业务 API | 检查系统权限和应用的 AX 暴露 |
| Windows 原生 App | 固定为 UIA、视觉或声明过的混合能力 | 独立 UIA、文件或业务 API | 检查 provider 和 control patterns |
| 产品端到端完成率 | 保留该产品真实的工具栈 | 统一任务目标与评分规则 | 比较完整系统,并报告工具条件 |
| 环境准备与重置 | 不纳入 Subject 的被测能力 | 优先 API、文件、CDP、AX / UIA | 追求确定性、可回滚和低成本 |
| 最终结果评分 | Subject 不持有评分权限 | 选择能直接证明目标的证据 | 文件内容、业务状态、测试或视觉结果 |
生产自动化可按应用支持情况组合工具。能力评测只有在协议允许时,才能从视觉切换到 AX 或 DOM。 模型对比应固定工具与预算。产品对比可以保留不同工具栈,但不能直接解释为裸模型排名。
被测 Agent 与评分器必须分开
例如任务要求“用编辑器创建 hello.ts,并写入指定内容”。Subject 可以只用截图和鼠标键盘完成任务。
| 评分检查 | 能证明什么 | 不能单独证明什么 |
|---|---|---|
| 文件存在 | 目标路径有文件 | 内容正确、程序可执行 |
| 内容与格式校验 | 文件符合题目要求 | 必须通过界面完成的操作过程 |
| 编译或受限测试 | 题目要求的代码行为 | 视觉任务的布局、颜色或遮挡 |
| 轨迹与操作审计 | 是否遵守允许的操作通道 | 最终业务目标一定达成 |
| 截图或视觉检查 | 题目要求的可见结果 | 隐藏的数据库或文件状态 |
Grader 可以比 Subject 拥有更强的验证能力。评分凭证、隐藏测试和答案须独立保存,不能回流到 Subject 上下文。
独立评分能减少作弊机会,但还需要隔离执行通道和产物访问权限。
把能力边界写成协议,并在执行层强制落实
下面是纯视觉评测的示意配置,不是某个平台的现成 API。
{ "evaluation_goal": "visual_interaction", "subject": { "observations": ["screenshot"], "actions": ["click_xy", "type_text", "scroll", "drag"], "forbidden_observations": ["dom", "ax_tree", "js_state"], "allow_capability_fallback": false }, "environment": { "platform": "mac-arm", "snapshot": "task-start-v1" }, "grader": { "evidence": ["file_content", "test_result"], "isolated_from_subject": true }}| 执行位置 | 必须落实的约束 |
|---|---|
| 工具注册与权限层 | 只向 Subject 注册允许的工具,拦截未授权调用 |
| 观察返回层 | 过滤 DOM、AX、隐藏状态和额外元数据 |
| 动作执行层 | 保持协议规定的动作语义与可作用范围 |
| Sandbox 与身份层 | 隔离评分凭证、答案和隐藏测试 |
| 轨迹采集层 | 记录实际使用的能力、降级、失败和重试 |
JSON 声明本身不是隔离机制。限制还应覆盖文件系统、网络和绕过工具直接调用 API 的通道。
成绩可比、过程可复现,需要记录什么
| 记录类别 | 应固定或报告的条件 |
|---|---|
| Agent 与 Harness | 模型版本、提示词、Harness 版本、上下文策略 |
| 工具协议 | 观察信息、动作语义、工具版本、权限、是否允许降级 |
| 运行预算 | 最大步数、时间或 Token 预算、超时、重试与并发策略 |
| 桌面环境 | OS、CPU 架构、App 版本、语言、分辨率、缩放比例 |
| 初始状态 | 环境快照、窗口布局、焦点、登录态、初始数据 |
| 过程证据 | 截图、工具输入输出、时间戳、动作坐标和错误 |
| 结果与评分 | 产物快照、Grader 版本、任务完成条件和失败归因 |
至少区分基础设施失败、工具调用失败、Agent 任务失败。总完成率之外,应报告失败分布、耗时、成本与协议违规情况。
不要静默删除基础设施失败,也不要把它直接归因为模型能力差。按评测协议报告重跑条件、排除条件和实际分母。
若任务目标是视觉呈现,评分仍需覆盖可见效果。结构化状态存在,不等于界面展示正确。
来源与阅读边界
本文整理自指定会话,并用官方资料核对接口边界。评测矩阵、职责分层和协议示例是基于会话的设计建议。
| 来源 | 支撑内容 |
|---|---|
| 原始会话:解释 Agent Harness | 三条技术路线、评测目标、Subject 与 Grader 分离 |
| Chrome DevTools Protocol 官方定义 | DOM、页面 Input 与文档 Accessibility 域 |
| Electron 主进程调试 | 窗口页面与 main process 的调试边界 |
| Apple 自定义控件无障碍支持 | AX 属性、动作,以及应用需暴露的控件语义 |
| Microsoft UI Automation 概览 | UIA 元素树、provider 与 control patterns |
| Anthropic Computer use tool | 截图、动作执行、结果回传与继续观察的循环 |
接口支持程度应以目标 App、系统版本和实际授权为准。本文不把任何路线的成功率或性能排序当作实测结论。