Generated by Answer me with HTML 0.5.10 · 2026-11-19 21:54 · ★ Star on GitHub

CUA 三种架构与评测选型

看清 CDP、AX/UIA、视觉操作的边界,再设计公平、可复现的评测。

整理日期2026-11-19范围桌面与浏览器 Agent 评测

先确定要测什么,再规定 Agent 能看什么、能做什么。环境准备和独立评分可以使用另一组工具。

A

三条路线,共用一个观察与行动循环

CUA 指 Computer-Using Agent,即操作计算机界面的 Agent。三条路线的核心区别,是观察信息和动作语义。

DOM或页面AXAX或UIA控件树截图与坐标浏览器动作控件动作鼠标键盘验证变化继续或结束任务与历史Agent决策浏览器适配器系统适配器视觉适配器目标界面新观察
路线 一句话理解 观察与行动链路
浏览器结构路线:CDP 读取浏览器内部结构,再操作页面 DOM、页面 AX 树 → 定位元素 → 浏览器动作 → 重新观察
系统无障碍路线:AX / UIA 读取应用暴露的控件语义,再调用动作 控件树 → 名称与状态 → 支持的控件动作 → 重新观察
视觉路线:Vision + 鼠标键盘 观察可见像素,再执行坐标动作 截图 → 视觉定位 → 点击、输入或拖拽 → 再截图
划分依据是能力边界,而非底层传输协议

纯视觉工具可以在内部使用 CDP 截图或派发坐标事件。只要不额外暴露 DOM、AX 或 JS 状态,就不因此变成结构化评测。 动作也要遵守协议:坐标点击不能偷偷替换为 DOM 定位或直接修改状态。

B

三种架构分别能看到、做到什么

维度 CDP 浏览器结构 AX / UIA 系统无障碍 Vision + 鼠标键盘
接口含义 Chrome DevTools Protocol macOS Accessibility / Windows UI Automation 截图观察与规定的输入动作
观察输入 协议允许的 DOM、页面 AX、截图 应用暴露的控件树、属性、状态 屏幕上的可见像素
目标定位 节点、选择器、属性,也可用坐标 控件名称、角色、层级和属性 视觉推理得到的屏幕位置
动作语义 浏览器 Input、节点操作;JS 须另行授权 AX Actions / UIA Control Patterns 点击、输入、滚动、拖拽
典型范围 Chromium 页面与可连接的 Electron renderer 支持对应无障碍接口的桌面应用 可截图、可注入输入的可见桌面
主要前提 调试连接、目标范围与协议权限可控 系统授权、控件 provider 和动作支持 桌面会话、截图和输入权限可用
常见失败 目标不可连接、节点失效、越过允许的状态范围 自绘控件缺语义、控件不可写或不支持动作 遮挡、缩放、坐标误差、窗口状态变化

结构化接口也需要重新观察。 节点可能失效,控件可能变为禁用;动作返回成功也不证明任务已经完成。

AX / UIA 不是 HTML DOM。 “操作系统版本的 DOM”只适合作为入门类比。

C

应用类型、Runner 和通信协议各在哪一层

目标应用 结构化入口 需要检查的边界
Chromium 网页 CDP 的页面目标 DOM 与页面 AX 不等于全桌面控件树
Electron 应用 可连接的 renderer 调试目标;部分 UI 可走系统无障碍 集成 Chromium 不代表已开放外部调试;原生对话框未必属于页面 DOM
macOS 原生应用 Apple AX;也可按协议使用视觉操作 AppKit、SwiftUI 是 UI 技术,不是操作系统内核
Windows 原生应用 Windows UIA;也可按协议使用视觉操作 Win32、WPF、WinUI 是 UI 技术,不代表统一的控件支持程度

CDP 协议定义限定了页面 DOM、Input 和 AX 域。Electron 调试文档区分窗口页面与 main process 的调试边界。

RPC或WebSocketHarness控制循环桌面RunnerCDP适配器AX或UIA适配器截图输入适配器应用与桌面

Harness 管理上下文、工具调用和停止条件。Runner 在目标桌面执行被允许的能力。

WebSocket 负责传输命令和结果,不决定观察方式。Mac 或 Windows 资源池负责提供执行环境,也不决定评测协议。

D

评测场景如何选型

先区分两类目标:测 Agent 的能力,或用自动化工具完成评测工作。下表是设计建议,不是统一 Benchmark 标准。

场景 被测 Agent 的能力选择 基础设施或 Grader 的选择 判定依据
纯视觉 CUA 能力 截图观察 + 规定的鼠标键盘动作 可独立读取文件、API 或数据库 不把结构化观察泄露给 Agent
Browser Agent 结构化能力 明确允许哪些 DOM / 页面 AX 信息和动作 使用独立状态或产物验证 固定页面范围、过滤规则及 JS 权限
Electron 桌面 Agent 按协议选择 CDP、系统无障碍或视觉 分别验证页面与原生界面状态 先检查调试入口与实际控件范围
macOS 原生 App 固定为 AX、视觉或声明过的混合能力 独立 AX、文件或业务 API 检查系统权限和应用的 AX 暴露
Windows 原生 App 固定为 UIA、视觉或声明过的混合能力 独立 UIA、文件或业务 API 检查 provider 和 control patterns
产品端到端完成率 保留该产品真实的工具栈 统一任务目标与评分规则 比较完整系统,并报告工具条件
环境准备与重置 不纳入 Subject 的被测能力 优先 API、文件、CDP、AX / UIA 追求确定性、可回滚和低成本
最终结果评分 Subject 不持有评分权限 选择能直接证明目标的证据 文件内容、业务状态、测试或视觉结果
评测中不能随意切换到更强工具

生产自动化可按应用支持情况组合工具。能力评测只有在协议允许时,才能从视觉切换到 AX 或 DOM。 模型对比应固定工具与预算。产品对比可以保留不同工具栈,但不能直接解释为裸模型排名。

E

被测 Agent 与评分器必须分开

被测执行域独立验证域只开放允许能力完成任务结束执行只读证据评测编排器协议与初始环境Subject与受限Runner桌面Sandbox冻结状态与采集产物独立Grader评分与失败归因

例如任务要求“用编辑器创建 hello.ts,并写入指定内容”。Subject 可以只用截图和鼠标键盘完成任务。

评分检查 能证明什么 不能单独证明什么
文件存在 目标路径有文件 内容正确、程序可执行
内容与格式校验 文件符合题目要求 必须通过界面完成的操作过程
编译或受限测试 题目要求的代码行为 视觉任务的布局、颜色或遮挡
轨迹与操作审计 是否遵守允许的操作通道 最终业务目标一定达成
截图或视觉检查 题目要求的可见结果 隐藏的数据库或文件状态

Grader 可以比 Subject 拥有更强的验证能力。评分凭证、隐藏测试和答案须独立保存,不能回流到 Subject 上下文。

独立评分能减少作弊机会,但还需要隔离执行通道和产物访问权限。

F

把能力边界写成协议,并在执行层强制落实

下面是纯视觉评测的示意配置,不是某个平台的现成 API。

EvaluationProtocol · 示意json
{  "evaluation_goal": "visual_interaction",  "subject": {    "observations": ["screenshot"],    "actions": ["click_xy", "type_text", "scroll", "drag"],    "forbidden_observations": ["dom", "ax_tree", "js_state"],    "allow_capability_fallback": false  },  "environment": {    "platform": "mac-arm",    "snapshot": "task-start-v1"  },  "grader": {    "evidence": ["file_content", "test_result"],    "isolated_from_subject": true  }}
执行位置 必须落实的约束
工具注册与权限层 只向 Subject 注册允许的工具,拦截未授权调用
观察返回层 过滤 DOM、AX、隐藏状态和额外元数据
动作执行层 保持协议规定的动作语义与可作用范围
Sandbox 与身份层 隔离评分凭证、答案和隐藏测试
轨迹采集层 记录实际使用的能力、降级、失败和重试

JSON 声明本身不是隔离机制。限制还应覆盖文件系统、网络和绕过工具直接调用 API 的通道。

G

成绩可比、过程可复现,需要记录什么

记录类别 应固定或报告的条件
Agent 与 Harness 模型版本、提示词、Harness 版本、上下文策略
工具协议 观察信息、动作语义、工具版本、权限、是否允许降级
运行预算 最大步数、时间或 Token 预算、超时、重试与并发策略
桌面环境 OS、CPU 架构、App 版本、语言、分辨率、缩放比例
初始状态 环境快照、窗口布局、焦点、登录态、初始数据
过程证据 截图、工具输入输出、时间戳、动作坐标和错误
结果与评分 产物快照、Grader 版本、任务完成条件和失败归因

至少区分基础设施失败、工具调用失败、Agent 任务失败。总完成率之外,应报告失败分布、耗时、成本与协议违规情况。

不要静默删除基础设施失败,也不要把它直接归因为模型能力差。按评测协议报告重跑条件、排除条件和实际分母。

若任务目标是视觉呈现,评分仍需覆盖可见效果。结构化状态存在,不等于界面展示正确。

H

来源与阅读边界

本文整理自指定会话,并用官方资料核对接口边界。评测矩阵、职责分层和协议示例是基于会话的设计建议。

来源 支撑内容
原始会话:解释 Agent Harness 三条技术路线、评测目标、Subject 与 Grader 分离
Chrome DevTools Protocol 官方定义 DOM、页面 Input 与文档 Accessibility 域
Electron 主进程调试 窗口页面与 main process 的调试边界
Apple 自定义控件无障碍支持 AX 属性、动作,以及应用需暴露的控件语义
Microsoft UI Automation 概览 UIA 元素树、provider 与 control patterns
Anthropic Computer use tool 截图、动作执行、结果回传与继续观察的循环

接口支持程度应以目标 App、系统版本和实际授权为准。本文不把任何路线的成功率或性能排序当作实测结论。