Computer Use任务成功率怎么测?OSWorld基准与企业GUI自动化验收
面向开发者拆解Computer Use成功率评估:OSWorld与OSWorld 2.0基准、Gemini API回归测试、失败分类、成本指标及企业GUI自动化验收清单。

过去,大模型 API 的主要输出是文本、代码和结构化数据,开发者向模型发送请求,再根据返回结果执行相应操作;但随着 AI Agent 的发展,模型开始直接参与软件操作。它不仅需要理解用户指令,还要观察屏幕、判断界面状态、选择操作并确认任务是否完成。这种能力通常被称为 Computer Use。
目前,Gemini、OpenAI Codex 等产品和开发体系都在推动 AI 从文本交互走向图形界面操作,Computer Use 也逐渐进入网页测试、企业办公、软件操作和跨应用自动化等场景。不过,一个容易被忽略的问题是:模型能够点击按钮,不代表它能够完成任务;页面出现预期结果,也不代表整个业务流程没有遗漏。对于准备通过大模型 API 构建 Computer Use 应用的开发者来说,真正需要解决的已经不只是接口调用,而是如何衡量 Agent 的执行质量。
例如,一个 Agent 能够打开网页、输入关键词并提交表单,但它是否选择了正确的选项?是否遗漏了必要字段?是否在提交之前检查了数据?如果页面出现异常,它能否恢复任务?这些问题决定了 Computer Use 能否从演示功能进入实际业务。本文结合 Computer Use 官方文档、OSWorld 评测体系及 2026 年发布的 OSWorld 2.0 研究,分析 Computer Use 任务评估的方法,并给出一套适合开发团队使用的 API 自动化验收方案。
一、Computer Use 进入生产环境后,为什么不能只看操作是否成功?
Computer Use 的核心是让模型根据屏幕信息提出具体操作,再由客户端执行。以网页表单填写为例,传统自动化脚本通常提前定义输入框、按钮和页面元素,只要页面结构不发生明显变化,脚本就可以按照固定顺序运行;Computer Use 则采用另一种方式:模型先理解用户目标,再观察当前屏幕,判断下一步应该执行什么操作。
例如,用户要求:
「打开企业采购系统,找到指定供应商的订单,检查交付日期,并将结果整理到表格中。」
Agent 需要完成:
- 打开采购系统。
- 找到订单查询入口。
- 输入供应商名称。
- 筛选对应订单。
- 查看交付日期。
- 提取所需信息。
- 整理并保存结果。
- 检查最终文件是否正确。
这里涉及多个连续操作。即使前六步都没有出现错误,最后保存文件失败,整个任务仍然没有真正完成。因此,Computer Use 至少需要区分三个评价层次:
操作正确性: 模型是否点击了正确位置,输入了正确内容?
流程完整性: 是否完成了任务要求中的全部步骤?
最终结果正确性: 最终产生的文件、数据或业务状态是否符合要求?
这三个维度不能混为一谈。例如,Agent 可能成功点击了提交按钮,但表单中的金额填写错误。此时操作执行成功,却不能算业务任务成功。对于企业应用,最终结果应该成为主要验收依据,而不是模型返回了多少次 Function Call。
二、OSWorld 为什么成为 Computer Use 的重要评测参考?
在 Computer Use 研究中,OSWorld 是一个值得关注的公开基准。它提供真实的计算机环境,让多模态 Agent 在操作系统、网页和桌面应用中完成开放式任务。与单纯测试模型能否识别按钮不同,OSWorld 更关注 Agent 能否在真实软件环境中完成一系列连续操作。
根据相关 AI 指数报告,OSWorld 包含 369 项任务,涉及桌面应用、网页操作、文件处理和跨应用工作流。报告还给出了人与模型的表现差异:
- 人类计算机科学专业学生完成任务的比例约为 72%。
- 最强模型的历史表现从约 1%—12% 逐步提高。
- 报告引用的 Claude Opus 4.5 在 OSWorld 上的准确率达到 66.3%。
这些数据反映了 Computer Use 技术的发展趋势:模型已经能够完成相当一部分真实 GUI 任务,但距离稳定处理所有复杂工作仍有差距。需要注意,基准测试结果取决于模型版本、测试环境、任务定义和评测方式,不同研究中的分数不能直接当作同一条件下的横向排名。
1. OSWorld 主要评估哪些能力?
从任务类型来看,可以将 Computer Use 评估拆分为几个方面。
界面理解
Agent 是否能够正确识别当前窗口、按钮、输入框、菜单和页面状态。
操作规划
Agent 是否能够根据最终目标安排合理的操作顺序,而不是无目的地点击界面。
跨步骤执行
当一个任务需要多次点击、输入、切换窗口时,Agent 是否能够保持任务目标。
状态识别
执行动作后,Agent 是否能够判断操作是否真正生效。
异常恢复
遇到弹窗、加载失败、页面变化或操作错误时,Agent 是否能够调整执行策略。
这几个方面共同决定 Computer Use 的实际表现。对于开发者来说,OSWorld 的价值不仅在于比较模型分数,还在于提供了一个任务设计思路:不能只测试单个点击动作,而要测试完整的业务目标。
三、OSWorld 2.0 出现后,Computer Use 评估重点发生了什么变化?
2026 年 6 月发布的 OSWorld 2.0 进一步将评估重点转向长程、真实的计算机工作流。这项研究指出,早期 Computer Use 基准在真实工作流程的复杂性、持续时间和状态变化方面仍然存在不足。OSWorld 2.0 设计了 108 项长程任务,覆盖日常办公和专业工作。其中几个数据值得关注:
表格
| 评测维度 | OSWorld 2.0 研究数据 |
|---|---|
| 长程任务数量 | 108 项 |
| 人类完成任务的中位时间 | 约 1.6 小时 |
| Claude Opus 4.7 完成一项任务平均工具调用量 | 318 次 |
| OSWorld 1.0 平均工具调用量 | 约 30 次 |
| Claude Opus 4.8 在 500 步上限下的完整任务完成率 | 20.6% |
| 对应部分完成得分 | 54.8% |
这里的 20.6% 是论文报告中特定模型配置和评测条件下的完整任务完成率,不代表所有 Computer Use 模型的整体成功率。这些数据揭示了一个重要问题:
Computer Use 的难点正在从单个界面动作,逐步转向长时间任务中的状态管理和结果验证。
一个 Agent 可能能够正确操作浏览器,却在持续执行过程中出现以下问题:
- 忘记之前已经完成的步骤。
- 没有注意到页面中途出现的新信息。
- 将不可信网页内容误认为用户指令。
- 没有确认数据是否真正保存。
- 遇到不确定情况时自行猜测,而不是请求用户确认。
这也是为什么单纯提升模型的视觉理解和点击准确率,不一定能够解决长程任务的可靠性问题。对于企业而言,真正重要的是 Agent 能否在几十甚至上百个操作之后,仍然保持目标一致,并且正确交付最终结果。
四、企业应该如何建立 Computer Use 任务评估体系?
如果开发团队准备通过 Gemini API 构建 Computer Use 应用,建议不要一开始就使用真实业务数据进行测试,更合理的方式是建立独立的任务评估集。例如,一个企业采购系统可以先准备 20 项标准任务,每项任务都包含明确的起始状态、操作目标和最终验收条件。
1. 建立任务级测试集
可以按照任务复杂程度划分:
表格
| 任务等级 | 测试内容 | 主要考察能力 |
|---|---|---|
| L1 | 点击指定按钮 | 基础界面定位 |
| L2 | 填写并提交表单 | 操作顺序与字段准确性 |
| L3 | 查询信息并整理 | 多步骤信息处理 |
| L4 | 跨页面修改数据 | 状态保持与流程控制 |
| L5 | 异常情况下完成任务 | 错误恢复和结果验证 |
例如,L2 任务可以要求 Agent 打开一个测试表单,填写指定的公司名称、联系人和日期。验收时不只检查按钮有没有被点击,还需要检查最终保存的数据是否与预设内容一致。
2. 将任务完成标准变成可检查的条件
每项测试都应该有明确的成功条件。例如:
任务:在测试采购系统中创建一条订单记录。
验收条件:
- 供应商名称正确。
- 商品数量正确。
- 订单金额正确。
- 交付日期正确。
- 订单记录成功保存。
- 没有生成重复订单。
其中,最后的订单记录可以通过测试数据库进行检查,而不是依赖模型自己报告任务已经完成。这是一个非常重要的区别:模型的最终文字回答属于自我报告,应用程序读取到的实际业务状态才是更可靠的验收依据。
3. 设计失败分类
Agent 没有完成任务,不一定意味着模型能力不足。开发者应该进一步区分失败原因。
表格
| 失败类型 | 典型表现 | 建议检查方向 |
|---|---|---|
| 视觉识别错误 | 找错按钮或输入框 | 截图质量、页面布局 |
| 操作错误 | 点击坐标偏移 | 视口尺寸、坐标转换 |
| 状态判断错误 | 操作后没有确认结果 | 截图反馈、状态校验 |
| 规划错误 | 执行顺序不合理 | 任务拆分、提示词 |
| 环境错误 | 页面加载失败 | 网络、浏览器状态 |
| 权限错误 | 无法访问指定页面 | 登录状态、访问权限 |
| 安全拦截 | 操作需要用户确认 | 安全策略与授权设计 |
通过这种分类,开发团队才能判断问题究竟出在模型、API 调用、客户端执行器还是目标应用。
五、如何通过 Gemini API 建立 Computer Use 自动化回归测试?
Gemini 已经提供 Computer Use 工具,开发者可以通过 Gemini API 将模型的界面理解能力接入自己的应用。Google 于 2026 年 6 月 24 日公布,Computer Use 成为 Gemini 3.5 Flash 内置工具之一,开发者可以通过 Gemini API 和 Gemini Enterprise Agent Platform 构建能够观察、推理并操作浏览器、移动端和桌面环境的 Agent。官方文档明确说明,Computer Use 返回的是建议执行的 Function Call,实际点击、输入和截图仍然需要客户端程序完成。
1. 准备 Python 环境
安装官方 SDK 及浏览器自动化依赖:
pip install --upgrade google-genai playwright
playwright install chromium下面的示例采用 Gemini Enterprise Agent Platform 的 Computer Use 配置方式。需要准备 Google Cloud 项目,并完成对应的认证和权限配置。
from google import genai
from google.genai import types
client = genai.Client(
vertexai=True,
project="YOUR_PROJECT_ID",
location="global"
)
config = types.GenerateContentConfig(
tools=[
types.Tool(
computer_use=types.ComputerUse(
environment=types.Environment.ENVIRONMENT_BROWSER
)
)
]
)
response = client.models.generate_content(
model="gemini-3.6-flash",
contents=[
"打开测试系统,检查订单列表中是否存在编号为A100的订单。"
],
config=config
)
print(response)这里需要注意,示例使用的是 Google Cloud 文档中的模型和接口配置,不是所有 Gemini API 接入方式都可以直接复制这段代码。
2. 不要把模型返回的动作当成最终结果
在实际系统中,模型可能返回点击、输入或页面导航等操作请求。应用程序需要:
- 解析 Function Call。
- 检查动作名称及参数。
- 根据权限策略决定是否允许执行。
- 执行获准的操作。
- 获取最新页面状态。
- 将执行结果反馈给模型。
如果模型提出了高风险操作,例如修改财务数据、发送邮件或删除文件,就不能直接执行。官方文档要求,对于需要确认的操作,应当先获取用户确认,再继续执行。
3. 将测试结果保存为结构化记录
为了便于比较不同模型和不同版本,可以把每次测试结果保存为 JSON。例如:
import json
from datetime import datetime
test_result = {
"task_id": "purchase_test_001",
"model": "gemini-3.6-flash",
"task_type": "form_submission",
"expected_result": {
"supplier": "Test Supplier",
"quantity": 10
},
"actual_result": {
"supplier": "Test Supplier",
"quantity": 10
},
"completed": True,
"verified": True,
"timestamp": datetime.now().isoformat()
}
with open("computer_use_test.json", "w") as f:
json.dump(test_result, f, ensure_ascii=False, indent=2)这段代码只是展示验收结果的记录格式。实际项目中的 actual_result 应当来自浏览器、测试数据库或目标系统的独立检查,不能直接使用模型自己生成的结果填充。这样,开发团队就能建立可重复的测试集。每次升级模型、修改提示词或调整执行器之后,都可以重新执行同一批任务,观察成功率和异常类型是否发生变化。
六、Computer Use 的成本应该如何评估?
Computer Use 与普通文本 API 调用还有一个区别:它的成本不仅来自模型输入和输出,还与任务执行过程中的多轮交互有关。一次任务可能经历:
- 初始截图输入。
- 模型生成动作。
- 执行器反馈。
- 新截图输入。
- 下一轮动作规划。
- 最终结果确认。
如果任务需要多次观察和重新决策,就会产生更多模型请求和图像输入。官方文档说明,Computer Use 按照对应 Gemini 模型的相同 SKU 计费,并没有单独设置一套通用的 Computer Use 固定价格。因此,开发者应该将每次任务的模型调用和执行过程单独记录。建议关注以下指标:
表格
| 指标 | 计算方式 | 作用 |
|---|---|---|
| 单任务模型费用 | 所有请求费用之和 | 评估调用成本 |
| 平均操作步数 | 总动作数 ÷ 任务数 | 观察流程复杂度 |
| 平均截图次数 | 总截图数 ÷ 任务数 | 观察视觉输入开销 |
| 完整任务成功率 | 完整完成任务数 ÷ 总任务数 | 评估最终交付 |
| 平均恢复次数 | 恢复操作数 ÷ 任务数 | 评估异常处理能力 |
| 单次成功任务成本 | 总成本 ÷ 成功任务数 | 评估真实业务成本 |
尤其是最后一个指标。如果某个模型单次调用价格较低,但需要反复重试才能完成任务,那么它的单次成功任务成本可能反而更高。所以,Computer Use 不应该只比较 Token 价格,还需要同时观察任务完成率和重试成本。
七、Gemini、Codex 与 DeepSeek 应该如何参与 Computer Use 工作流?
不同大模型在 Agent 系统中可以承担不同职责。
Gemini API: 可以通过原生 Computer Use 工具提供屏幕理解和界面操作建议,适合构建需要直接交互的 GUI Agent。
Codex: 更适合承担代码生成、测试脚本编写和开发环境中的工程任务。对于已经有稳定接口的操作,没有必要全部转换成鼠标点击。
DeepSeek: 可以根据具体模型版本承担任务规划、文本分析、结果复核和业务逻辑判断。是否能够直接提供 Computer Use 动作工具,需要以实际模型接口能力为准。
一种比较合理的架构是:
第一层由任务规划模型理解用户目标,并将任务拆分为可执行步骤。
第二层由 Computer Use 模型观察屏幕,提出 GUI 动作。
第三层由客户端执行器执行经过权限检查的操作。
第四层由业务验证程序检查最终结果。
第五层由其他模型或人工审核处理异常和不确定结果。
这样可以避免把所有工作都交给一个模型完成。对于需要统一管理多个模型 API 的团队,可以了解KoalaAPI的多模型接入方案。不过,Computer Use 依赖特定模型工具协议和客户端执行环境,接入前需要确认对应工具调用能力是否被完整支持,不能仅凭普通聊天接口兼容就推断能够直接实现电脑操作。
八、Computer Use 进入企业应用,还需要解决哪些问题?
即使任务成功率达到较高水平,也不意味着可以完全取消人工监督。官方文档特别强调了 Computer Use 面临的安全问题。其中一个重要风险是 Prompt Injection,即提示词注入。例如,Agent 正在访问一个普通网页,网页中却隐藏着要求模型忽略原始任务、执行其他操作的内容。如果模型将网页中的文字误认为有效指令,就可能偏离用户原本的目标。
Gemini Computer Use 提供了可选的提示词注入检测机制。Gemini 3.5 Flash 及之后支持该机制的模型可以检查输入截图是否可能包含间接提示注入。但需要注意,该功能默认并未开启,而且安全检测不能代替完整的权限管理。企业部署时,建议建立以下机制:
- 环境隔离
将 Agent 运行在独立虚拟机或容器中,不直接开放主机的全部文件和系统权限。
- 网站访问控制
根据任务需求建立允许访问的网站列表,限制 Agent 访问不相关页面。
- 高风险操作确认
涉及资金交易、账户管理、敏感信息修改、文件删除和对外通信时,必须设置人工确认。
- 执行记录
保存模型请求、屏幕截图、动作建议、安全决策和实际执行结果。
- 任务终止条件
设置最大执行步数、时间限制和成本上限,避免 Agent 持续重复操作。
这些措施不是为了限制 Computer Use 的功能,而是让模型的操作行为处于可检查、可追踪的范围内。
结语
Computer Use 正在让大模型 API 从传统的信息生成工具,逐步扩展为能够参与真实软件操作的 Agent 基础能力。但从 OSWorld 到 OSWorld 2.0 的评测变化可以看出,GUI 自动化的难点已经不只是模型能否识别按钮和执行点击,而是能否在长时间、多步骤和动态变化的环境中保持任务目标,并正确交付最终结果。
对于开发者来说,下一阶段值得重点投入的工作是建立自己的任务测试集、失败分类体系和结果验收机制。Gemini API 提供了原生 Computer Use 能力,Codex 可以参与工程开发,DeepSeek 等模型也可以承担任务分析和结果处理。不同模型各司其职,再配合独立执行器和业务验证程序,才能形成更可靠的 Computer Use 应用架构。
未来,衡量 Computer Use 是否真正具备生产价值,关键不只是它能够操作多少种软件,而是它能否以可控的成本,持续、准确地完成用户交付的任务。
FAQ:Computer Use 常见问题
1. Computer Use 是什么?
Computer Use 是一种让 AI 模型通过屏幕观察和键鼠操作与图形界面交互的能力,能够帮助 Agent 完成网页和桌面软件中的多步骤任务。
2. Computer Use 和传统 RPA 有什么区别?
传统 RPA 通常依赖预设流程和固定规则,Computer Use 则可以根据屏幕状态和任务目标动态决定下一步操作。两者也可以组合使用。
3. Gemini API 支持 Computer Use 吗?
支持。Google 已在 Gemini 模型体系中提供 Computer Use 工具,开发者可以通过相应的 API 和客户端执行环境构建自动化 Agent。
4. OSWorld 是什么?
OSWorld 是一个用于评估多模态 AI Agent 真实计算机操作能力的基准,涵盖桌面应用、网页、文件操作和跨应用任务。
5. Computer Use 能否完全替代 Playwright?
不能。对于页面结构稳定、操作步骤明确的网页任务,Playwright 等自动化工具通常更适合。Computer Use 更适合需要动态理解界面的任务。
6. Computer Use 是否可以自动完成付款和删除文件?
模型可能提出相关操作,但涉及资金、敏感数据和不可逆操作时,应用程序应当设置人工确认和权限控制。
7. 如何评估 Computer Use 是否适合企业使用?
建议建立真实任务测试集,统计完整任务成功率、操作步数、失败恢复次数、单任务成本和最终结果准确性,再决定是否部署到生产环境。

