电脑操作智能体正在从“只会看截图、点按钮”走向更通用的工作方式。通义团队推出的 OpenGCUA，把一整套通用计算机操作智能体的设计、实现与评测轨迹开源出来，让研究者可以直接复现、对比与改进，而不是只看一份结论。

什么是通用计算机操作智能体

论文给出的定义是：模型可以自主选择如何观察、如何行动、如何组织工作，横跨视觉与程序化两种接口。也就是说，智能体不只依赖截图与点击，还可以读取无障碍树、调用接口、执行命令，只在需要时才操作图形界面。

这种定义之所以重要，是因为很多真实任务本身就是混合的：查文件、核对表格、生成草稿、再决定是否发送，每一步的下一步都取决于上一步的结果。如果智能体只能提前排好一串固定点击，就很难应对这种“边做边判断”的任务。

两项关键设计

第一，把代码执行作为基本能力。 智能体一次可以给出一整段程序，把图形操作、无障碍调用、接口调用与命令执行写进同一个程序里，用循环、分支与中间结果决定下一步。这样就不用每个小动作都单独请求一次模型，也能让模型把已有的编程能力直接用在操作电脑上。

举个例子：智能体需要先检查一批文件是否存在，再决定是否生成邮件草稿。用代码执行的方式，它可以在程序里先检查、再分支；用固定动作序列的方式，则容易在检查结果还没出来时就把后续动作定死。

第二，把部分决策权从固定规则交给模型。 传统框架会用固定规则决定什么时候截图、什么时候判断任务状态。OpenGCUA 把其中一部分观察与任务状态判断交给模型：框架提供机制，模型决定何时使用，例如只在真正需要时才请求截图。这种“决策权下放”减少了无效观察，也让智能体的工作方式更贴近任务本身。

评测结果怎么读

在 OSWorld-v2 基准上，完整配置让 8 个被评测模型全部提升，平均部分得分提高 19.6 分，单任务步骤平均减少 53%，最强与最弱模型之间的差距缩小了一半以上。被评测的模型包括多个主流前沿模型，说明提升更多来自架构设计，而不是某个单一模型的特殊优化。

同时发布的还有实现代码、提示词、8 个模型的完整评测轨迹、macOS 真机执行框架的初步版本、跨设备 SDK，以及可在线体验的交互实验室。跨设备 SDK 的目标，是用同一套编程接口连接电脑、浏览器与手机，让一个任务可以跨设备协调完成。

一个需要谨慎看待的数字

在真机测试中，个别模型在 4 个 macOS 任务上的推理 Token 用量达到另一模型的 19.4 倍，但完成任务数反而更少。这个对比样本很小，不能推广为“某类模型一定更费 Token”或“更省 Token 的模型一定更好”。它的真正提醒是：基准得分与真机效率是两回事，推理成本、稳定性与权限管理，都会影响智能体是否真的可用。

给开发者与研究者的建议

1. 先看轨迹，再看分数：开源的评测轨迹比单个数值更有价值，可以看到智能体在哪些步骤浪费了调用，在哪里判断失误。
2. 区分基准与真机：基准环境相对可控，真机上有弹窗、权限、网络与应用状态等更多变量，上线前必须在真实设备上验证。
3. 把“可编程”当作设计起点：如果你的智能体任务包含大量检查、分支与重复操作，优先考虑代码执行与结构化状态管理，而不是堆叠更多固定点击。
4. 注意操作边界：能操作电脑的智能体，也就具备了误操作的能力。涉及发送、删除、支付与权限变更的动作，应保留确认环节与可撤销设计。

怎么看这次开源

OpenGCUA 的意义不在于提供一个“更强的模型”，而在于把计算机操作智能体的完整工作方式公开出来：模型如何观察、如何行动、如何组织任务，以及这些选择如何影响得分与成本。当更多团队能在同一套开放实现上对比与改进，计算机操作智能体才可能从演示走向可靠的日常工具。