接口也是模型的一部分

假设你请两位助手修改一条客户记录。一位拿到浏览器、鼠标和密码，另一位拿到一个叫“更新客户”的函数。第二位先完成。你找到的是更聪明的助手，还是给了其中一位一条更短的走廊？

H Company在9月28日发布Holo4，让这个问题有了现实参照。公司介绍，模型能通过图形界面、代码、MCP和API工作；其比较说明也承认，不同结果使用的基准版本、任务子集与运行框架存在差异。这份发布材料值得用来观察完整工作系统，但我们并没有因此获得一场自己完成的受控实验。Holo4 release

我的判断很简单：接口应该放进评测范围。买智能体，买的是完成工作的方法，模型只是其中一部分。它看得见什么、能做什么，以及我们怎样判定任务完成，都可能在第一个token生成之前改变结果。

更短的走廊，也可以很值钱

回到那条假想的客户记录。浏览器助手先搜索姓名，打开档案，找到编辑按钮，修改字段，再保存。函数助手只需提交标识符与新值。两者最终可能留下完全相同的记录。即使推理能力一样，工作量的差别也可能产生商业价值。

只要函数确实可用、已获授权而且可靠，企业就应该欢迎这项节省。为了让比赛看起来公平，强迫所有任务都用鼠标完成，经营上未必合理。采购测试应反映买家真正能运行的环境。集成做得更好，本来就可以成为产品优势。

问题出在结论被悄悄放大。“这个配置在测试中更便宜地完成了我们的流程”，可以由合适的实验支持。“这个模型的推理能力更强”，却需要另一种比较。接口可能直接减少了几个犯错机会。这个系统优势，应当说清楚来自哪里。

因此有两个值得分别回答的问题：这项工作应该用哪个完整产品？改善究竟来自哪个组件？前者帮助部署，后者指导工程，也帮助判断换了客户、少了一个集成，或应用改版以后，优势还能不能保留。

相同画面，可能藏着不同信息

即使比较的都是浏览器，也不能只展示两张相同窗口的截图。一位助手可能只能看像素，另一位还能读到页面的无障碍结构，包括标签与角色；第三位可能直接检索已存记录。看似使用同一个应用，得到的状态证据却不同。

设想一项发票任务：参考编号被窄表格截断了。人可以把列拉宽，读取结构化文本的助手可能早已拿到完整编号。视觉助手要先发现并完成一个额外动作，结构化助手却从一开始就知道这个局部答案。前者失败，既可能反映模型问题，也可能反映观察通道的差异。

BrowserGym为受支持的浏览器基准提供共同研究环境，提醒我们：环境本身可以被明确描述、拿来比较。但两个实验都使用同一个库，并不自动意味着实验条件相等。BrowserGym

我建议的评测卡，会把观察通道放在模型名称旁边。截图、无障碍文本、工具返回值和文件，都要写清楚。一种配置若能看到更多信息，产品比较应保留并标明这个优势；研究因果时，则应在实验允许的范围内，让两边获得相同的相关证据。

一次工具调用，可能包办一串工作

一次点击和一次API调用都很好计数，实际工作量却可能差得很远。点击可能只是打开菜单，一个工具调用却可能同时校验客户、修改多个字段，再返回结构化确认。业务动作切分方式一变，步骤预算的含义也变了。

假设一个虚构评测给每位助手十步。拥有“大工具”的助手可能在预算内完成，另一位还没走完导航就超时。这完全可能符合比赛规则，却不适合拿来证明双方完成底层业务工作的机会相同。

我会保留动作数，因为它能解释执行轨迹；同时也记录耗时、模型用量、工具费用与人工注意力。买家需要总账单，以及能看懂的失败路径。工程师则需要分清：成本来自反复推理，还是接口选错了。

小公司可能在这里找到机会。对重复任务，改善接口或许比更换模型更有用。这需要在具体流程中检验，也要计入维护与集成成本。它不等于API总会获胜。脆弱的集成，能把短走廊变成锁死的门。

完成，要有自己的一列

一项差点完成的任务，在回放里也会很好看：报告已起草，客户找对了，最后一个字段也正确。随后助手却保存了错误版本，或根本没有提交。算不算成功，取决于验收规则；大家看到分数之前，就应该看见这条规则。

OSWorld 2.0在评测界面中区分部分得分与二元完成。这个区分很有用：长流程推进了多少，与要求的结果是否完成，是两个问题。这里引用的是方法背景，没有把其中历史模型的分数拿来充当今天的排名。OSWorld 2.0

在假想的客户任务中，完成可以要求：记录选对、修改符合请求、没有越权编辑，而且最终状态可独立读取。一句友好的“已完成”，只能证明助手这样报告过。它必须与应用里的实际状态一致，任务才能通过。

部分得分仍有价值。它能指出失败发生在找记录、理解指令，还是执行最后一步。把这些诊断结果放在最终验收率旁边即可。否则，调试指标很容易悄悄变成经济性承诺，而剩下的工作还得由买家完成。

公开任务与隐藏任务，是不同样本

另一种比较误差更安静。两份报告可以用同一个基准名称，却运行不同任务集。公开集合供开发使用，保留的隐藏集合用来检验泛化。两边都可能设计严谨，但分数来自不同样本。

AutomationBench明确区分公开任务集与官方排行榜使用的私有任务集，并提示本地分数不一定与官方分数直接一致。因此，抄下基准名称还不够，任务集标签也要留下。AutomationBench

想象两位考生在不同城市考驾照。一条路线有复杂路口，另一条有施工和临时路牌。只看百分比，无法知道两人跑同一条路线时谁更好。下一步应该是匹配条件后比较，或者把结论收窄到现有证据真正支持的范围。

买家可以用公开基准筛选候选产品，最终选择则应更依赖少量、有代表性、已获授权的自身任务。配置决定完成后，保留一部分案例用于正式评估。如果每个不满意的案例都变成继续调参的机会，测试就会慢慢变成排练。

模型没动，评卷尺也可能变好

评测规则既是软件，也是规格。它可能包含含糊指令、过于宽松的检查，或每次运行都会变化的环境依赖。修正这些问题，即使模型和行为不变，也可能改变分数。因此，评分器版本也属于证据。

WebArena-Verified介绍了经过审核的任务，以及根据智能体回答和网络轨迹进行的确定性评估。这是改进测量工具本身的具体例子。但它的文档并不替所有客户流程背书，也不免除我们核对某个评分器到底接受什么结果的责任。WebArena-Verified

例如，客户记录评分器若只检查目标字段，就可能漏掉助手误改的第二条记录。增加“其他记录保持不变”的检查，测试便严格了。新规则下分数下降，可能只是暴露了原本就存在的问题，不能说智能突然退步。

我会把评分器修订号、初始状态与期望终态一并保存。规则改变后，重跑相关比较，或明确注明旧结果适用旧规则。这点记录工作，总比解释昨天的冠军为何通不过今天的普通验收省事。

给比较安排两条路线

最有用的评测，我认为应该分两路。第一路比较真实使用时的完整配置。在相同业务授权下，允许各产品使用自己支持的接口，计入集成、运行与审阅成本。这回答买家的问题：对于明确的一组工作，现成系统哪个更合适？

第二路一次只改一个组件。固定模型，改变接口；再固定接口，改变模型。让初始数据、任务说明、验收规则与资源限制足够稳定，才能解释差异。这回答建设者的问题：增益究竟来自哪里？

作者设计的概念比较框架。图中是拟议评测方案，没有报告模型实验或已测得的改善。

混合接口系统还多了一个有趣问题：每个子任务该走哪条路？选择本身有成本，也可能出错。产品知道正确函数后，API调用或许十分熟练，却未必知道什么时候必须改走图形界面。应把路线选择与切换保留在执行轨迹里，不能当作看不见的后台管道。

各种限制的意义应尽量可比，即使单位无法完全一致。相同金额、相同时间和相同步数，是三种不同约束。先选适合研究问题的约束，运行前说明，再把其他量放在旁边。不能看见偏爱的候选产品失败后，只替它放宽预算。

给完整结果算一笔小账

下面的数字完全是假设。配置A尝试十项任务，共花20美元，产出八个通过验收的结果。配置B也尝试十项，共花12美元，产出四个合格结果。暂不计集成和审阅，每个合格结果的成本分别是2.50美元与3.00美元，计算就是20除以8、12除以4。

这个例子里，总尝试费用较低，平均每个合格结果反而更贵。这没有测量Holo4或任何产品，只解释分母为什么重要。如果没有结果通过验收，就报告这个事实，不能替换掉不存在的有效分母，编出有限的成功成本。

再假设A需要昂贵集成，而B的流程由负责人花几分钟便能维护，实际选择又可能改变。固定成本应摊到现实的使用量和生命周期上，人工审阅也要给出明确成本假设。现金支出与估算劳动成本应分别列示，方便读者代入自己的情况重算。

这笔账里没有藏着一个普遍最便宜的智能体。它只能识别在特定工作量、期限和验收条件下可能划算的配置。结论范围较窄，却更适合真正要付账的人。

第一个实验，应该一页纸讲完

我建议的下一步，是一项尚未执行、只用合成客户记录的验收练习。固定一小组修改任务，包括重名、记录缺失，以及禁止修改的字段；向同一个模拟状态开放两种已授权接口。两条路线都不接触真实客户，也不发送消息。

选赢家之前先定义成功。要求的修改必须正确，受保护字段保持原样，最终记录接受独立检查。对于刻意设置为无法完成或有歧义的案例，恰当拒绝或澄清应算通过。自信地改错账户，应比指出缺失信息得到更差的评价。

完整产品比较与受控组件比较分开进行，失败轨迹也保留；记录费用、耗时、介入与验收。案例和运行次数要足以判断表面优势是否只来自一次走运，并与结果一起公布局限。这篇文章提出这项工作，没有声称已经执行。

后续监测规则也很小：模型、接口、工作类型或评分器发生实质变化时，再审视选择。一个新连接器可能和一个新模型同样重要；移除一项权限，可能使旧性能判断失效；客户任务变了，旧赢家也可能不再适用，却不代表它做原来那件事变差了。

短走廊尽头的助手，完全可能就是值得雇用的那一位。只要写清楚，走廊是谁缩短的。一场有说服力的演示，才会成为别人能用的结果。

分类与关键词

分类：智能体基础设施；企业软件；评测。

关键词：计算机操作智能体、接口选择、匹配评测、完成标准、每个合格结果的成本。

标签： #AgentInfrastructure #ComputerUse #Evaluation #IAmRobin