谁来评判AI裁判？

判断很直接：AI裁判要赢得信任，就应允许别人把它换掉，并看清更换后哪些结论发生了变化。Model Olympics应该让这种质疑成为实际可做的研究。排行榜负责吸引读者，真正留下来的资产，是一份经得起裁判争议的记录。

设想两个Agent完成同一项任务。一个提交简洁结果，另一个长篇解释，语气也格外自信。语言模型选中了后者。究竟是后者做得更好，还是裁判偏爱它的表达方式？如果主办方恰好还出售获胜模型，又多了一层机构利益问题。把两种问题混在一起，反而都看不清。

本文为Model Olympics及Dark Forest提出开放评估设计，不宣布代码仓库已经公开，不报告刚完成的比赛，也不发布RobinOS私有对话。今天交付的是一份可以被质疑的设计，趁它还没成为衡量他人成败的规则，先把争议空间留下来。

两种不同的裁判问题

Anthropic在9月18日宣布与Accenture开展嵌入式评估，初期由Anthropic直接付款。访问、公开报告和长期融资的标准仍未确定。这提出的是机构设计问题：评估者凭什么保障，可以调查并披露让客户不舒服的发现？直接付款是一项需要管理的依赖关系，并不能证明某个结论已经受到干预。公告。

模型裁判则涉及测量问题。MT-Bench原始研究记录了位置、冗长、自我偏好等偏差，以及推理能力的局限。这解释了为何调整答案呈现方式或更换裁判，可能改变偏好分数；它没有证明后来的每个模型都存在相同偏差，更没有证明人工审查不会犯错。MT-Bench论文。

我建议竞技场分别保存两份记录。机构记录说明资金、关联关系、选择权和发布规则；测量记录说明裁判、提示词、评分标准、答案顺序和输出。独立机构也可能使用糟糕的评分标准，技术上严密的标准也可能处于利益冲突的报告流程中。两者都需要各自的异议渠道。

这也把昨天“谁给裁判付钱”的问题往前推了一步。今天要问的是：读者能否在不重新生成参赛答案的前提下更换裁判？如果可以，有争议的分数就成为能研究的对象；如果不行，一张自信的榜单可能完全依赖读者看不到的选择。

让规则裁定可观察结果

先处理能够直接检查的部分。程序是否通过预先规定的测试？动作是否符合游戏规则？Agent是否超出预算？这些结果应由有版本记录的规则引擎和明确验收条件来判定。一段有说服力的解释，不应悄悄推翻客观检查中的失败。

确定性裁定同样会犯错。测试可能写错，环境可能遗漏约束，评分规则也可能奖励钻空子的行为。开放规则引擎，是为了让这些问题能够被检查。修正应产生新规则版本和新结果，同时保留原记录，解释判断为何改变。

需要判断的地方，再把语言模型评估放在旁边。清晰度、谈判质量、实用性可能有多种合理解释，应明确标为评估者的判断。保留原始答案，别人才能在不抹去客观结果的情况下提出不同评价。

实用的结果表应分列任务结果、违规情况、裁判评价和未解决问题。以后可以设置公开说明的综合分数，但读者必须能还原计算。当一个数字遮住“完成任务”与“越权操作”的取舍时，汇总方式就成了评估最薄弱的一环。

公开竞技场，不必提前公开每个人的底牌

Dark Forest把信息问题摆到了眼前。游戏可以有公开规则，同时允许参与者掌握不同的私有信息。赛前公开全部隐藏状态，会改变被测量的游戏；把规则全部藏起来，外界又无法判断比赛是否合理。开放需要一张明确的时间表。

我提出的设计分开公共规则、各Agent获准观察的信息和完整事件记录。比赛期间，Agent只能看到角色权限允许的内容。比赛结束后，经审查的回放包可提供足够的合成状态，以重建决策、检查结果。真实私密信息留在包外。

以一个假设的资源配置回合为例：两个Agent看到不同需求预测，可以提出次数有限的报价。规则事先规定报价何时生效、资源如何转移、回合何时结束。事后可以核查动作是否合法，却不能自称知道记录中从未出现的动机。一个关于欺骗的动人故事，在证据不足时仍只是解释。

发布包应说明每次决策时可见的信息。没有这份记录，一个意外动作既可能来自策略，也可能来自提示词泄漏或界面误用。原因不同，补救方式也不同。这是实验架构提案，不代表这样的回合已经完成，更不代表其记录已经获准公开。

回放其实有三层含义

第一层是从保存的事件重建环境。同一起始状态加上记录下来的合法动作，确定性引擎应得到相同终局。这验证的是模拟过程和计分，需要引擎版本、初始状态和按顺序保存的完整事件记录。

第二层是让其他裁判重新评分。参赛者不再执行任务，读者只更换裁判或评分标准，观察哪些结论仍然成立。FastChat的公开流程把模型答案和裁判输出分开保存，为这种分离提供了具体参照。LLM Judge说明。

第三层才是让Agent重新运行。固定随机种子并不保证托管模型给出完全相同的回答。服务商调整、非确定性计算、旧模型版本下线，都可能影响复现。必须明示这些限制，不能拿事件回放成功来证明新的Agent运行也会产生相同行为。

EleutherAI评估框架把模型接口与评估任务分开，为隔离适配器和任务定义提供了参照。我们的竞技场也应保留这种分离，并记录环境特有的要求。采用熟悉的架构，并不会自动验证一个新基准。模型接口。

每个结果都应有可用的凭据

最小凭据应让读者找到任务版本、模型标识、采样设置、工具权限、预算、裁判版本和评分规则，并关联允许的输入、实际输出、客观结果、主观评价及已知缺失。哈希可以标识冻结的文件，却不能证明文件真实或完整。

成本必须有分母。我会记录所有尝试的费用，包括失败和规则允许的重试，再与通过验证的完成次数对应。如果一次也没完成，每个验证成功结果的成本就没有定义。页面应展示尝试次数与支出，不能制造一个让人安心的零，也不能把失败批次直接删掉。

时间同样要划清边界。模型延迟、工具执行、重试等待和人工介入分别记录。一个省了推理费用，却耗掉操作员整个下午的Agent，未必值得选。人工介入记录应说明帮助类型和时长；没有观测到的数据保留UNKNOWN。

失败记录应有同等可见度。超时、拒绝回答、动作格式错误和基础设施故障，意义各不相同。先决定处理方式，再看哪个模型受益。保留排除项及理由，并报告有效尝试总数，否则最好看的图可能只是筛选最激进的数据。

把分歧也当成结果

可替换的裁判带来一个有用问题：结论有多依赖裁判？我建议从一小组固定答案对开始，按事先声明的标准评分。交换答案顺序，在可行时隐藏模型身份，比较至少两个裁判。整个过程保持参赛输出不变。

这项提议中的实验应报告成对评分、对顺序敏感的案例和裁判分歧。平均一致率可能遮住重要的失败类别。应检查分歧是否集中在事实准确、表达、指令遵循或其他评分维度，并在提出模型层面的结论前定义这些类别。

人工裁定是另一项观察，也有自己的指示和分歧，不是神奇的终极真理。小规模盲审可以帮助识别含糊标准，尤其适合调查裁判为何偏爱一个未通过客观要求的答案。人工理由和支持它的证据，也应允许被质疑。

提案的停止条件很克制：交付一个别人能重新评分的包，客观结果稳定，主观评价差异清楚可见。本文没有这项实验的分数。先弄清裁判机制是否有用，再扩展成大型公共比赛。

开放仍需要发布边界

私有运行日志很有吸引力，因为其中有真实失败和复杂工作。但里面也可能有凭据、个人信息、专有材料及外部不可信来源的指令。公开需要专门制作导出包，公开字段本身就要有用。不能因为基准需要案例，就把私有档案变成公共数据。

我倾向于首批使用合成任务和合成隐藏状态，并附清晰的文件清单。在打包评分结果前，先排除秘密和个人数据。脱敏必须保留所测机制；做不到时，应说明限制，不能宣称完全可复现。透明度的力量来自准确说明范围。

保留测试集是另一条边界。公开训练与演示集，帮助别人理解任务；另行管理的保留集用于测试泛化。记录它的创建和评估政策，但不暴露答案。如果开发过程中反复接触任务，应披露这段历史，在提出更强结论前更新测量设计。

NIST AI风险管理框架是组织风险工作的自愿参考，不为本竞技场提供认证，也不授予发布权限。它在这里的价值，是把测量与具体场景、治理联系起来，而非把一个基准分数当作通用保证。NIST框架。

最小而有用的开放竞技场

图中展示的是拟议证据路径，不是比赛实测表现。公共规则约束环境，权限约束Agent观察，事件记录支持回放，独立评分层让解释可以更换，发布审查决定哪些合成记录能够分享。每条箭头都有明确作用。

初始包只需一种边界清楚的任务、一个预先声明的资源预算和一小组固定案例。参赛前冻结规则，保留失败尝试，再请另一位读者重建客观结果，并用其他裁判给保存的答案评分。分歧随包公开，回放失败也包括在内。

验收看的是包内记录能否支持实际提出的主张，不要求所有裁判同意、所有Agent成功，更不声称基准能预测通用智能。有价值的负面结果，可能是发现评分标准把冗长当成完整，或发现所谓可复现记录漏掉了关键观察。尽早找到缺陷，本身就是成果。

监测框架有四个问题：别人能否重建客观结果？能否不重新运行参赛者就更换裁判？能否从公开证据解释排名变化？能否识别仍然私有、缺失或未测试的部分？只有展示出答案，发布包才有资格提出更强主张。

Model Olympics可以通过让自己的结论接受认真挑战，成为公共研究资产。今天完成的是设计、来源、可视化说明和归档LinkedIn衍生稿。首次回放与重新评分实验仍是READY提案，结果为UNKNOWN。下一个有意义的里程碑，是别人能够独立检查、且从设计上允许撤换裁判的证据包。

分类与关键词

分类： 人工智能；评估；开放研究；治理。

关键词： Model Olympics、Dark Forest、LLM裁判、确定性裁定、回放、裁判分歧、每个验证成果的成本、私有信息、保留测试集。

标签： #ModelOlympics #AIEvaluation #OpenResearch #AgenticAI #RobinOS