Model Olympics的裁判由谁评判？

结论很清楚：Model Olympics应该公开一部评测宪法，交代任务、权限、证据、评分，以及挑战结果的权利。Dark Forest则作为改变激励条件的实验场。排行榜可以吸引注意力；可复现的制度，才能把注意力转化为有用的研究。

每张模型排行榜背后，都藏着另一个模型：它的裁判。裁判可能是语言模型，也可能是测试集、数学验证器、人工评审，或者一套决定哪些失败应被计分的规则。投资者和经营者首先应问：这个分数究竟是怎样产生的？

昨天，我们讨论AI裁判能否被替换。今天再走一步：梳理评测机构的关系，并提出开放竞赛如何连接这些环节。本文交付研究与设计方案，没有宣布新的公开软件、已经完成的Dark Forest赛季，或已获独立复现的结果。

评测版图有四层

任务库定义考什么；执行框架决定怎样考；裁判判断证据；治理制度规定谁能改规则、检查失败、提出异议。四层相互影响，若全部压成一个名次，真正有用的差异就消失了。

HELM将不同场景与指标组织起来。EleutherAI评测框架提供可复用的执行工具。Inspect将数据集、求解流程与评分器拆开。这些工具可以互补；选定框架，并不等于已经决定业务需要什么。

层次	实际问题	Model Olympics方案
任务	覆盖什么能力和人群？	公布题型、排除范围与来源
执行框架	Agent实际能做什么？	固定工具、预算、版本及介入规则
裁判	哪些观察算成功？	保留客观结果，另列主观评分
治理	谁能检查并挑战结果？	公布关系、规则变更与申诉记录

原创概念图。箭头表示拟议的证据流程，不代表实测成绩或相关机构的背书。

一个Benchmark可以跨越多层。SWE-bench Verified测试代码仓库修复，人工筛题与可执行测试又共同决定什么才算修复成功。FrontierMath Open Problems提出可用程序检查候选答案的数学问题。METR则提供机构层面的评估与研究。将三者都称为排行榜，会抹掉支撑结果的机制。

经营者需要的评测记录，应接近自己准备购买的工作。拥有广泛终端权限的编程成绩，不能直接代表权限受限的支付助手。经人工多次救场才完成的答案，也不能按无人值守的工作定价。成绩必须连同运行条件一起交付。

把机构关系放在结果旁边

现金资助、免费算力、提前访问模型、共同开发、所有权和发表权，是六种不同的关系，各自产生不同依赖。披露关系有助于理解激励与访问条件，单凭关系本身，不能认定结果被操控。

Epoch在本次核查时表示，OpenAI是Open Problems验证器访问权限的唯一买家；同时说明，OpenAI曾资助最初的FrontierMath各层级，而Open Problems由Epoch独立开发并全资拥有。因此，访问权限、历史资助与现有所有权必须分栏记录。Epoch披露。

METR声明没有接受AI公司资金，同时使用大量免费Token；官网也说明了与前沿实验室的合作。现金来源独立，与模型访问依赖被评估者，可以同时成立。METR披露。

OpenAI说明曾与原作者共同开发SWE-bench Verified。Anthropic在9月18日宣布直接资助Accenture的嵌入式评估。Google DeepMind提供开放研究套件Melting Pot。这些制度安排各不相同，不能统一归为同一种独立审计关系。SWE-bench、Anthropic、Melting Pot。

拟议披露卡还应追问：谁选择模型版本？谁能延迟发表？谁能看到失败记录？赞助方能否撤回访问权限？公开文件没有回答的，就填UNKNOWN。空白不能变成独立性证明；商业关系也不能在缺乏证据时变成指控。

一次规则变更，足以改变进步的含义

2026年9月16日，Epoch新增human + AI类别，用于AI发挥关键作用、却并非自主完成的解题成果。页面上只是一个标签，能力判断却因此不同。带日期的变更记录。

对Model Olympics而言，启示是把人工协助作为正式观察项：谁给过提示，谁改过计划，谁修过环境，谁挑选了最终答案？人机协作成果当然可以有价值；协助过程可见，价值才算得清楚。

假设Agent最初理解错了约束，经人提醒后提交了有效答案。最终产物通过检查，但这次运行没有证明自主解题能力。客户仍可能愿意购买这种组合流程，前提是评测说明需要多少人工时间，以及介入属于哪一种工作。

规则版本也应有持久标识。委员会若修改“AI解题”的定义，应同时保留旧分类、新分类及变更原因。否则，表面上的能力提升可能部分来自重新贴标签。持续演进的Benchmark，既需要新题，也需要记忆。

裁判也要参加考试

原始MT-Bench研究记录了语言模型裁判的位置偏差、偏好冗长及自我偏好，也发现其与人类偏好具有实用的一致性。这些发现告诉我们应测什么，并不证明今天所有裁判都以相同程度出错。原始研究。

Model Olympics可以固定候选答案，每次只改变一个评分条件：颠倒答案顺序，隐去模型名，比较事实内容相同的长短版本，或改写评分提示而不改变原意。公布哪些判决因此改变，包括合理的人类评审也会分歧的边界案例。

一致率必须有分母。共同评审案例中判决一致的比例，要说明如何处理平局、弃权和裁判调用失败。简单题上一致，不代表争议题也可靠。只公布总分，恰好掩盖了最能帮助改进规则的样本。

“共谋”更要慎用。输出相似、共同训练影响，或同一种评分错误，都可能造成一致，却没有协调行为。Dark Forest可以设置受控沟通机会，再移除通道进行比较。在实验区分这些解释之前，共谋只是待检验假说。

裁判还必须位于参赛者权限之外。候选答案可能自称应该得高分，这属于被审查材料，不能授权修改规则或调用外部工具。最基本的防线，就是把提交内容与支配裁判的指令清楚分开。

确定性验证也有边界

可执行测试能证明产物满足已编码的条件，不能自动证明这些条件覆盖整项工作。通过软件测试与满足用户需要有关，却有不同的覆盖范围。

验证器仍可能存在Bug、漏掉案例，或采用比读者想象更窄的假设。因此，竞赛应固定验证代码版本，说明已知覆盖范围，并保留争议样本。修复检查器后，保留旧结果，发布带标记的重评分，不能悄悄改写历史。

客观与主观结果应分栏：产物是否执行成功？是否遵守约束？运行成本多少？说明是否有用？综合分可以帮助浏览，但读者必须能还原组成部分，看到权重如何选择。

这样，分歧才有建设性。裁判喜欢文风，不能推翻执行失败；产物正确，也仍可因说明不清受到批评。不同用户可以对同一证据采用不同偏好，而无需改写发生过的事实。

公开宪法，封存决赛题

Model Olympics应公开题型、示例、框架接口、权限、评分代码与申诉流程。可复现回执应绑定任务版本、模型标识、配置、工具事件、输出、成本及裁判决定。研究者创建分叉时，应能准确指出自己改了哪个环节。

决赛题可以封存至事先声明的公开时点。这样既能保护未污染的测量，又不必把规则藏起来。预先承诺决赛集及其选题程序，赛后公开可披露的材料，让外界检查比赛有没有为赢家临时改题。

仅有开源代码，无法保证托管模型表现可重复。供应商可能改变端点，服务可能下线，采样也会产生差异。回执应区分“回放已保存证据”与“重新调用模型”。两者各有用处，名称不能混用。

可分叉还需要许可证、接口说明与一个小型可运行示例。一堆日志属于档案；另一人能够理解并挑战的精简材料包，才开始成为基础设施。私人商户资料、凭据与真实运营轨迹不应进入公开示例，可以用合成任务展示完整契约。

Dark Forest改变激励条件

Melting Pot提供了研究社会互动、以及向陌生参与者泛化的参考。它研究多Agent强化学习，不构成拟议语言Agent版Dark Forest行为的验证；两种环境之间能否迁移，需要实测。

首个拟议赛季可以固定环境，只改变一项事先声明的奖励条件。一组条件下，共同目标让所有Agent受益；另一组中，个人奖励可能与集体表现冲突。实验要问的是：合作变得有代价后，行为怎样变化？不能凭一段合作对话就认定稳定的“性格”。

身份与记忆是另外两个实验维度。一组保持身份稳定，另一组改变标签；比较每轮重启与明确允许跨轮记忆的情况。必须规定每位参与者能观察、能保留什么，否则记忆优势、身份泄漏或额外沟通渠道，都可能被误认成更强的社会推理。

合作、背叛与恢复，需要在开赛前定义成可测行为。记录资源分配、有效承诺、实际行动及整体结果。自述可以帮助解释轨迹，却不能覆盖事件日志。奖励变更须按实验规则告知；若研究突然变化，意外性本身应作为独立变量。

这是一项有边界的合成环境方案，不授权在真实市场部署欺骗型Agent、联系他人、转移资金或公布私人日志。关键问题是行为能否随受控激励变化而改变。精彩的背叛故事，替代不了这组比较。

先交付一个材料包，再谈宏大排名

第一个有用的里程碑很小：一个题型、一份权限契约、保存的输出、一个客观检查器，以及两个可替换的主观裁判。看结果之前固定验收规则，事先决定哪些案例需要人工裁决，并保留约定样本范围内的全部尝试。

裁判实验用相同的已保存答案比较判决。Dark Forest实验则匹配环境条件，只改变一个激励。这两项实验要分开：重评轨迹检验裁判；更换奖励后重跑参与者检验行为。若同时改两件事，归因就变得困难。

监测表可记录回执完整度、客观结果可复现性、裁判分歧、人工介入分钟、成本及未结申诉。本文没有把任何数值门槛冒充成熟标准；具体目标应写入未来的实验契约，并在看到结果前选定。

发布门槛应包括干净的合成材料包、明确的再分发权利，以及一次外部复现尝试。今天，那次尝试的结果仍为UNKNOWN。若复现失败，只要能指出哪项假设出了问题，材料包仍然有价值。这正是开放制度应欢迎的反馈。

我们邀请研究者挑战首个拟议Dark Forest赛季，并在规格完成审查后创建分叉。本文没有宣布新的可下载赛季。当前交付的是版图、披露结构与实验设计；软件发布和实测结果各自需要证据。

什么才值得投入？

对一人公司而言，稀缺注意力应放在真正改变经营决策的少数评测条件上。本地语言支付任务、不熟悉的交易对手，以及严格的工具权限，可能比宽泛排名更重要。公开宪法让小型经营者解释自己的选择，无需声称训练出了前沿模型。

对资本配置者，同样的纪律可以区分实验室新闻与能够产生收入的工作流：换一组任务、换一位裁判，再计入人工介入成本，质量是否仍然成立？经济问题是获得可信结果需要付出多少，包括修复异常的代价。

Model Olympics的价值，在于让人们用证据处理分歧。Dark Forest的价值，在于把激励变化变成可测实验。下一项可信主张因此很克制：另一人能够检查材料包、更换裁判，并准确告诉我们，哪个结论依然成立。

分类与关键词

分类： 人工智能；评测治理；开放研究。

关键词： Model Olympics；Dark Forest；评测框架；LLM-as-a-judge；封存决赛题；可复现回执；激励设计。

Hashtags: #ModelOlympics #DarkForest #AIEvaluation #OpenResearch #AgenticAI