誰來評判AI裁判？

判斷很直接：AI裁判要贏得信任，就應允許別人把它換掉，並看清更換後哪些結論發生了變化。Model Olympics應該讓這種質疑成為實際可做的研究。排行榜負責吸引讀者，真正留下來的資產，是一份經得起裁判爭議的記錄。

設想兩個Agent完成同一項任務。一個提交簡潔結果，另一個長篇解釋，語氣也格外自信。語言模型選中了後者。究竟是後者做得更好，還是裁判偏愛它的表達方式？如果主辦方恰好還出售獲勝模型，又多了一層機構利益問題。把兩種問題混在一起，反而都看不清。

本文為Model Olympics及Dark Forest提出開放評估設計，不宣佈代碼倉庫已經公開，不報告剛完成的比賽，也不發佈RobinOS私有對話。今天交付的是一份可以被質疑的設計，趁它還沒成為衡量他人成敗的規則，先把爭議空間留下來。

兩種不同的裁判問題

Anthropic在9月18日宣佈與Accenture開展嵌入式評估，初期由Anthropic直接付款。存取、公開報告和長期融資的標準仍未確定。這提出的是機構設計問題：評估者憑什麼保障，可以調查並披露讓客戶不舒服的發現？直接付款是一項需要管理的依賴關係，並不能證明某個結論已經受到干預。公告。

模型裁判則涉及測量問題。MT-Bench原始研究記錄了位置、冗長、自我偏好等偏差，以及推理能力的侷限。這解釋了為何調整答案呈現方式或更換裁判，可能改變偏好分數；它沒有證明後來的每個模型都存在相同偏差，更沒有證明人工審查不會犯錯。MT-Bench論文。

我建議競技場分別保存兩份記錄。機構記錄說明資金、關聯關係、選擇權和發佈規則；測量記錄說明裁判、提示詞、評分標準、答案順序和輸出。獨立機構也可能使用糟糕的評分標準，技術上嚴密的標準也可能處於利益衝突的報告流程中。兩者都需要各自的異議渠道。

這也把昨天“誰給裁判付錢”的問題往前推了一步。今天要問的是：讀者能否在不重新生成參賽答案的前提下更換裁判？如果可以，有爭議的分數就成為能研究的對象；如果不行，一張自信的榜單可能完全依賴讀者看不到的選擇。

讓規則裁定可觀察結果

先處理能夠直接檢查的部分。程序是否通過預先規定的測試？動作是否符合遊戲規則？Agent是否超出預算？這些結果應由有版本記錄的規則引擎和明確驗收條件來判定。一段有說服力的解釋，不應悄悄推翻客觀檢查中的失敗。

確定性裁定同樣會犯錯。測試可能寫錯，環境可能遺漏約束，評分規則也可能獎勵鑽空子的行為。開放規則引擎，是為了讓這些問題能夠被檢查。修正應產生新規則版本和新結果，同時保留原記錄，解釋判斷為何改變。

需要判斷的地方，再把語言模型評估放在旁邊。清晰度、談判質量、實用性可能有多種合理解釋，應明確標為評估者的判斷。保留原始答案，別人才能在不抹去客觀結果的情況下提出不同評價。

實用的結果表應分列任務結果、違規情況、裁判評價和未解決問題。以後可以設置公開說明的綜合分數，但讀者必須能還原計算。當一個數字遮住“完成任務”與“越權操作”的取捨時，彙總方式就成了評估最薄弱的一環。

公開競技場，不必提前公開每個人的底牌

Dark Forest把信息問題擺到了眼前。遊戲可以有公開規則，同時允許參與者掌握不同的私有信息。賽前公開全部隱藏狀態，會改變被測量的遊戲；把規則全部藏起來，外界又無法判斷比賽是否合理。開放需要一張明確的時間表。

我提出的設計分開公共規則、各Agent獲准觀察的信息和完整事件記錄。比賽期間，Agent只能看到角色權限允許的內容。比賽結束後，經審查的回放包可提供足夠的合成狀態，以重建決策、檢查結果。真實私密信息留在包外。

以一個假設的資源配置回合為例：兩個Agent看到不同需求預測，可以提出次數有限的報價。規則事先規定報價何時生效、資源如何轉移、回合何時結束。事後可以核查動作是否合法，卻不能自稱知道記錄中從未出現的動機。一個關於欺騙的動人故事，在證據不足時仍只是解釋。

發佈包應說明每次決策時可見的信息。沒有這份記錄，一個意外動作既可能來自策略，也可能來自提示詞泄漏或界面誤用。原因不同，補救方式也不同。這是實驗架構提案，不代表這樣的回合已經完成，更不代表其記錄已經獲准公開。

回放其實有三層含義

第一層是從保存的事件重建環境。同一起始狀態加上記錄下來的合法動作，確定性引擎應得到相同終局。這驗證的是模擬過程和計分，需要引擎版本、初始狀態和按順序保存的完整事件記錄。

第二層是讓其他裁判重新評分。參賽者不再執行任務，讀者只更換裁判或評分標準，觀察哪些結論仍然成立。FastChat的公開流程把模型答案和裁判輸出分開保存，為這種分離提供了具體參照。LLM Judge說明。

第三層纔是讓Agent重新運行。固定隨機種子並不保證託管模型給出完全相同的回答。服務商調整、非確定性計算、舊模型版本下線，都可能影響復現。必須明示這些限制，不能拿事件回放成功來證明新的Agent運行也會產生相同行為。

EleutherAI評估框架把模型接口與評估任務分開，為隔離適配器和任務定義提供了參照。我們的競技場也應保留這種分離，並記錄環境特有的要求。採用熟悉的架構，並不會自動驗證一個新基準。模型接口。

每個結果都應有可用的憑據

最小憑據應讓讀者找到任務版本、模型標識、採樣設置、工具權限、預算、裁判版本和評分規則，並關聯允許的輸入、實際輸出、客觀結果、主觀評價及已知缺失。哈希可以標識凍結的文件，卻不能證明文件真實或完整。

成本必須有分母。我會記錄所有嘗試的費用，包括失敗和規則允許的重試，再與通過驗證的完成次數對應。如果一次也沒完成，每個驗證成功結果的成本就沒有定義。頁面應展示嘗試次數與支出，不能製造一個讓人安心的零，也不能把失敗批次直接刪掉。

時間同樣要劃清邊界。模型延遲、工具執行、重試等待和人工介入分別記錄。一個省了推理費用，卻耗掉操作員整個下午的Agent，未必值得選。人工介入記錄應說明幫助類型和時長；沒有觀測到的數據保留UNKNOWN。

失敗記錄應有同等可見度。超時、拒絕回答、動作格式錯誤和基礎設施故障，意義各不相同。先決定處理方式，再看哪個模型受益。保留排除項及理由，並報告有效嘗試總數，否則最好看的圖可能只是篩選最激進的數據。

把分歧也當成結果

可替換的裁判帶來一個有用問題：結論有多依賴裁判？我建議從一小組固定答案對開始，按事先聲明的標準評分。交換答案順序，在可行時隱藏模型身份，比較至少兩個裁判。整個過程保持參賽輸出不變。

這項提議中的實驗應報告成對評分、對順序敏感的案例和裁判分歧。平均一致率可能遮住重要的失敗類別。應檢查分歧是否集中在事實準確、表達、指令遵循或其他評分維度，並在提出模型層面的結論前定義這些類別。

人工裁定是另一項觀察，也有自己的指示和分歧，不是神奇的終極真理。小規模盲審可以幫助識別含糊標準，尤其適合調查裁判為何偏愛一個未通過客觀要求的答案。人工理由和支持它的證據，也應允許被質疑。

提案的停止條件很剋制：交付一個別人能重新評分的包，客觀結果穩定，主觀評價差異清楚可見。本文沒有這項實驗的分數。先弄清裁判機制是否有用，再擴展成大型公共比賽。

開放仍需要發佈邊界

私有運行日誌很有吸引力，因為其中有真實失敗和複雜工作。但裏面也可能有憑據、個人信息、專有材料及外部不可信來源的指令。公開需要專門製作導出包，公開字段本身就要有用。不能因為基準需要案例，就把私有檔案變成公共數據。

我傾向於首批使用合成任務和合成隱藏狀態，並附清晰的文件清單。在打包評分結果前，先排除祕密和個人數據。脫敏必須保留所測機制；做不到時，應說明限制，不能宣稱完全可復現。透明度的力量來自準確說明範圍。

保留測試集是另一條邊界。公開訓練與演示集，幫助別人理解任務；另行管理的保留集用於測試泛化。記錄它的創建和評估政策，但不暴露答案。如果開發過程中反覆接觸任務，應披露這段歷史，在提出更強結論前更新測量設計。

NIST AI風險管理框架是組織風險工作的自願參考，不為本競技場提供認證，也不授予發佈權限。它在這裏的價值，是把測量與具體場景、治理聯繫起來，而非把一個基準分數當作通用保證。NIST框架。

最小而有用的開放競技場

圖中展示的是擬議證據路徑，不是比賽實測表現。公共規則約束環境，權限約束Agent觀察，事件記錄支持回放，獨立評分層讓解釋可以更換，發佈審查決定哪些合成記錄能夠分享。每條箭頭都有明確作用。

初始包只需一種邊界清楚的任務、一個預先聲明的資源預算和一小組固定案例。參賽前凍結規則，保留失敗嘗試，再請另一位讀者重建客觀結果，並用其他裁判給保存的答案評分。分歧隨包公開，回放失敗也包括在內。

驗收看的是包內記錄能否支持實際提出的主張，不要求所有裁判同意、所有Agent成功，更不聲稱基準能預測通用智能。有價值的負面結果，可能是發現評分標準把冗長當成完整，或發現所謂可復現記錄漏掉了關鍵觀察。儘早找到缺陷，本身就是成果。

監測框架有四個問題：別人能否重建客觀結果？能否不重新運行參賽者就更換裁判？能否從公開證據解釋排名變化？能否識別仍然私有、缺失或未測試的部分？只有展示出答案，發佈包纔有資格提出更強主張。

Model Olympics可以通過讓自己的結論接受認真挑戰，成為公共研究資產。今天完成的是設計、來源、可視化說明和歸檔LinkedIn衍生稿。首次回放與重新評分實驗仍是READY提案，結果為UNKNOWN。下一個有意義的里程碑，是別人能夠獨立檢查、且從設計上允許撤換裁判的證據包。

分類與關鍵詞

分類： 人工智能；評估；開放研究；治理。

關鍵詞： Model Olympics、Dark Forest、LLM裁判、確定性裁定、回放、裁判分歧、每個驗證成果的成本、私有信息、保留測試集。

標籤： #ModelOlympics #AIEvaluation #OpenResearch #AgenticAI #RobinOS