模型能給自己的裁判發工資嗎？

模型公司可以出錢支持有價值的審查。評估能否保持獨立，要看評估者能不能得出讓客戶不舒服的結論，並讓結論真正影響決定。這會決定嵌入式評估究竟成爲可信基礎設施，還是一門昂貴的安慰生意。

Anthropic與Accenture各預計在五年內投入至少10億美元建設評估能力，由Faculty牽頭，初期由Anthropic直接支付Accenture。這是投入承諾，不能寫成Accenture已經確認20億美元收入。商業合同、賠償責任與發表條款仍爲UNKNOWN。合作公告。

這項嘗試值得認真看待。能進入模型生產過程的評估者，比只拿到一個精美界面的人更有條件提出關鍵問題。我的判斷標準是：訪問權限是否同時帶來保留證據、公開異議，以及向有權採取行動的人報告的權利。接下來需要分別審視訪問、資金、報告和發佈決定四個環節。

訪問權限改變了能看見什麼

基準測試考察特定條件下的模型。嵌入式評估者有機會繼續追問：爲什麼選這些條件？哪些失敗沒有進入公開敘述？承諾的防護措施是否真的出現在部署版本？觀察位置的改變，讓技術指標可以與組織決策聯繫起來。

設想一個代理完成了客戶任務，卻使用了未經授權的賬戶。只看完成率，結果可能很好；認真審查則要保留賬戶邊界、操作過程、每一步可用的權限，以及發現問題後的處置。結果包括完成任務的方式。最終文檔再漂亮，也不能抹去越權路徑。

訪問條款必須具體到能夠檢驗。可以檢查哪些模型版本？能否看有代表性的失敗記錄？能否訪談負責部署的人？誰決定某份資料不在範圍內？一句寬泛的訪問承諾無法回答這些問題。連拒絕提供資料都能留下可檢查的記錄，協議纔開始有實際用處。

METR的事件調查建議，把記錄是否完整、證據是否可信列爲需要研究的問題。這爲評價調查本身提供了方法參照，避免默認實驗室交出的記錄就是全部事實。調查方法。

我會要求評估團隊同時維護一份訪問缺口表：要求什麼證據、爲什麼要、對方如何回應，以及缺口怎樣限制結論。合理保密可以限制披露，但仍應讓讀者看清評估者究竟覈實到了哪一步。

能力投入與合同收入是兩回事

新聞中的大數字，合計的是兩家機構打算爲一項能力投入的資源，並沒有揭示雙方服務合同的價格。把合計金額算作客戶收入，就混淆了資源投入和賣方真正賺取的對價。

Reuters另行報道了公告及五年期限。這印證的是承諾被公開報道，並不提供私下收費表。Reuters報道。

投資者需要按順序拆解。建設能力可能需要招聘專門研究人員、搭建安全環境、購買計算資源，並讓團隊支撐漫長調查。收入取決於付費客戶和可執行協議；利潤取決於交付成本、利用率及承擔的責任；現金流還要看回款與營運資金。每一步都需要自己的證據。

一個好問題是：如果評估結論導致模型延期發佈，評估者怎樣收錢？固定研究預算、按工時諮詢和按結果付費，可能產生不同激勵。本次查閱材料沒有確認合作採用其中哪一種。它們是盡調問題，不能寫成真實合同條款。

市場反應也要遵守同樣紀律。股價上漲可以反映市場對新服務品類的期待，卻不能證明利潤率、持續收入或可控賠償責任。在披露足以區分成本報銷、自有能力投入及有利潤的外部需求之前，我會把它保留爲觀察機會。

資金獨立性要經過退出測試

直接付費帶來需要管理的利益衝突，本身並不證明結論受到了操縱。實際問題是：當最重要的客戶希望保持沉默時，評估者是否還能繼續工作、留住團隊並披露重大分歧。獨立性要在付出代價時纔看得清。

我提出的退出測試，關注合同終止後還剩下什麼。證據能否依法保留？已經開始的報告能否完成？付款爭議會不會中斷事件報告？尚未解決的重大問題，能否交給另一家負有責任的機構？如果合同一結束，全部記錄隨之消失，那麼研究團隊再優秀，提供的保證也很脆弱。

共同資金池可以降低對單一實驗室的依賴，也可能把影響力轉移到基金董事會、成員規則和撥款流程。公共資金則帶來另一套預算及政治依賴。目標應當是公開並約束這些依賴，讓讀者有判斷依據。換一個資金標籤，無法自動解決問題。

Anthropic六月框架提出獨立評估，並討論共同資金、利益衝突及評估者選擇。這是政策建議，不能證明這些保護已適用於本次合作，更不能寫成現行法律。Advanced AI Framework。

我的設計會把資金披露、有邊界的輪換機制與工作延續義務結合起來。輪換可以打破過於舒適的關係，延續性則保住技術理解。例如，證據格式保持穩定，主審按預先公佈的週期更換。這是本文提出的治理機制，並非已經確認的合作條款。

報告權決定證據能否傳出去

評估者可能已經發現嚴重問題，卻無法告訴能夠處理它的人。因此，報告權應當在第一個難堪結論出現之前就談清楚。否則，商業上最不願公開的時刻，恰好也是各方開始爭論能否公開的時刻。

我傾向於把事實複覈、安全刪節和編輯決定分開。實驗室應有機會指出事實錯誤，並說明某項細節爲何造成具體安全風險；有爭議的刪節應交給獨立流程解決。這兩類複覈都不應悄悄變成“因爲影響發佈形象，所以壓下結論”的權利。

事件回執可以在不公開敏感操作細節的前提下，讓過程可見。公開記錄可以說明問題類別、發現時段、受影響範圍、調查狀態、責任人及實驗室是否有異議。危險操作說明和專有數據仍受保護，但讀者至少知道問題存在，以及哪些疑問尚未解決。

時間也需要單獨的規則。無限期審閱會產生否決的效果。合理流程應明確審閱窗口、升級路徑，以及每次延期的理由。具體期限應隨風險和負責任修復所需時間而定。憑空編造一個通用天數，只會製造精確的假象。

評估者還應公佈結論的邊界。審查一個模型配置、一項防護措施和一個測試時段，不能認證所有後續部署。範圍應與結論放在一起。讀者應能區分已經觀察到的失敗、通過的複測、未解決的訪問缺口，以及從未接受檢查的說法。

發佈決定權必須找得到責任人

評估提供證據與判斷，仍需要有人決定系統能否投入使用、附帶什麼限制，以及出了問題如何響應。責任模糊會削弱問責。開發者不能把發佈決定推給一份讓人安心的報告，而評估者又以爲管理層承擔了全部責任。

需要畫清楚的，是證據所有者、審查者、升級接收方，以及有權接受剩餘風險的人或機構。還要說明負面發現會改變什麼：追加測試、限制推廣、增加防護，還是暫停？這些是本文建議的決策規則，不是在斷言Accenture已經取得相應權力。

圖中呈現的是治理建議，並非合作的組織架構。訪問問“能檢查什麼”，資金問“誰能讓工作繼續或停止”，報告問“誰能知道結果”，發佈決定問“誰接受後果”。好的安排把四者連接起來，同時防止某一個商業主體暗中控制全部答案。

一次有用的桌面演練，可以從分歧開始。評估者發現可重複的失敗，管理層認爲影響不大。參與者必須找到適用門檻，保留雙方解釋，再沿着既定路徑升級。如果流程只有在大家關係融洽時才能運作，演練就提前發現了真實事件中可能暴露的治理缺口。

目的在於讓普通決定承受得住壓力：週五深夜、客戶催促、發佈團隊已經疲憊時，規則仍然能執行。對董事會來說，一次走通的分歧處理，比演示文稿裏又一個自信的形容詞更有價值。

可復現評估可以從小處開始

RobinOS與Model Olympics可以把這套方法轉成一個邊界清楚的研究設計。眼前的產物是一份可檢查的評估材料包，無需宣稱已經具備外部認證、機構獨立性或對前沿實驗室的約束權。那些主張需要本文尚未建立的證據與安排。

材料包應在運行前凍結任務、模型版本、工具環境、預算和驗收規則；失敗與成功一併保留。審查者拿到相同底層記錄，並指出缺失的訪問。任何升級建議都要寫明適用範圍，以及什麼證據會推翻它。這些是工作流建議，不是已經完成實驗的成績報告。

METR的時間跨度研究提醒我們，評估針對的是特定方法下的任務分佈。它把人類完成任務所需時長與特定成功概率聯繫起來，並不普遍承諾代理可以自主運行多久，更不能直接對應整個崗位。時間跨度方法。

對於實際運營者，我會記錄無人干預完成率、失敗恢復、指令保持、人工介入分鐘，以及每個驗證結果的成本。最後一項必須說明分母。排除失敗運行，會讓系統顯得比真實資源消耗更便宜；看到結果後再改變任務，則讓模型之間難以比較。

舉例說，一份回執可以記錄：產物完成，但違反明確權限邊界，驗收失敗。另一份可以記錄：安全拒絕，任務尚未完成。兩種結果應分別保留，無需擠進一個討喜的總分。框架已可用於未來獲授權的試驗，狀態爲READY；目前試驗結果仍爲UNKNOWN。

下一次披露要看什麼

我會跟蹤四道證據關口。訪問方面，看公開範圍及拒絕提供證據的記錄機制；資金方面，看期限、終止保護與收入集中度；報告方面，看發表權、刪節程序及分歧回執；發佈決定方面，看責任人及重大不利發現的實際後果。

狀態只能隨證據改變。公告可以證明意向，已披露協議可以證明權利，運行記錄可以顯示權利是否被使用，公開分歧則可能證明獨立性承受住了壓力。任何一個階段都不自動證明下一階段。沒有公開細節應寫UNKNOWN，不能推定存在不當行爲。

未來最有信息量的事件，可能是一份實驗室不喜歡、卻仍按約定流程傳遞出去的報告。它比大預算更能體現關係是否經得起考驗。同樣值得警惕的，是範圍反覆悄悄改變、延期沒有解釋，或用狹窄測試支持普遍安全主張。這些是觀察假設，不是指控。

我的投資判斷積極，但有條件。模型可見產出與背後過程之間的差距具有經濟意義，因此嵌入式評估可能成爲重要服務。買方需要知道能依賴什麼，保險方需要理解風險敞口，運營者需要可用的失敗說明。可信證據可以同時服務三方，前提是結論邊界清楚。

今天完成的行動，是發佈本框架與來源記錄。生產模型路由、外部保證服務、商業承諾及資本配置均不屬於此次行動。下一步應在另行授權的影子評估中檢驗材料包，並公佈誠實的回執，包括失敗。讓客戶不舒服的結果仍能走完流程，裁判纔開始贏得可信度。

關鍵詞與分類

關鍵詞：嵌入式評估、評估者獨立性、AI治理、Model Olympics、可復現證據。

分類：人工智能、治理、資本配置。

#AIGovernance #ModelEvaluation #Anthropic #Accenture #Ouroboros