01 · AI Circularity Ledger

真正的瓶頸是證明迴圈

Relationship map for 真正的瓶頸是證明迴圈

一個帶著記分板的商業循環。

結論很簡單:智慧的供應速度,正在超過證明的生產速度。AI 可以在早餐前生成十個聽起來合理的假設;生物學、資本市場和真實運營卻可能要幾個月,才告訴我們其中一個能否經得住現實。真正的長期優勢,屬於那些能縮短“提出—檢驗—批評—保留學習”完整迴圈,同時不降低證據標準的人。

BioStudyBench 把這條邊界畫得很清楚。智慧體面對知識截止日之後發表的生物醫學研究,只收到一箇中性問題,必須自行尋找公開資料、編寫分析並重新得到論文結果。八個模型平均而言,資料和工具令透過率提高47個百分點。最佳閉源模型透過94.7%的任務,最佳開源模型為81.3%。這些結果很強,但仍是基準結果。作者特意把“真正推導”與“檢索已知答案”分開,正是這項工作的價值。BioStudyBench

Biohub 的 Virtual Biology Initiative 處理的是另一項約束。它承諾生成開放、多模態的生物資料,並建立更好的細胞預測模型。邏輯成立:可靠模型需要數量級更多的結構化觀測,昂貴溼實驗應優先驗證最有資訊價值的候選。預測模型可以縮小搜尋空間,卻不能自行宣佈藥物安全、讓另一個實驗室復現結果,或創造患者獲益。Biohub

本文把這兩項進展變成 RobinOS、Quant Lab 與 AI 科學都能使用的操作框架:四個階段、四項指標和一條硬規則。任何機器生成的主張,必須先給證據一次公平推翻它的機會,才有資格進入知識庫。本次釋出沒有執行實驗;框架是 READY,結果仍是 UNKNOWN。

生成假設已經不是稀缺步驟

在人類大部分科學史中,提出好假設需要稀缺注意力。研究者必須熟悉文獻、發現異常,並想象可能機制。今天這項工作仍然重要,但生成流暢、可信候選的邊際成本已經暴跌。

讓一個強模型解釋失敗實驗、回撤或智慧體架構,它會立即給出十個答案。部分可能很聰明;清單本身幾乎沒有價值。每項候選都在爭奪資料、實驗室時間、資本、運營注意力,以及影響真實決策的資格。

軟體智慧體也有同樣失衡。系統幾小時內就能寫計劃、生成程式碼和漂亮報告。若來源檢索悄悄失敗、測試夾具洩露答案,或人類修復了關鍵段落,速度只屬於生產,不屬於證明。成品看似完整,證據鏈卻有缺口。

BioStudyBench 的47個百分點提升證明工具與資料能顯著改善其任務表現。它沒有證明每個答案都來自乾淨的因果路徑,也不衡量溼實驗有效性、臨床價值或部署經濟。未來最重要的問題不再是“系統能否想出點子”,而是“哪個主張值得下一單位驗證能力”。

證明迴圈有四個必須負責的階段

最低有效迴圈是 propose → test → criticize → remember。每個動詞都要留下工件和失敗條件。

提出只生成一個可證偽主張,寫明預期觀測、適用條件,以及什麼結果會反對它。“AI 將加速生物學”只是主題;“工具型智慧體能在不檢索論文結論的情況下,用公開資料復現一項截止日後分析”才可檢驗。

檢驗讓主張公平遭遇證據。凍結資料邊界,記錄預算,並在看到結果前確定評分規則。軟體可以使用封存任務和隱藏驗收測試;生物學可能需要實驗、外部實驗室或前瞻佇列。虛擬實驗能排序候選,不能冒充它預測的真實測量。

批評尋找結果最容易誤導人的路徑:智慧體是否檢索到答案?模型是否見過近似副本?分析師是否在看過資料後選擇了有利子集?換一個隨機種子、實驗室或客戶,效果是否消失?批評是一個獲得時間、工具和否決權的崗位,不是一種情緒。

記憶儲存主張、證據、被拒替代解釋、人類介入、成本和決定。只記勝利會製造自信;儲存全部聊天記錄卻不整理,只會製造噪聲。只有當過去證據改變下一次提出或拒絕的內容,迴圈才真正閉合。

軟體與生物學執行在不同的時鐘上

軟體很容易讓人把快速反饋當成強證明。測試幾分鐘就能跑完,部署可以回滾,失敗分支可以重放。即使如此,綠色測試仍可能覆蓋錯行為。它的優勢是下一次迭代通常便宜,而且收據出現得快。

生物學完全不同。樣本會變化,實驗條件會漂移,細胞系在不同實驗室表現不同。模型可以預測一種機制,生物體卻可能透過未建模路徑回應。臨床試驗還疊加招募、安全、依從性、監管和時間。負面證據可能在一年後才出現。

Biohub 擴大開放生物資料的計劃,可以改善提出和優先排序。更大、更標準的資料集,可能幫助模型找出資訊價值最高的實驗。這是真實槓桿。其5億美元承諾和開放資料願景仍是正在建設系統的投入,不是通用虛擬細胞或治療結果的證明。Biohub Virtual Biology Initiative

不同的時鐘也應改變資本分配。軟體智慧體可以按每週完成任務計分;AI 生物平臺應按證偽靶點假設所需時間、達到決定性實驗的成本、外部復現率、從預測走向實驗的轉化,以及負面結果改善下一輪選擇的比例來評價。

四項指標揭示迴圈有沒有變好

第一項是 每個被證偽假設所需時間。團隊常慶祝確認,卻隱藏拒絕。快速而可信的否定能阻止繼續浪費,同樣是生產成果。計時從主張凍結開始,到證據驅動的決定結束,幷包含排隊和人工救援。

第二項是 每項決定性檢驗的全成本。模型、資料獲取、實驗、工程、審閱和失敗重試全部計入。若人類解釋或溼實驗才是主要成本,只看 token 費用會誤導。

第三項是 外部復現率。內部重複能抓住部分錯誤;獨立團隊、環境或資料集重現效果,才真正改變證據等級。還要記錄復現距離:同一容器重跑弱於另一實驗室或前瞻佇列。

第四項是 記憶產出率。多少已完成檢驗產生了能約束後續工作的知識?邊界清楚的負面結果可能很有價值;從未改變選擇的漂亮 demo 價值很低。檢查後續提案是否引用這些證據,並做記憶消融,看缺少它時未知任務表現是否變差。

這些指標會抑制虛榮。驗證能力不變時,更多假設可能降低表現;來源薄弱時,更多資料可能增加偏差;失敗被刪除時,更多實驗可能帶來更少學習。

執行迴圈時不要汙染答案

RobinOS 可以先在只讀研究環境測試,無需觸碰生物實驗、客戶系統或資本。選擇一組有公開資料和延遲答案的問題,凍結題目、來源視窗、模型訪問、預算與驗收規則,並保留無記憶基線和整理記憶組。

兩組都輸出相同結構:主張、分析、不確定性和拒絕條件。審閱者使用封存答案或獨立核驗的證據評分。最重要的控制是答案洩露。BioStudyBench 選擇截止日後研究,並限制文獻搜尋日期,就是因為檢索論文結論很容易偽裝成重新推導。

本地實驗也必須雜湊題包、記錄每個來源 URL、儲存工具日誌,並拒絕任何透過未批准路徑接觸答案的執行。之後逐項移除失敗假設、人類介入歷史或來源質量標籤。若表現不變,記憶可能只是裝飾;若準確率下降、重複死路或需要更多救援,被移除部分才有運營價值。

一次執行不能晉級。重複任務和隨機種子,加上簡單規則基線,並公開分母:總任務、阻塞、合格成果、人工救援和排除項。最乾淨的結論也許是“整理記憶只在狹窄任務族有效”。這仍然有價值,因為它界定了複利發生的位置。

失敗記憶需要預算和過期規則

“記住一切”聽起來安全,實際常變成垃圾場。原始對話混合事實、臨時指令、陳舊上下文和偶然成功。檢索返回更多文字,卻讓來源更難檢查。

有用的失敗記憶應該緊湊:主張、測試邊界、結果、為什麼可信、仍未知什麼、什麼觀測會重開問題。它還需要複核日期。模型、資料、監管或成本變化後,舊失敗可能重新可行。

記憶庫需要兩個預算。儲存預算限制哪些證據進入;決策預算限制一次執行中多少檢索內容能影響結論。整理應優先儲存能夠排除一類錯誤行動的約束,而不是與當前任務看起來相似的故事。

證據會變舊,卻不必變假。記錄事件日期、核驗日期和有效條件;條件變化時把記錄降級為線索,要求重新檢驗。這樣,昨天的負面結果不會變成明天無人質疑的教條。

投資問題是誰擁有這個迴圈

AI 生命科學公司常把模型、資料資產和管線稱為一個平臺。證明迴圈會把它們拆開:誰控制獨家觀測?誰選擇實驗?誰完成溼實驗?誰擁有負面結果?候選推進後誰獲取經濟利益?失敗時誰付錢?

Iambic Therapeutics 正把這個問題帶入公開市場。其修訂招股書計劃以15至17美元發行約938萬股,並披露臨床階段管線和合作關係。檔案可以證明發行條款和已披露專案,不能證明批准或患者獲益。Iambic prospectus

只有當 AI 改變迴圈經濟時,AI 標籤才值得估值溢價。證據可以是每美元完成更多決定性實驗、更短的候選驗證時間、更高外部復現率、更好的靶點選擇,或能轉移足夠下游風險的合作條款。沒有這些結果,再漂亮的模型也只是研究能力,尚不是持久經濟護城河。

同樣邏輯也適用於其他領域。Quant Lab 應重視殺死脆弱策略的 forward test;RobinOS 應重視防止重複恢復錯誤的失敗收據;基礎設施投資者應問運營證據能否縮短承保,而不是增加預測。

一個小實驗就夠開始

從五個知識截止日後的公開資料問題開始。每題固定主張格式和獨立驗收規則,在相同總預算下執行無記憶智慧體與整理記憶智慧體,保留每次失敗。衡量每次證偽時間、決定性檢驗成本、外部或封存答案一致率,以及記憶產出率。

實驗不需要證明通用智慧。它只回答一個更小的問題:在不增加總預算、不隱藏人工救援的條件下,保留並整理的證據能否改善未知研究任務?

若答案為是,每次只擴充套件一個變數;若答案為否,檢查記憶是否無關、嘈雜或洩露答案;若證據衝突,保持 UNKNOWN 並改進測試。一個系統只有能夠否定自己最吸引人的解釋,才開始贏得信任。

AI 輔助科學的真正承諾就在這裡。更快提出問題很有用;更快、更便宜、更誠實地改正錯誤,才會改變系統。

分類與關鍵詞

分類: Agentic AI;生命科學;研究系統;可復現性

關鍵詞: proof loop、AI science、failure memory、falsification、BioStudyBench、Virtual Biology Initiative、clinical validation、RobinOS

Hashtags: #AgenticAI #AIScience #Reproducibility #LifeSciences #RobinOS