你的 AI 研究部需要一場封存考試

結论並不舒服：只有保留的經驗能在训練、检索和评分都看不到答案的任務上改善表現，AI 研究部才算真的學会了。更長的记忆、更流畅的報告、更忙碌的智能體群，都可能看起来像進步。決定性證據是一場封存考試：固定总预算，隱藏任務，獨立驗收，再關閉记忆做一次消融。

OpenAI 的 Jump Trading 案例展示了長時间運行的多智能體研究系統。BioStudyBench 則設計25項生物医學複現任務，試图把真實分析和检索既有答案分開。两者都提供有用方法，却都不能替運营者回答一個更严格的問題：昨天留下的經驗，究竟改善了今天的陌生工作，還是系統只是更会寻找熟悉答案？OpenAI Jump Trading BioStudyBench

本文只给出實驗方案。RobinOS 尚未执行這場封存考試，也没有結果可以公布。先把“設計完成”與“實驗成功”分開，本身就是研究部的第一道題。

答案泄漏發生在模型之前

研究评測常在不知不觉中失效。模型可能從训練中记住论文，從检索中找到發布日期更晚的总結，從代码仓庫看到目標图表，或者從共享笔记继承上一個智能體的結论。最终答案即使正確，也不能證明研究過程真實發生。

BioStudyBench 的價值在于設置历史上合理的信息边界：任務有文献截止日期，數據和工具權限也被控制。BioStudyBench 泄漏並不只来自網页。文件名、路径、測試夹具、预期图形和评语都可能暴露答案。记忆對象因此必须记錄来源、創建日期、选擇理由和哈希。

每道題都要有不可變编号、来源包、检索截止点和访問日志。系統加载了哪段记忆、打開了哪些文件與 URL，應當可複查。缺少這条边界，“學习”只是能力故事，不是迁移證據。

先冻結记忆策略，再揭開任務

竞争系統和记忆策略必须先锁定，封存任務随後才能揭開。否則運营者可以针對答案調整提示詞、示例和检索規則，相當于在考試前几分钟重寫學生的大脑。

先建立由评測運行之外產生的任務池，並给每道題绑定哈希。随後冻結三個系統：無记忆单智能體、無记忆多智能體、帶精选记忆的同構多智能體。三者使用同一基础指令、工具、来源權限和总資源预算。冻結後再抽取未見任務，並记錄抽签結果。

新颖性應體現在機制，而不只是換公司名。把同一計算套到另一家公司，主要測試模板複用；把 AI 基础設施里的證據規則迁移到機器人制造，才更接近真正的跨域學习。

只有一個总预算

五個智能體各搜索五次，本来就比一個智能體搜索五次拥有更多信息和算力。若不統一预算，把差异稱為“涌現”只是在隱藏分母。

预算可以同時记錄 token、API 成本、墙钟時间、工具調用和人工分钟。不要强行压成一個漂亮數字，保留這組小向量即可。重試、人工修複、澄清和救援提示都必须計入。系統用完预算仍未完成時，結果保持未解決或被拒绝，不能悄悄刷新額度。

Anthropic 發布 Haiku 5.5 時强調更低费率，這正说明為什么 token 價格不能直接當成工作經济性。便宜的子代理如果帶来更多複核與重試，每項合格研究的成本仍可能上升。Anthropic Claude Haiku 5.5

比較三個系統，而不是两個

第一組是無记忆单智能體，建立一名能力合格的研究者能做到什么。第二組是無记忆多智能體，測量角色分工、並行检索與内部质疑的價值。第三組保持同一多智能體結構，只增加精选记忆。

這個設計把协調效果和记忆效果拆開。两個多智能體都优于单智能體，可能说明协調有價值；精选记忆組再优于無记忆多智能體，才说明保留經驗可能贡献增量。如果记忆組同時获得更好工具或更多预算，比較就失去解释力。

记忆應包含程序、历史错誤、来源质量規則和紧凑示例，不應包含封存任務的答案、截止日後的報道或本轮评分意見。還可以增加随機记忆對照：给系統相同長度、却與任務無關的旧資料。若精选與随機记忆效果相同，收益可能只是上下文更長。

评研究，不评文采

流畅文章容易让薄弱研究顯得完整。评分應先看事實準確、来源质量、關键替代解释、 uncertainty 校準、計算複現和決策用途，最後才看表達。

每項標準都要能观察。“来源优秀”太模糊；“每個承重數字链接一手来源，日期與事件一致，冲突數字被解释或保留未解決”才可检查。匿名化输出並随機排序，评分者在不知道系統身份時先打主分。

伪造来源、隱藏缺失值、越權外發或虚報完成，屬于边界失败，不能被其他段落的漂亮文字平均掉。一次严重边界失败可以直接拒绝该轮。

關閉记忆，观察差值

记忆消融是考試核心。同一架構分别启用與關閉精选记忆，任務、预算、工具和评分保持不變。单次差值不能单獨證明因果，却能检驗优势是否随着所聲稱的機制一起消失。

每种条件應跨多道任務和多個随機种子運行，報告分布，不只報告最好一次。還要记錄實際检索了哪些记忆：系統可能拥有好經驗却從未調用，也可能把正確規則用错领域。

重複失败需要獨立账本。三個系統都犯同一错誤，問題可能在来源權限或评分標準；只有记忆組重複旧框架错誤，則保留經驗變成了保留偏見。學习也包括知道什么應该丢弃。

分開研究、系統學习與传播

同一個實驗可以服務三個項目，但必须保留三张成绩表。Quant Lab 關心結论是否更準確、可複現、可用于決策；RobinOS 關心系統是否用更低总成本迁移方法；SunTV 或 iamrobin.ai 關心讀者是否理解機制並提出更好的問題。

传播受欢迎不能驗證研究結果，研究高分不能證明操作系統已經學习，系統學习也不授權資本行動。今天唯一成立的状态是“方案已設計”。實驗運行、观察到记忆效果、讀者理解改善，都需要各自的新收據。

传播測試可以使用相同證據寫两种解释，並观察實质纠错、有效提問和回访，而不是只看曝光。传播結果不得事後修改研究评分。

第一場封存考試

從小而有判断價值的任務開始。例如，用截止日前的公開一手来源，比較两個 AI 基础設施項目的交付风险。预先冻結十項驗收条件：實體和日期準確、承重數字有一手来源、缺失值明確、不重複事件、包含一個反證观察、計算可複現、結论有边界、没有越權動作、来源包完整、最终產物可由他人检查。

如果成本允许，至少使用五道未見任務和多個随機种子。匿名评分，记錄质量、模型與工具成本、人工分钟、重試、重複失败和未解決状态。原始轨迹在權限允许時私下保存，公開時只發布去敏方法與聚合證據。

提升門槛必须事先聲明。精选记忆只有在不增加边界失败的情況下，提高合格分數中位數、保持总预算，並在多道任務上稳定领先，才值得推广。若只改善文采或赢得一次幸運样本，結论仍是不確定。

什么證據足以说服我们

真正有说服力的結果很朴素：任務集帶日期和哈希，在系統冻結前保持隱藏；三個条件使用相同总预算；獨立评分發現精选记忆持續提高合格研究质量；移除记忆後优势下降；多任務、多种子仍可複現，人工救援和边界失败没有上升。

更弱的結果應使用更窄的名稱。報告更好看，是编辑提升；運行更快，是效率观察；检索更多笔记，是系統行為；提供方基準，是特定条件下的外部證據。坚定语气不能把它们變成組织學习。

负面結果同样有價值。它告诉研究部應该投資模型、协調、来源權限、记忆整理、评測還是恢複系統。记忆如果還過不了封存考試，它仍是一座档案馆。档案馆很有用，只是不應被誤稱為學习。

分類與關键詞

Category: Agentic AI · Research Systems

Keywords: sealed evaluation, agent memory, research agents, memory ablation, fixed-budget comparison, unseen tasks

Hashtags: #AgenticAI #AIResearch #Evaluation #RobinOS #IAmRobin