你的 AI 研究部需要一场封存考试

结论并不舒服：只有保留的经验能在训练、检索和评分都看不到答案的任务上改善表现，AI 研究部才算真的学会了。更长的记忆、更流畅的报告、更忙碌的智能体群，都可能看起来像进步。决定性证据是一场封存考试：固定总预算，隐藏任务，独立验收，再关闭记忆做一次消融。

OpenAI 的 Jump Trading 案例展示了长时间运行的多智能体研究系统。BioStudyBench 则设计25项生物医学复现任务，试图把真实分析和检索既有答案分开。两者都提供有用方法，却都不能替运营者回答一个更严格的问题：昨天留下的经验，究竟改善了今天的陌生工作，还是系统只是更会寻找熟悉答案？OpenAI Jump Trading BioStudyBench

本文只给出实验方案。RobinOS 尚未执行这场封存考试，也没有结果可以公布。先把“设计完成”与“实验成功”分开，本身就是研究部的第一道题。

答案泄漏发生在模型之前

研究评测常在不知不觉中失效。模型可能从训练中记住论文，从检索中找到发布日期更晚的总结，从代码仓库看到目标图表，或者从共享笔记继承上一个智能体的结论。最终答案即使正确，也不能证明研究过程真实发生。

BioStudyBench 的价值在于设置历史上合理的信息边界：任务有文献截止日期，数据和工具权限也被控制。BioStudyBench 泄漏并不只来自网页。文件名、路径、测试夹具、预期图形和评语都可能暴露答案。记忆对象因此必须记录来源、创建日期、选择理由和哈希。

每道题都要有不可变编号、来源包、检索截止点和访问日志。系统加载了哪段记忆、打开了哪些文件与 URL，应当可复查。缺少这条边界，“学习”只是能力故事，不是迁移证据。

先冻结记忆策略，再揭开任务

竞争系统和记忆策略必须先锁定，封存任务随后才能揭开。否则运营者可以针对答案调整提示词、示例和检索规则，相当于在考试前几分钟重写学生的大脑。

先建立由评测运行之外产生的任务池，并给每道题绑定哈希。随后冻结三个系统：无记忆单智能体、无记忆多智能体、带精选记忆的同构多智能体。三者使用同一基础指令、工具、来源权限和总资源预算。冻结后再抽取未见任务，并记录抽签结果。

新颖性应体现在机制，而不只是换公司名。把同一计算套到另一家公司，主要测试模板复用；把 AI 基础设施里的证据规则迁移到机器人制造，才更接近真正的跨域学习。

只有一个总预算

五个智能体各搜索五次，本来就比一个智能体搜索五次拥有更多信息和算力。若不统一预算，把差异称为“涌现”只是在隐藏分母。

预算可以同时记录 token、API 成本、墙钟时间、工具调用和人工分钟。不要强行压成一个漂亮数字，保留这组小向量即可。重试、人工修复、澄清和救援提示都必须计入。系统用完预算仍未完成时，结果保持未解决或被拒绝，不能悄悄刷新额度。

Anthropic 发布 Haiku 5.5 时强调更低费率，这正说明为什么 token 价格不能直接当成工作经济性。便宜的子代理如果带来更多复核与重试，每项合格研究的成本仍可能上升。Anthropic Claude Haiku 5.5

比较三个系统，而不是两个

第一组是无记忆单智能体，建立一名能力合格的研究者能做到什么。第二组是无记忆多智能体，测量角色分工、并行检索与内部质疑的价值。第三组保持同一多智能体结构，只增加精选记忆。

这个设计把协调效果和记忆效果拆开。两个多智能体都优于单智能体，可能说明协调有价值；精选记忆组再优于无记忆多智能体，才说明保留经验可能贡献增量。如果记忆组同时获得更好工具或更多预算，比较就失去解释力。

记忆应包含程序、历史错误、来源质量规则和紧凑示例，不应包含封存任务的答案、截止日后的报道或本轮评分意见。还可以增加随机记忆对照：给系统相同长度、却与任务无关的旧资料。若精选与随机记忆效果相同，收益可能只是上下文更长。

评研究，不评文采

流畅文章容易让薄弱研究显得完整。评分应先看事实准确、来源质量、关键替代解释、 uncertainty 校准、计算复现和决策用途，最后才看表达。

每项标准都要能观察。“来源优秀”太模糊；“每个承重数字链接一手来源，日期与事件一致，冲突数字被解释或保留未解决”才可检查。匿名化输出并随机排序，评分者在不知道系统身份时先打主分。

伪造来源、隐藏缺失值、越权外发或虚报完成，属于边界失败，不能被其他段落的漂亮文字平均掉。一次严重边界失败可以直接拒绝该轮。

关闭记忆，观察差值

记忆消融是考试核心。同一架构分别启用与关闭精选记忆，任务、预算、工具和评分保持不变。单次差值不能单独证明因果，却能检验优势是否随着所声称的机制一起消失。

每种条件应跨多道任务和多个随机种子运行，报告分布，不只报告最好一次。还要记录实际检索了哪些记忆：系统可能拥有好经验却从未调用，也可能把正确规则用错领域。

重复失败需要独立账本。三个系统都犯同一错误，问题可能在来源权限或评分标准；只有记忆组重复旧框架错误，则保留经验变成了保留偏见。学习也包括知道什么应该丢弃。

分开研究、系统学习与传播

同一个实验可以服务三个项目，但必须保留三张成绩表。Quant Lab 关心结论是否更准确、可复现、可用于决策；RobinOS 关心系统是否用更低总成本迁移方法；SunTV 或 iamrobin.ai 关心读者是否理解机制并提出更好的问题。

传播受欢迎不能验证研究结果，研究高分不能证明操作系统已经学习，系统学习也不授权资本行动。今天唯一成立的状态是“方案已设计”。实验运行、观察到记忆效果、读者理解改善，都需要各自的新收据。

传播测试可以使用相同证据写两种解释，并观察实质纠错、有效提问和回访，而不是只看曝光。传播结果不得事后修改研究评分。

第一场封存考试

从小而有判断价值的任务开始。例如，用截止日前的公开一手来源，比较两个 AI 基础设施项目的交付风险。预先冻结十项验收条件：实体和日期准确、承重数字有一手来源、缺失值明确、不重复事件、包含一个反证观察、计算可复现、结论有边界、没有越权动作、来源包完整、最终产物可由他人检查。

如果成本允许，至少使用五道未见任务和多个随机种子。匿名评分，记录质量、模型与工具成本、人工分钟、重试、重复失败和未解决状态。原始轨迹在权限允许时私下保存，公开时只发布去敏方法与聚合证据。

提升门槛必须事先声明。精选记忆只有在不增加边界失败的情况下，提高合格分数中位数、保持总预算，并在多道任务上稳定领先，才值得推广。若只改善文采或赢得一次幸运样本，结论仍是不确定。

什么证据足以说服我们

真正有说服力的结果很朴素：任务集带日期和哈希，在系统冻结前保持隐藏；三个条件使用相同总预算；独立评分发现精选记忆持续提高合格研究质量；移除记忆后优势下降；多任务、多种子仍可复现，人工救援和边界失败没有上升。

更弱的结果应使用更窄的名称。报告更好看，是编辑提升；运行更快，是效率观察；检索更多笔记，是系统行为；提供方基准，是特定条件下的外部证据。坚定语气不能把它们变成组织学习。

负面结果同样有价值。它告诉研究部应该投资模型、协调、来源权限、记忆整理、评测还是恢复系统。记忆如果还过不了封存考试，它仍是一座档案馆。档案馆很有用，只是不应被误称为学习。

分类与关键词

Category: Agentic AI · Research Systems

Keywords: sealed evaluation, agent memory, research agents, memory ablation, fixed-budget comparison, unseen tasks

Hashtags: #AgenticAI #AIResearch #Evaluation #RobinOS #IAmRobin