01 · AI Circularity Ledger
真正的瓶颈是证明循环

一个带着记分板的商业循环。
结论很简单:智能的供应速度,正在超过证明的生产速度。AI 可以在早餐前生成十个听起来合理的假设;生物学、资本市场和真实运营却可能要几个月,才告诉我们其中一个能否经得住现实。真正的长期优势,属于那些能缩短“提出—检验—批评—保留学习”完整循环,同时不降低证据标准的人。
BioStudyBench 把这条边界画得很清楚。智能体面对知识截止日之后发表的生物医学研究,只收到一个中性问题,必须自行寻找公开数据、编写分析并重新得到论文结果。八个模型平均而言,数据和工具令通过率提高47个百分点。最佳闭源模型通过94.7%的任务,最佳开源模型为81.3%。这些结果很强,但仍是基准结果。作者特意把“真正推导”与“检索已知答案”分开,正是这项工作的价值。BioStudyBench
Biohub 的 Virtual Biology Initiative 处理的是另一项约束。它承诺生成开放、多模态的生物数据,并建立更好的细胞预测模型。逻辑成立:可靠模型需要数量级更多的结构化观测,昂贵湿实验应优先验证最有信息价值的候选。预测模型可以缩小搜索空间,却不能自行宣布药物安全、让另一个实验室复现结果,或创造患者获益。Biohub
本文把这两项进展变成 RobinOS、Quant Lab 与 AI 科学都能使用的操作框架:四个阶段、四项指标和一条硬规则。任何机器生成的主张,必须先给证据一次公平推翻它的机会,才有资格进入知识库。本次发布没有运行实验;框架是 READY,结果仍是 UNKNOWN。
生成假设已经不是稀缺步骤
在人类大部分科学史中,提出好假设需要稀缺注意力。研究者必须熟悉文献、发现异常,并想象可能机制。今天这项工作仍然重要,但生成流畅、可信候选的边际成本已经暴跌。
让一个强模型解释失败实验、回撤或智能体架构,它会立即给出十个答案。部分可能很聪明;清单本身几乎没有价值。每项候选都在争夺数据、实验室时间、资本、运营注意力,以及影响真实决策的资格。
软件智能体也有同样失衡。系统几小时内就能写计划、生成代码和漂亮报告。若来源检索悄悄失败、测试夹具泄露答案,或人类修复了关键段落,速度只属于生产,不属于证明。成品看似完整,证据链却有缺口。
BioStudyBench 的47个百分点提升证明工具与数据能显著改善其任务表现。它没有证明每个答案都来自干净的因果路径,也不衡量湿实验有效性、临床价值或部署经济。未来最重要的问题不再是“系统能否想出点子”,而是“哪个主张值得下一单位验证能力”。
证明循环有四个必须负责的阶段
最低有效循环是 propose → test → criticize → remember。每个动词都要留下工件和失败条件。
提出只生成一个可证伪主张,写明预期观测、适用条件,以及什么结果会反对它。“AI 将加速生物学”只是主题;“工具型智能体能在不检索论文结论的情况下,用公开数据复现一项截止日后分析”才可检验。
检验让主张公平遭遇证据。冻结数据边界,记录预算,并在看到结果前确定评分规则。软件可以使用封存任务和隐藏验收测试;生物学可能需要实验、外部实验室或前瞻队列。虚拟实验能排序候选,不能冒充它预测的真实测量。
批评寻找结果最容易误导人的路径:智能体是否检索到答案?模型是否见过近似副本?分析师是否在看过数据后选择了有利子集?换一个随机种子、实验室或客户,效果是否消失?批评是一个获得时间、工具和否决权的岗位,不是一种情绪。
记忆保存主张、证据、被拒替代解释、人类介入、成本和决定。只记胜利会制造自信;保存全部聊天记录却不整理,只会制造噪声。只有当过去证据改变下一次提出或拒绝的内容,循环才真正闭合。
软件与生物学运行在不同的时钟上
软件很容易让人把快速反馈当成强证明。测试几分钟就能跑完,部署可以回滚,失败分支可以重放。即使如此,绿色测试仍可能覆盖错行为。它的优势是下一次迭代通常便宜,而且收据出现得快。
生物学完全不同。样本会变化,实验条件会漂移,细胞系在不同实验室表现不同。模型可以预测一种机制,生物体却可能通过未建模路径回应。临床试验还叠加招募、安全、依从性、监管和时间。负面证据可能在一年后才出现。
Biohub 扩大开放生物数据的计划,可以改善提出和优先排序。更大、更标准的数据集,可能帮助模型找出信息价值最高的实验。这是真实杠杆。其5亿美元承诺和开放数据愿景仍是正在建设系统的投入,不是通用虚拟细胞或治疗结果的证明。Biohub Virtual Biology Initiative
不同的时钟也应改变资本分配。软件智能体可以按每周完成任务计分;AI 生物平台应按证伪靶点假设所需时间、达到决定性实验的成本、外部复现率、从预测走向实验的转化,以及负面结果改善下一轮选择的比例来评价。
四项指标揭示循环有没有变好
第一项是 每个被证伪假设所需时间。团队常庆祝确认,却隐藏拒绝。快速而可信的否定能阻止继续浪费,同样是生产成果。计时从主张冻结开始,到证据驱动的决定结束,并包含排队和人工救援。
第二项是 每项决定性检验的全成本。模型、数据获取、实验、工程、审阅和失败重试全部计入。若人类解释或湿实验才是主要成本,只看 token 费用会误导。
第三项是 外部复现率。内部重复能抓住部分错误;独立团队、环境或数据集重现效果,才真正改变证据等级。还要记录复现距离:同一容器重跑弱于另一实验室或前瞻队列。
第四项是 记忆产出率。多少已完成检验产生了能约束后续工作的知识?边界清楚的负面结果可能很有价值;从未改变选择的漂亮 demo 价值很低。检查后续提案是否引用这些证据,并做记忆消融,看缺少它时未知任务表现是否变差。
这些指标会抑制虚荣。验证能力不变时,更多假设可能降低表现;来源薄弱时,更多数据可能增加偏差;失败被删除时,更多实验可能带来更少学习。
运行循环时不要污染答案
RobinOS 可以先在只读研究环境测试,无需触碰生物实验、客户系统或资本。选择一组有公开数据和延迟答案的问题,冻结题目、来源窗口、模型访问、预算与验收规则,并保留无记忆基线和整理记忆组。
两组都输出相同结构:主张、分析、不确定性和拒绝条件。审阅者使用封存答案或独立核验的证据评分。最重要的控制是答案泄露。BioStudyBench 选择截止日后研究,并限制文献搜索日期,就是因为检索论文结论很容易伪装成重新推导。
本地实验也必须哈希题包、记录每个来源 URL、保存工具日志,并拒绝任何通过未批准路径接触答案的运行。之后逐项移除失败假设、人类介入历史或来源质量标签。若表现不变,记忆可能只是装饰;若准确率下降、重复死路或需要更多救援,被移除部分才有运营价值。
一次运行不能晋级。重复任务和随机种子,加上简单规则基线,并公开分母:总任务、阻塞、合格成果、人工救援和排除项。最干净的结论也许是“整理记忆只在狭窄任务族有效”。这仍然有价值,因为它界定了复利发生的位置。
失败记忆需要预算和过期规则
“记住一切”听起来安全,实际常变成垃圾场。原始对话混合事实、临时指令、陈旧上下文和偶然成功。检索返回更多文字,却让来源更难检查。
有用的失败记忆应该紧凑:主张、测试边界、结果、为什么可信、仍未知什么、什么观测会重开问题。它还需要复核日期。模型、数据、监管或成本变化后,旧失败可能重新可行。
记忆库需要两个预算。存储预算限制哪些证据进入;决策预算限制一次运行中多少检索内容能影响结论。整理应优先保存能够排除一类错误行动的约束,而不是与当前任务看起来相似的故事。
证据会变旧,却不必变假。记录事件日期、核验日期和有效条件;条件变化时把记录降级为线索,要求重新检验。这样,昨天的负面结果不会变成明天无人质疑的教条。
投资问题是谁拥有这个循环
AI 生命科学公司常把模型、数据资产和管线称为一个平台。证明循环会把它们拆开:谁控制独家观测?谁选择实验?谁完成湿实验?谁拥有负面结果?候选推进后谁获取经济利益?失败时谁付钱?
Iambic Therapeutics 正把这个问题带入公开市场。其修订招股书计划以15至17美元发行约938万股,并披露临床阶段管线和合作关系。文件可以证明发行条款和已披露项目,不能证明批准或患者获益。Iambic prospectus
只有当 AI 改变循环经济时,AI 标签才值得估值溢价。证据可以是每美元完成更多决定性实验、更短的候选验证时间、更高外部复现率、更好的靶点选择,或能转移足够下游风险的合作条款。没有这些结果,再漂亮的模型也只是研究能力,尚不是持久经济护城河。
同样逻辑也适用于其他领域。Quant Lab 应重视杀死脆弱策略的 forward test;RobinOS 应重视防止重复恢复错误的失败收据;基础设施投资者应问运营证据能否缩短承保,而不是增加预测。
一个小实验就够开始
从五个知识截止日后的公开数据问题开始。每题固定主张格式和独立验收规则,在相同总预算下运行无记忆智能体与整理记忆智能体,保留每次失败。衡量每次证伪时间、决定性检验成本、外部或封存答案一致率,以及记忆产出率。
实验不需要证明通用智能。它只回答一个更小的问题:在不增加总预算、不隐藏人工救援的条件下,保留并整理的证据能否改善未知研究任务?
若答案为是,每次只扩展一个变量;若答案为否,检查记忆是否无关、嘈杂或泄露答案;若证据冲突,保持 UNKNOWN 并改进测试。一个系统只有能够否定自己最吸引人的解释,才开始赢得信任。
AI 辅助科学的真正承诺就在这里。更快提出问题很有用;更快、更便宜、更诚实地改正错误,才会改变系统。
分类与关键词
分类: Agentic AI;生命科学;研究系统;可复现性
关键词: proof loop、AI science、failure memory、falsification、BioStudyBench、Virtual Biology Initiative、clinical validation、RobinOS
Hashtags: #AgenticAI #AIScience #Reproducibility #LifeSciences #RobinOS