真のボトルネックは証明ループである

結論は単純だ。intelligenceの供給は、proofの生産より速く増えている。AIは朝食前に十のもっともらしい仮説を作れる。biology、capital market、実運用がその一つを認めるまでには数か月かかることがある。長期的な優位は、証拠の基準を下げずに、提案からtest、批判、学習保持までのloop全体を短くできるsystemにある。

BioStudyBenchは境界を明確に示す。agentはknowledge cutoff後に発表された生物医学研究から中立な問いだけを受け取り、public dataを探し、analysisを書き、報告済みの結果を再導出する。8 modelの平均ではdataとtoolがpass rateを47 percentage point押し上げた。最良のclosed modelは94.7%、最良のopen modelは81.3%だった。強い結果だがbenchmark resultであり、著者は真の導出と既知回答のretrievalを分ける設計を採った。BioStudyBench

BiohubのVirtual Biology Initiativeは別の制約を扱う。openなmultimodal biological dataを作り、より良いpredictive cell modelを育てる計画だ。構造化観測を増やし、高価なwet-lab workを情報価値の高い実験へ集中させる考えは合理的である。predictive modelは探索範囲を狭められるが、drug safety、別labでの再現、patient benefitを単独では証明しない。Biohub

ここでは両者をRobinOS、Quant Lab、AI science共通のoperating frameworkへ変える。四段階、四metric、一つのhard ruleである。生成されたclaimは、evidenceに反証される公平な機会を通るまでknowledgeにならない。本稿のためのexperimentは未実行で、frameworkはREADY、resultはUNKNOWNだ。

仮説生成はもう希少な工程ではない

科学史の多くで、良い仮説には希少なattentionが必要だった。研究者はliteratureを知り、anomalyを見つけ、mechanismを想像した。この能力は今も重要だが、流暢で妥当そうなcandidateを作るmarginal costは急落した。

強いmodelにfailed assay、drawdown、research agent architectureの説明を十個求めれば、すぐ返る。一部は洞察的でも、list自体の価値は小さい。candidateはdata、lab time、capital、operator attention、decisionへ影響する資格を奪い合う。

software agentにも同じ不均衡がある。plan、code、reportは数時間で作れる。source retrievalが失敗し、test fixtureが答えを漏らし、人が決定的な部分を直したなら、速いのはproductionであってproofではない。完成品に見えてもevidence chainは欠ける。

BioStudyBenchの47-point gainは、そのtaskでtoolとdataがperformanceをmaterialに改善することを示す。すべてのanswerがclean causal pathから生まれたとは示さず、wet-lab validity、clinical usefulness、deployment economicsも測らない。次に問うべきは「何を思いつけるか」ではなく、「どのclaimが次のverification capacityを得るか」だ。

証明ループには責任を持つ四段階がある

最低限のloopは propose → test → criticize → remember で、各verbにartifactとfailure conditionが要る。

Proposeはfalsifiable claimを一つ作り、expected observation、適用条件、反証となるresultを定義する。「AIがbiologyを加速する」はthemeだ。「tool-using agentがpublished conclusionをretrievalせずpublic dataからpost-cutoff analysisを再現できる」はtestableである。

Testはclaimをevidenceへ公平に当てる。data boundaryとbudgetをfreezeし、resultを見る前にscoring ruleを決める。softwareならsealed taskとheld-out acceptance test、biologyならassay、external lab、prospective cohortが必要になり得る。virtual experimentはcandidateをrankできても、予測対象のmeasurementにはなれない。

Criticizeはresultが誤解を生む最短経路を探す。answer retrieval、training duplicate、post-hoc subset、別seedやlabで消えるeffectを確認する。批判は気分ではなく、time、tool、reject authorityを持つroleだ。

Rememberはclaim、evidence、rejected alternative、intervention、cost、decisionを残す。winnerだけのmemoryはconfidenceを捏造し、全transcriptを無整理で保存すればnoiseになる。retained evidenceが次のproposalやrefusalを変えて初めてloopは閉じる。

Softwareとbiologyは違うclockで動く

softwareはfast feedbackをstrong proofと混同させやすい。test suiteは数分で走り、deploymentはrollbackでき、failed branchはreplayできる。それでもgreen testが間違ったbehaviorを覆う場合がある。利点は次のiterationが安く、receiptが早いことだ。

biologyではsample、assay、cell lineが環境により変わる。modelがmechanismを予測してもorganismは未model化pathで応答し得る。clinical trialにはrecruitment、safety、adherence、regulation、timeが加わり、negative evidenceが一年後に届くこともある。

Biohubのopen biological data拡張はproposalとprioritizationを改善できる。大きくstandardizedなdatasetはinformation valueの高いexperimentを選ぶ助けになる。ただし5億ドルのcommitmentとopen-data ambitionは構築中systemへのinputであり、universal virtual cellやtherapeutic outcomeのproofではない。Biohub Virtual Biology Initiative

clockの差はcapital allocationも変える。software agentはweek当たりcompleted taskで測れる。AI biotech platformには、target hypothesisをfalsifyする時間、decisive assayまでのcost、external replication、predictionからexperimentへのprogression、negative resultが次campaignを改善した割合が要る。

四metricでloopの改善を見抜く

第一は falsified hypothesis当たりの時間。teamはconfirmationを祝いrejectionを隠しやすい。速く信頼できるrejectは追加支出を止めるproductive outputである。claim freezeからevidence-based decisionまで、queueとhuman rescueを含めて測る。

第二は decisive test当たりのfully loaded cost。model、data、lab、engineering、review、failed retryを含める。human interpretationやwet labが支配的ならtoken costだけでは誤る。

第三は external replication rate。internal repeatより、別team、environment、datasetによる再現がevidence classを変える。同じcontainerのrerunと別labやprospective cohortを区別する。

第四は memory yield。completed testのうち、後続workを制約するreusable constraintを生んだ割合だ。明確なboundaryを持つnegative resultは高yieldになり得る。後続proposalがevidenceを引用するか、memory ablationでunseen task performanceが落ちるかを見る。

これらはvanityを抑える。verification capacityが固定ならhypothesisの増加はperformanceを下げ得る。provenanceが弱ければdata増加はbiasを増やし、failureが消えればexperiment増加はlearningを減らす。

答えを汚染せずにloopを回す

RobinOSはbiology、customer system、capitalへ触れる前にread-only researchで試せる。public dataとdelayed answerを持つ小さなquestion setを選び、question、source window、model access、budget、acceptance ruleをfreezeする。memoryless baselineとcurated-memory armを置く。

両armは同じstructured claim、analysis、uncertainty、rejection conditionを出す。reviewerはsealed answerか独立確認済みevidenceでscoreする。最大のcontrolはanswer leakageだ。BioStudyBenchがpost-cutoff studyを選びliterature searchを制限したのは、published conclusionのretrievalがre-derivationに見えるためである。

local experimentもtask packetをhashし、source URLとtool logを保存し、unapproved routeでanswerへ到達したrunをrejectする。その後、failed hypothesis、intervention history、source-quality labelを一つずつ外す。performanceが変わらなければmemoryはdecorativeかもしれない。accuracyが落ち、dead endを繰り返し、rescueが増えるなら、そのcomponentにoperational valueがある。

一回のrunでpromoteしない。taskとseedを繰り返し、simple rule baselineを加え、total task、blocked task、accepted outcome、human rescue、exclusionのdenominatorを出す。「curated memoryは狭いtask familyだけに効く」という結論でも、compoundする境界を示すので有用だ。

失敗memoryにはbudgetとexpiry ruleが要る

「全部覚える」は安全そうでlandfillになりやすい。raw transcriptにはfact、temporary instruction、stale context、偶然のsuccessが混ざる。retrievalはtextを増やし、provenanceを見にくくする。

useful failure memoryはcompactである。claim、test boundary、result、信頼理由、unknown、questionを再開するobservationを持ち、review dateも付ける。model、dataset、regulation、costが変われば、過去のfailureが再びviableになり得る。

memory storeには二つのbudgetが要る。storage budgetは入れるevidenceを制限し、decision budgetは一runで影響できるretrieved evidenceを制限する。curationは似たanecdoteより、bad actionのclassを除くconstraintを優先する。

evidenceは古くなってもfalseとは限らない。event date、verification date、有効条件を記録し、条件変化時はleadへdowngradeしてretestする。昨日のnegative resultを明日のdoctrineにしない。

投資で問うべきは誰がloopを所有するか

AI life-science companyはmodel、data asset、pipelineを一つのplatformと呼ぶ。proof-loop lensは分解する。誰がproprietary observationを持ち、experimentを選び、wet-lab validationを行い、negative resultを所有し、candidate進展時のeconomicsを得て、failure costを負うのか。

Iambic Therapeuticsはこの問いをpublic marketへ持ち込む。amended prospectusは約938万株を15ドルから17ドルで提案し、clinical-stage pipelineとcollaborationを説明する。filingはoffering termとprogramを証明できても、approvalやpatient benefitを証明しない。Iambic prospectus

AI labelに価値があるのはloop economicsを変える時だけだ。dollar当たりdecisive experiment、validated candidateまでの短い時間、高いexternal replication、良いtarget selection、downstream riskを移すpartnership termがevidenceになる。outcomeなしの美しいmodelはresearch capacityであり、durable economic moatではない。

同じ論理は他領域にも使える。Quant Labはfragile strategyを殺すforward test、RobinOSはrecovery mistakeの再発を防ぐfailure receipt、infrastructure investorはprojectionを増やすよりunderwritingを短くするoperating evidenceを重視すべきだ。

小さなexperimentから始めればよい

post-cutoff public-data questionを五つ選び、claim formatとindependent acceptance ruleを固定する。同じtotal budgetでmemoryless agentとcurated-memory agentを走らせ、failed runをすべて残す。time per falsification、cost per decisive test、externalまたはsealed-answer agreement、memory yieldを測る。

general intelligenceを証明する必要はない。問うのは「total budgetを増やさずhuman rescueを隠さず、curated retained evidenceがunseen researchを改善するか」だけだ。

yesなら一変数ずつ拡張する。noならmemoryがirrelevant、noisy、answer-leakingのどれかを調べる。evidenceがconflictすればUNKNOWNを保ちtestを改善する。systemは魅力的な自己説明をrejectできて初めてtrustを得る。

AI-assisted scienceの深いpromiseはここにある。速いproposalは有用だ。速く、安く、正直に訂正する能力がsystemを変える。

分類とキーワード

分類： Agentic AI、Life Sciences、Research Systems、Reproducibility

キーワード： proof loop, AI science, failure memory, falsification, BioStudyBench, Virtual Biology Initiative, clinical validation, RobinOS

Hashtags: #AgenticAI #AIScience #Reproducibility #LifeSciences #RobinOS