01 · AI Circularity Ledger
為什麼更多智慧體會一起失敗

一個帶著記分板的商業循環。
想象你請了一百位助手,把同一張電子表格發給他們。有個單元格里的匯率錯了。大家認真計算、相互對答案,最後交來一份高度一致、排版漂亮的估值。
你買到了共識。有沒有買到保護,要看誰檢查了那張表。
這是虛構的例子,卻點出了AI原生企業的實際問題:增加一個智能體,究竟讓團隊多承受了哪一種原本承受不了的失效?另一個聲音可能提供新的推理;另一次觀察可能發現第一個聲音根本沒見過的事實。這是兩種不同的投入,組織應知道自己買的是哪一種。
結論很實際:更多智能體可以帶來有用的產能,分頭搜索、修改不同文件、檢查不同證據。它們也可能把對同一個錯誤的信心放大。經營上的問題是,這套架構究竟包含多少獨立工作與獨立檢查。
團隊也可以共享一個盲點
假設這些虛構助手使用不同模型,聽起來很讓人放心。但如果它們拿到同一個錯誤匯率,都被要求相信表格,又共用同一套驗收標準,措辭可以不同,失誤卻完全一致。更換模型只處理了一種可能的依賴。
現在保留同一個模型,改變信息路徑。一個助手讀取表格,另一個從獨立來源取得原始匯率,核對日期與貨幣對。這個安排仍有弱點:雙方都可能誤解報價慣例,或使用不可靠的數據源。但它確實增加了發現原始錯誤的機會。這比“兩種模型更安全”具體得多。
所以,獨立性要沿着信息路線檢查:證據從哪裏來?哪個轉換步驟生成這個數字?誰選定成功條件?哪個工具把結果寫出去?一百段對話可以全部位於同一項依賴的下游。數對話數量,無法告訴我們這項依賴受壓時會怎樣。
目標並非讓每位工作者彼此隔絕,協作需要共享信息。真正要找的是少數能夠擊穿整個團隊的共同假設,再安排一條不會默默繼承這些假設的觀察路徑或停止條件。
小小海洋實際證明了什麼
公開的Agent Swarm Lab給“系統會自我修復”的樂觀故事提供了一個反例。Ocean Swarm裏,模擬小艇覆蓋傳感站點,洋流、能量限制與延遲消息干擾原計劃。局部修復規則會把多餘小艇派往被認為空缺的站點;有限權限的母艦也可以提出修復建議,但必須經過同樣受限的通信系統。
普通子節點損失後,固定站位方案的平均站點在線率為77.24%,局部修復方案提高到80.70%。複合失效時,局部修復只有75.65%,低於固定站位的77.15%。這是成對種子模擬的結果,每種情景使用24個種子。公開方法保留了模型、比較與侷限。
值得注意的是方向反轉。某個機制在小艇消失時有幫助,但用來判斷空缺的證據變得不可靠時,就可能造成損害。延遲報告屬於模型世界的一部分,它會改變修復去向,也會擠掉原本有用的工作。
這沒有證明語言模型會發生相關錯誤。Ocean是合成協調模型,沒有真實海試,也沒有持續推理的智能體。它只提供一個有限的反例:增加恢復機制,並不保證在所有故障條件下都改善結果。把這個問題轉移到AI組織,需要另做測試。
另一個實驗,放回自己的盒子
實驗室還有Minimum Intelligence,先用真實模型調用生成計劃,再重放物理結果。結果記錄顯示,三個模型世界共完成333次成功調用。計劃隨後凍結;執行過程中,模型不會觀察後來的衝擊,也不會重新規劃。
這個區別決定了能說什麼。凍結計劃在重放中表現良好,只能說明該計劃與執行規則在那次重放中的表現,不能衡量常駐AI員工如何從現場意外中恢復。模型調用成功說明請求返回了,並不說明每份計劃都優於其他方案。
研究也提醒,分區規劃者的比較同時改變了信息彙總與協調方式。十個分區規劃者和一百個局部規劃者的差異,不能只歸因於智能體數量。看起來更便宜的安排,可能受益於更好的信息、不同的任務拆分,或者兩者兼有。
沒有必要把實驗室裏所有計數合成一個響亮數字。測試、物理結果與模型調用回答不同的問題。保留各自的分母,反而讓工作更有價值:其他構建者能看清該質疑哪項結論,以及哪個實驗能夠回答質疑。
錯誤會沿着組織流動
研究文獻給同一個設計問題提供了語言。Cemri等人的多智能體失效研究把觀察到的問題分為系統設計、智能體之間的錯配、任務驗證。這些類別描述團隊可能在哪些位置偏離任務;增加參與者不會自動修復其中任何一項。
例如,一份精確回答了錯誤問題的報告,可以通過好幾輪複核,只要複核者繼承了相同的錯誤任務定義。一項準確觀察交給錯誤的工作者,可能變得無用。中間結果即使正確,如果沒人檢查真正的完成條件,最終交付仍可能不合格。
Huang等人的故障智能體研究考察人為加入的錯誤如何與不同協作結構相互作用。結果支持我們檢查消息和複核怎樣組織,不能據此認定某種結構對所有當前模型、工作負載或真實企業都最好。
這些是早期研究,並非十月的新產品發佈。它們在這裏提供的是方法:經營者應檢查錯誤穿過系統的路線。電子表格例子、模擬海洋與語言模型協作屬於不同環境。共同問題是,錯誤信息在什麼地方變成了獲准執行的行動。
畫羣體之前,先畫共同依賴
組織圖讓人習慣數方框;失效圖則追問所有方框依賴什麼。從證據、工具、記憶、驗收與權限開始,把每位工作者連到實際使用的對象,包括原始來源與工作者之間共同使用的摘要器。
在虛構的估值任務中,錯誤匯率單元格會連向每位分析者。分析者投票的結果,沿着這些箭頭又回到同一個單元格。這張圖會解釋,為什麼再投一票提供的保護,不如另查一次匯率。識別這項依賴,並不需要複雜的模型評估。
圖是設計示意,不是改善效果的測量。獨立檢查也可能錯,它的價值必須來自明確差別:另一個原始來源、不同的觀察通道、確定性計算,或建立在智能體自身解釋之外的驗收條件。
異構性應在這裏證明預算花得值得。擬增加的複核者能發現哪種錯誤?憑什麼信息發現?它提出異議後,流程如何改變?如果答案僅僅是複核者換了名字,組織只是增加一個角色,還沒有定義新的保護。
給異議安排一個去處
只能多寫一段話的批評者,可能增加閱讀時間,卻不改變結果。加入它之前,要先決定異議的後果:案件退回修正,運行確定性測試,還是指出缺失事實並停止?誰能解除停止,又憑什麼證據?
再看虛構的匯率爭議。有用的輸出應保存兩種匯率、各自時間戳、報價慣例與估值敏感度。“我不同意”太弱;如果信心來自同一個原始單元格,“我很有把握”就更弱。
異議也需要成本上限。反覆複核可以把一個小疑點變成永遠開不完的會。有限流程可以只要求一次獨立觀察,保留仍未解決的差異,並交回清楚的決策邊界。這是經營規則提案,不能保證每個案例都會自動解決。
全體同意時,也要遵守相同紀律。只有檢查確實針對相關失效設計,共識才能讓它關閉。一片贊成聲不能替代從來沒人做過的觀察。使用結果的人應能看見那項缺失。
分開觀察能力與行動權限
發現問題的工作者,不一定需要修改生產環境的權限。研究助手可以指出壞鏈接,由發佈流程負責修改;金融助手可以發現假設不一致,由主人保留資本決策。這樣既能使用發現,也不會悄悄擴大一次錯誤的後果。
有用的複核者可以觀察能力強、行動權限窄。它能夠檢查證據、保存差異、阻止候選成果通過既定門檻,卻不必持有與被檢查者相同的憑證。如果每位成員都擁有相同寫權限,就形成另一項共同依賴:一條錯誤指令可能觸達每個執行端。
恢復同樣需要具體邊界。保存上一個已驗收成果,標明改變的證據,讓下一次嘗試與上一次可以區分。消息失蹤時,應保留交付是否成功的不確定性,直到接收系統提供證據。這些是為工作負載規定的設計選擇,不能成為無關訪問或無休止請示的理由。
小企業應該從更少的模糊交接中得到好處。主人收到的應是結果、重要侷限,以及仍屬於自己的那項明確決策。更大的羣體如果只製造更大一堆待決事項,就尚未證明其價值。
一次檢驗一項依賴
接下來,我會這樣設計一個有限實驗:選擇只使用公開信息、固定合成案例的無害研究到草稿任務,比較單個工作者、共享同一證據包的團隊,以及具有獨立來源驗證步驟的團隊。看到結果之前,凍結任務、案例與驗收條件。
在共享證據包的一個字段中放入已知錯誤,同時保留無錯誤案例,避免“全部拒絕”的系統顯得成功。把注入錯誤與日常任務難度分開,明確哪組可以取得獨立觀察。額外訪問能力屬於實驗處理,不能藏成優勢。
記錄已驗收正確輸出、已驗收錯誤輸出、未解決案例、耗時、模型用量和人工複核分鐘數。失敗與放棄的運行都留在分母裏。少數案例上的演示只能證明這些案例,不能推廣到所有模型或全部商業任務。
預先寫好採用標準:在有用程度可比的條件下,減少被接受的錯誤,同時展示額外成本與複核負擔。驗證組若抓住了注入錯誤,卻傷害了無錯誤案例表現,這個取捨也屬於結果。如果單個工作者已經滿足要求,團隊就需要解釋新增複雜度的價值。
本文沒有執行這個實驗。它是一份可複用規格,刻意把問題縮小到能區分共享證據與人數。把問題問清楚,不需要付費服務、真實賬戶、安全攻擊或生產修改。
買到一種原本承受不了的失效
下次團隊建議再加一個智能體,可以要求一句話:“這項新增安排能夠抵抗這種失效,因為它能觀察這份證據,而發現會改變這項決策。”這句話比多畫五十張面孔更有信息量。
旁邊保留一張簡短經營卡:共同依賴、獨立觀察、驗收負責人、獲准響應、實測結果。測試前,結果留空。來源、模型或工具變化時重看這張卡,因為原本分離的路徑可能悄悄合併。
有些任務中,並行工作會明顯勝出;有些任務用一個能力強的工作者配合紮實的外部檢查,反而更容易信任。架構應靠抓住的錯誤與交付的有用工作,證明複雜度值得。
一百位助手可以組成很強的團隊。慶祝大家意見一致之前,先確認有沒有人看過那個匯率。
分類與關鍵詞
分類: 智能體AI;系統;生產力。
關鍵詞: 共同失效;獨立驗證;智能體協調;有限實驗。
標籤: #AgenticAI #SystemsThinking #AIProductivity #IAmRobin