01 · AI Circularity Ledger

交接測試

Relationship map for 交接測試

一個帶著記分板的商業循環。

結論很直接:如果替換最強代理會摧毀公司的記憶,那麼你建立的不是組織,而是一種依賴。強模型可以完成一次令人印象深刻的任務;組織則能在模型、對話或操作者改變後,重現被驗收的工作。

這對一人公司尤其重要。創始人不可能監督每次轉移、解釋每次失敗並記住每個隱藏依賴。長對話可能儲存了所有文字,卻丟掉決定工作是否安全、是否完成的少數事實。接替者真正需要的是目標、已檢查證據、已遇失敗、仍有效許可權和驗收狀態。

Anthropic 的 Memento research 提供了一個有邊界的結果。新的 Qwen3.5-9B 例項繼承前任工作區和簡短失敗筆記後,在 20 條實驗譜系中,推理環境配置成功率從首代 45% 提高到後續世代的 61% 至 84%;增加 Opus 4.8 顧問沒有可測改善。這是特定安全研究任務,不是通用企業自治證明。它仍然提出了一個可測試的問題:能力究竟屬於模型,還是屬於圍繞模型的工作區?

出色助手不等於組織

助手可以依靠個人連續性推進任務。它記得某個奇怪檔案為何存在、哪個來源被否決、短指令背後的含義,以及哪個檢查已經失敗兩次。只要同一個助手一直在場,這種連續性很像組織智慧。

替換會暴露差別。新代理看到檔案、日誌和指令,卻未必知道哪一項仍然有效。它可能重開廢棄路線,把舊批准當成長期授權,或只因為命令再次執行就宣佈完成。更大的上下文視窗能讓錯誤解釋得更流暢,卻不能自動決定哪份證據具有規範性。

組織層必須獨立於助手存續。它區分當前狀態與歷史,標明每項決定的所有者,記錄失敗路徑,區分“可檢查”與“可釋出、可花費、可聯絡、可部署”,並用另一名代理也能驗證的測試與回執定義完成。

Your AI Should Remember Less 提出的來源、置信度、有效期、許可權範圍和糾正路徑,回答一條記憶能否被信任與使用。交接還要多回答一個問題:不同執行者能否快速重建執行狀態?接替者不需要繼承前任的個性,只需要一個緊湊、可檢查的轉移包。

五個物件讓交接可轉移

最小可用交接包含五個物件。

目標。 用可觀察結果寫清請求。“繼續工作”太弱;“透過受保護髮布路徑釋出四種語言,並逐一驗證公開 URL”才有終點。目標也要記錄排除項,避免相鄰工作悄然進入範圍。

證據。 列出規範檔案、源材料雜湊、公開文件和已驗證觀察。把事實與推斷分開,把過期或缺失證據標為未知。接替者必須能夠重新開啟決定性來源,而不是隻能相信摘要。

失敗記錄。 儲存失敗嘗試、確切錯誤,以及什麼條件會讓重試變得合理。它能阻止接替者花第一個小時重新發現前任第一個小時發現的問題。

許可權邊界。 寫清哪些內容可讀取、修改、釋出、聯絡、購買或執行。permission-loss test 從另一面說明,許可權消失時系統必須安全降級;執行者改變時,交接也必須保留相同邊界。

驗收狀態。 列出已完成檢查、未透過關卡、待審產物和完成所需回執。Autonomy Needs Acceptance Tests 解釋了為何執行中程序或看似合理的輸出弱於已驗證結果。接替者應從第一個未滿足關卡繼續。

更多上下文可能儲存錯的東西

複製整段對話看似安全,卻有三個問題。第一,對話混合不同權威級別:腦暴、廢棄選項、所有者決定和外部網頁可能相鄰出現。第二,對話儲存順序,卻不可靠地儲存狀態;舊來源、失敗命令和早期草稿仍可能被檢索出來。第三,對話製造恢復成本;接替者要用時間和 token 重建前任本可顯式寫出的狀態。

替代方案不是失憶。把不可變源材料、日誌和對話保留為歷史證據,再在上方放置一個短清單,說明什麼是當前狀態、為何有效、未知項在哪裡。歷史供審計,執行表面保持精簡。

NIST AI Risk Management Framework 並未規定這種交接格式,但支援把預期用途、情境、測量、治理和持續管理連線起來。交接正是這些抽象概念在兩個執行者之間落地的地方。

在相同預算下測試三種交接

使用 20 個因可觀察原因失敗過、且沒有外部副作用的任務,包括研究綜合、小型程式碼修復、本地化、結構化資料驗證,以及不含生產憑據的釋出模擬。先凍結任務集,再分配條件。

三種條件分別是:一,接替者獲得完整對話、工作區和日誌;二,獲得工作區與“目標、證據、失敗記錄、許可權邊界、驗收狀態”五物件交接包;三,只獲得原始任務和當前工作區。

三組使用相同模型家族、工具、token 上限、時限和驗收測試。隨機化條件順序,每次從相同快照開始。所有動作保持本地、可逆,不包含金融執行、賬戶變更、外部通訊或生產釋出。

主要結果是預算內的合格完成率。次要結果包括重複失敗、過期證據使用、許可權越界、人工救援分鐘、token 消耗和首次有效提交用時。結構化交接只有在合格完成率不低於完整對話,同時減少重複錯誤與人工救援,並且沒有新增許可權違規時才獲勝。

把任務記憶與代理身份分開

任務應擁有自己的持久狀態。代理身份可以提供寫作風格或工具偏好,但這些偏好必須與具體任務的證據和許可權分離。

這種分離提高供應商獨立性。只有單一模型能理解的任務包,即使使用開放格式,仍是一種專有依賴。交接應足夠樸素,讓其他模型、執行時或人工審閱者不必逆向隱藏記憶就能檢查。

它也改善事故恢復。OpenAI 的 long-horizon safety note 說明,單獨看似可接受的動作可能組成不受歡迎的軌跡,因此需要軌跡級審閱與中斷。對交接的啟示是:接替者要繼承目標軌跡和停止條件,而不只是最後一個可見動作。

任務所有權還能限制爆炸半徑。不要在交接中複製 secret、賬戶級許可權或無關私人上下文;應引用獲准儲存位置,只包含任務所需許可權,並把外部文字當作證據而非授權。

接替者必須質疑前任

交接是證據,不是經文。若下一步依賴檔案雜湊、時間戳、程序所有權、倉庫狀態或公開可用性,接替者應重新驗證。它也必須保留未知項,不用合理故事填補缺口。

驗證力度應與後果匹配。本地格式主張可能只需一次確定性檢查;釋出主張則需要受保護修訂、成功構建、公開響應和內容回讀。缺失證據也不是負面結果。若前任無法確認外部回執,接替者繼承的是 UNKNOWN,以及已經嘗試過的路徑和解決它所需的證據。

前任應記錄證偽條件,例如“只有不可變源雜湊匹配才繼續”或“只有受保護檢查透過才重試釋出”。接替者則追加新失敗、標記已解決未知項並儲存最終回執,不重寫歷史來讓路徑顯得必然。

完成能夠證明什麼

實驗成功只能說明,在這組測試條件下,結構化狀態能讓任務能力跨替換存續。它不能證明公司全自動執行、模型等價或高影響領域安全。20 個無害任務只是一個工作流的路由結果,不是通用基準。

失敗仍有價值。若完整對話獲勝,就檢查缺少了哪種狀態;若無交接表現相同,工作區可能已足夠結構化;若三組全敗,驗收測試或任務設計可能有缺陷。目的在於定位能力,而不是捍衛格式。

本篇完成了實驗設計和轉移模式,沒有執行 20 個任務,沒有替換生產代理,沒有檢查私人對話、改變許可權、釋出社交媒體、部署程式碼、花費資本或聯絡供應商。結果在匹配實驗產生證據前保持未知。

執行規則很簡單:先讓任務可被替換,再讓代理不可替代。儲存目標、證據和失敗;限定許可權;寫清驗收測試;然後讓新執行者證明組織真的學會了。

分類與關鍵詞

分類: Agentic AI;治理;一人公司;系統。

關鍵詞: AI agent handoff;組織記憶;代理替換;驗收測試;許可權邊界;恢復狀態;RobinOS。

Hashtags: #AgenticAI #OrganizationalMemory #AIGovernance #OnePersonCompany #RobinOS