先用二十條請求檢驗信任

二十條請求足以暴露流程缺陷，卻不足以證明生產環境的成功率。本文制定一套小規模、可核查的影子評估方案。本次沒有讀取或執行歷史客戶請求，也沒有向客戶發送回覆。

原始資料能證明甚麼

OpenAI 於 9 月 23 日發布的 Ringg 案例稱，無人工介入的解決率最高達 65%，部分工作負載的模型成本下降約 90%。這是供應商發布的案例數據，並非獨立審計結論。Ringg case study

所核查頁面沒有提供可重現的統計分母、逐條結果，以及這些標題數字統一採用的全成本口徑。能否遷移到另一套流程，仍是 UNKNOWN。僅憑模型成本下降，不能認定加入人工覆核與故障恢復後仍有同等節省。

先凍結二十個樣本位置

下表是本文提出的設計，不是 Ringg 的方法，也不是已經取得的數據。統計單位是一條客戶請求，包含解決它所需的多輪互動。同一請求中的多條訊息不能拆成多個成功案例。

位置	數量	擬覆蓋情形	驗收證據
R01–R08	8	常規查詢或解釋	回答正確、有依據，唯讀查詢正確
R09–R12	4	多步驟或語言切換	必要步驟完整，含義沒有改變
R13–R16	4	可恢復的工具故障或上下文缺失	在限額內恢復，或準確指出缺少的證據
R17–R20	4	權限邊界或必須由專員處理	正確升級處理，交接資訊充分且最少必要

這些只是預留位置，不是虛構的歷史紀錄。若獲授權的歷史數據不足以填滿某類，覆蓋情況保留 UNKNOWN，不得換成容易通過的案例。記錄排除原因和合資格樣本池的規模。日後若批准使用合成壓力案例，應單列附錄和分母。

後續測試前，應凍結案例編號、去識別化輸入雜湊、時間截點、適用政策與知識快照、預期結果、可用工具、重試及耗時上限，以及模型和配置版本。輸入僅保留請求當時已知的資訊；歷史答案和後來發生的事件不得洩漏給被測智能體。對照流程使用相同案例和資訊邊界，並事先凍結。不得拿計分樣本反覆調提示詞。

把獨立完成與人工幫助分開計分

OpenAI 的評估指南支持按具體任務設計測試，並用人工判斷校準。以下評分表是本文的方案。Evaluation best practices

每條案例都應在看到輸出前確定預期結果和通過條件。驗收要求事實與政策正確、必要步驟完整、回覆有用，且沒有越權操作。獨立覆核者記錄判定依據；尚未解決的分歧記為 UNKNOWN。模型自評不能作為結案依據。

通過驗收的結果分為三個互斥類別：獨立完成（無人干預）、輔助完成（人工糾正或補充了資訊）、正確升級處理（任務應當停下並交給專員）。正確升級可以通過流程驗收，卻不能算作智能體獨立解決了客戶請求。失敗和 UNKNOWN 必須保留。

恢復能力單獨記錄：是否遇到符合定義的故障、是否嘗試限額內恢復、恢復後結果是否通過驗收，以及是否需要人工幫助。只有沿允許的重試路徑、無需人工幫助並最終通過驗收，才算自主恢復。逾時後編造答案屬於失敗。自主恢復率的分母是所有遇到符合定義故障的案例；分母為零或 UNKNOWN 時，恢復率記為 UNKNOWN。

每一分鐘和失敗嘗試都要入帳

建議逐條記錄：編號、類別、預期與實際結果、驗收證據、人工干預秒數、覆核秒數、總耗時、恢復狀態、嘗試次數、模型及工具費用、排除原因。缺失數字填 null，狀態寫 UNKNOWN 並說明原因，不能填零。

N 為凍結的全部二十個位置，I 為獨立完成數，A 為通過流程驗收的總數，包含正確升級。應同時公布 I/N、A/N、未定案例數和已完成評估數。失敗或未完成的位置不能從計劃分母中刪除。若 A 為零或 UNKNOWN，每個驗收通過案例的成本為 UNKNOWN，而不是零。

每個驗收通過案例的直接成本＝所有嘗試的模型、工具及基礎設施費用總和／A。全成本再加入按明確費率折算的干預與覆核人工成本；搭建和評估費用另列。費率或帳單缺失時，列出已知小計，全成本標記 UNKNOWN。同時按 I 計算每個獨立完成請求的成本，避免靠容易升級的案例美化經濟性。I 為零或 UNKNOWN 時，該單位成本同樣為 UNKNOWN。

干預總分鐘數、覆核總分鐘數及各自分布應分開列出。以相同會計口徑比較凍結對照流程的成本、耗時和驗收結果。沒有可比、實測的基線時間，就無法確認節省了多少人工。二十條中一條結果變化，就會令比例變化五個百分點；刻意分層的小樣本不能估計日常流量表現。

守住影子測試邊界

OpenAI 的安全指南將不可信輸入操縱和私密數據洩漏列為智能體風險。Safety in building agents

本方案要求隔離測試數據，並禁用對外寫入。模擬請求中的發送、退款、預約、申請或紀錄更新，只能形成待審方案或交接紀錄。來源文字不能授予權限。公開材料僅包含彙總發現與方法；客戶紀錄、識別碼、提示詞和執行軌跡保留在私有空間。本文不授權收集客戶數據、付費執行、真實回覆、改變路由或上線生產。

已完成甚麼，哪些仍是 UNKNOWN

研究交付物是本證據說明與可重用方案。真實樣本的授權與可用性、案例選擇、基線、執行情況、完成率、干預分鐘數、恢復率及所有成本結果，均為 UNKNOWN。 預留二十個位置不等於測試了二十條請求。

後續決策需要已獲授權並凍結的樣本、評分軌跡、核對後的費用，以及對任何越權行為的明確覆核。小測試沒有發現問題，最多支持研究更大規模的評估，並不自動支持上線。研究可以完成，影子測試與營運決策仍待處理。

來源與方法

三份一手資料均於 2026-09-24，Asia/Hong_Kong 重新開啟核查。Ringg 頁面日期為 2026-09-23，兩份指南會持續更新。本文記錄核查時點的內容，不預判未來文件。本研究未使用二手報道或私密客戶紀錄。安全指南討論 Agent Builder；本文只引用通用風險描述，不作產品或模型推薦。

本文將來源主張、證據局限與自行設計的評估方案分開。8/4/4/4 的分配、成本公式及決策邊界都是建議，未經外部驗證為通用門檻。下載可重用方案。

Research artifact · Markdown