先用二十条请求检验信任

二十条请求足以暴露流程缺陷，却不足以证明生产环境的成功率。本文制定一套小规模、可核查的影子评估方案。本次没有读取或执行历史客户请求，也没有向客户发送回复。

原始资料能证明什么

OpenAI 于 9 月 23 日发布的 Ringg 案例称，无人工介入的解决率最高达 65%，部分工作负载的模型成本下降约 90%。这是供应商发布的案例数据，并非独立审计结论。Ringg case study

所核查页面没有提供可复现的统计分母、逐条结果，以及这些标题数字统一采用的全成本口径。能否迁移到另一套流程，仍是 UNKNOWN。仅凭模型成本下降，不能认定加入人工复核与故障恢复后仍有同等节省。

先冻结二十个样本位置

下表是本文提出的设计，不是 Ringg 的方法，也不是已经取得的数据。统计单位是一条客户请求，包含解决它所需的多轮交互。同一请求中的多条消息不能拆成多个成功案例。

位置	数量	拟覆盖情形	验收证据
R01–R08	8	常规查询或解释	回答正确、有依据，只读查询正确
R09–R12	4	多步骤或语言切换	必要步骤完整，含义没有改变
R13–R16	4	可恢复的工具故障或上下文缺失	在限额内恢复，或准确指出缺少的证据
R17–R20	4	权限边界或必须由专员处理	正确升级处理，交接信息充分且最少必要

这些只是预留位置，不是虚构的历史记录。若获授权的历史数据不足以填满某类，覆盖情况保留 UNKNOWN，不得换成容易通过的案例。记录排除原因和合资格样本池的规模。日后若批准使用合成压力案例，应单列附录和分母。

后续测试前，应冻结案例编号、脱敏输入哈希、时间截点、适用政策与知识快照、预期结果、可用工具、重试及耗时上限，以及模型和配置版本。输入仅保留请求当时已知的信息；历史答案和后来发生的事件不得泄漏给被测智能体。对照流程使用相同案例和信息边界，并事先冻结。不得拿计分样本反复调提示词。

把独立完成与人工帮助分开计分

OpenAI 的评估指南支持按具体任务设计测试，并用人工判断校准。以下评分表是本文的方案。Evaluation best practices

每条案例都应在看到输出前确定预期结果和通过条件。验收要求事实与政策正确、必要步骤完整、回复有用，且没有越权操作。独立复核者记录判定依据；尚未解决的分歧记为 UNKNOWN。模型自评不能作为结案依据。

通过验收的结果分为三个互斥类别：独立完成（无人干预）、辅助完成（人工纠正或补充了信息）、正确升级处理（任务应当停下并交给专员）。正确升级可以通过流程验收，却不能算作智能体独立解决了客户请求。失败和 UNKNOWN 必须保留。

恢复能力单独记录：是否遇到符合定义的故障、是否尝试限额内恢复、恢复后结果是否通过验收，以及是否需要人工帮助。只有沿允许的重试路径、无需人工帮助并最终通过验收，才算自主恢复。超时后编造答案属于失败。自主恢复率的分母是所有遇到符合定义故障的案例；分母为零或 UNKNOWN 时，恢复率记为 UNKNOWN。

每一分钟和失败尝试都要入账

建议逐条记录：编号、类别、预期与实际结果、验收证据、人工干预秒数、复核秒数、总耗时、恢复状态、尝试次数、模型及工具费用、排除原因。缺失数字填 null，状态写 UNKNOWN 并说明原因，不能填零。

N 为冻结的全部二十个位置，I 为独立完成数，A 为通过流程验收的总数，包含正确升级。应同时公布 I/N、A/N、未定案例数和已完成评估数。失败或未完成的位置不能从计划分母中删除。若 A 为零或 UNKNOWN，每个验收通过案例的成本为 UNKNOWN，而不是零。

每个验收通过案例的直接成本＝所有尝试的模型、工具及基础设施费用总和／A。全成本再加入按明确费率折算的干预与复核人工成本；搭建和评估费用另列。费率或账单缺失时，列出已知小计，全成本标记 UNKNOWN。同时按 I 计算每个独立完成请求的成本，避免靠容易升级的案例美化经济性。I 为零或 UNKNOWN 时，该单位成本同样为 UNKNOWN。

干预总分钟数、复核总分钟数及各自分布应分开列出。以相同会计口径比较冻结对照流程的成本、耗时和验收结果。没有可比、实测的基线时间，就无法确认节省了多少人工。二十条中一条结果变化，就会令比例变化五个百分点；刻意分层的小样本不能估计日常流量表现。

守住影子测试边界

OpenAI 的安全指南将不可信输入操纵和私密数据泄漏列为智能体风险。Safety in building agents

本方案要求隔离测试数据，并禁用对外写入。模拟请求中的发送、退款、预约、申请或记录更新，只能形成待审方案或交接记录。来源文字不能授予权限。公开材料仅包含汇总发现与方法；客户记录、标识符、提示词和执行轨迹保留在私有空间。本文不授权收集客户数据、付费运行、真实回复、改变路由或上线生产。

已完成什么，哪些仍是 UNKNOWN

研究交付物是本证据说明与可复用方案。真实样本的授权与可用性、案例选择、基线、执行情况、完成率、干预分钟数、恢复率及所有成本结果，均为 UNKNOWN。 预留二十个位置不等于测试了二十条请求。

后续决策需要已获授权并冻结的样本、评分轨迹、核对后的费用，以及对任何越权行为的明确复核。小测试没有发现问题，最多支持研究更大规模的评估，并不自动支持上线。研究可以完成，影子测试与运营决策仍待处理。

来源与方法

三份一手资料均于 2026-09-24，Asia/Hong_Kong 重新打开核查。Ringg 页面日期为 2026-09-23，两份指南会持续更新。本文记录核查时点的内容，不预判未来文档。本研究未使用二手报道或私密客户记录。安全指南讨论 Agent Builder；本文只引用通用风险描述，不作产品或模型推荐。

本文将来源主张、证据局限与自行设计的评估方案分开。8/4/4/4 的分配、成本公式及决策边界都是建议，未经外部验证为通用门槛。下载可复用方案。

Research artifact · Markdown