信頼を測る前に20件を検証する

20件のリクエストでも、業務フローの欠陥は見つけられる。しかし、本番環境での成功率までは証明できない。本稿は、小規模で検証可能なシャドー評価の設計書である。過去の顧客リクエストにはアクセスせず、処理も顧客への返信も実施していない。

公開資料で確認できること

OpenAI が9月23日に公開した Ringg の事例は、人手を介さない解決率を最大65%、一部の処理におけるモデル費用の削減率を約90%と報告している。提供企業が公表した数値であり、独立監査の結果ではない。Ringg case study

確認したページには、再現可能な集計分母、案件別の結果、見出しの数値に共通する総費用の範囲が示されていない。別の業務に当てはまるかは UNKNOWN である。モデル費用が下がっても、人による確認や障害復旧を含む費用が同じだけ下がるとは限らない。

先に20件分の枠を固定する

以下は本稿の提案であり、Ringg の評価方法でも、取得済みのデータでもない。集計単位は、解決に必要なやり取りを含む一つの顧客リクエストとする。同じ依頼の複数メッセージを別々の成功件数として数えない。

枠	件数	想定する対象	合格を判断する証拠
R01–R08	8	通常の照会や説明	根拠のある正答と適切な読み取り専用照会
R09–R12	4	複数手順や言語の切り替え	必要な手順が揃い、意味が変わらない
R13–R16	4	復旧可能なツール障害や情報不足	上限内の復旧、または不足する証拠の正確な特定
R17–R20	4	権限の境界や専門担当者の判断	適切な引き継ぎと必要十分な最小限の情報

これは予約した枠であり、架空の履歴ではない。利用が認められた履歴で区分を埋められなければ、その網羅性は UNKNOWN とする。簡単な案件への差し替えはしない。除外理由と対象になり得る母集団の件数を残す。後日、合成ストレス事例の使用が認められた場合も、別の付録と分母で扱う。

将来の実行前に、案件ID、匿名化した入力のハッシュ、情報の締切時点、適用する方針と知識のスナップショット、期待結果、許可ツール、再試行・時間の上限、モデルと設定の版を固定する。エージェントに渡すのは依頼時点で既知の情報だけとし、過去の正解や後日の出来事を混入させない。比較対象のフローも、同じ案件と情報範囲で事前に固定する。採点用データでプロンプトを調整しない。

人の助けを隠さずに採点する

OpenAI の評価指針は、業務に即したテストと人の判断による校正を支持している。以下の採点設計は本稿の提案である。Evaluation best practices

出力を見る前に、案件ごとの期待結果と合否基準を決める。合格には、事実と方針への適合、必要な全手順、有用な回答、権限逸脱がないことを求める。独立した評価者が判定根拠を記録し、解消していない見解の相違は UNKNOWN とする。モデルの自己採点だけでは完了としない。

合格結果は、互いに重ならない三つに分ける。独立完了は人の介入なし、支援付き完了は人が修正や情報補充をしたもの、適切な引き継ぎは専門担当者に判断を委ねるため正しく停止したものだ。引き継ぎはフローとして合格し得るが、顧客の依頼を独立して解決した件数には含めない。不合格と UNKNOWN も残す。

復旧は別に記録する。対象となる障害の発生、上限内の復旧試行、復旧後の合否、人の支援の有無を区別する。許可された再試行の範囲で、人の助けなしに合格した場合だけを自律復旧と数える。タイムアウト後に回答を捏造したなら、それは復旧ではなく不合格である。自律復旧率の分母は、定義に合う障害が起きた全案件とする。分母がゼロまたは UNKNOWN なら、復旧率も UNKNOWN とする。

失敗した試行も、人の時間も費用に含める

案件別の記録項目は、ID、区分、期待結果、実際の結果、合否の証拠、介入秒数、評価秒数、経過秒数、復旧状態、試行回数、モデル・ツール費用、除外理由とする。欠けた数値は null とし、状態を UNKNOWN、理由を別記する。ゼロで埋めない。

N は固定した20枠すべて、I は独立完了件数、A は適切な引き継ぎを含む合格総数とする。I/N と A/N に、未確定件数と評価済み件数を併記する。失敗や未完了の枠を計画分母から取り除かない。A がゼロまたは UNKNOWN なら、合格1件当たり費用も UNKNOWN であり、ゼロではない。

合格1件当たりの直接費用は、全試行のモデル・ツール・インフラ費用の合計を A で割る。総費用には、明示した単価で換算する介入と評価の人件費も加える。構築・評価に要する費用は別途示す。単価や請求額が不明なら、既知の小計を示し、総費用は UNKNOWN とする。引き継ぎの容易な案件で採算をよく見せないため、I を分母とする独立完了1件当たり費用も報告する。I がゼロまたは UNKNOWN なら、この単価も UNKNOWN とする。

介入の合計分数、評価の合計分数、それぞれの分布を分けて示す。固定した比較対象と、費用範囲を揃えてコスト、経過時間、合否を比べる。比較可能な実測の基準時間がなければ、人の作業時間の削減量は UNKNOWN である。20件では1件の変化が5ポイントになる。意図的に区分を配分した小標本から、通常の利用全体の成績は推定できない。

シャドー評価の境界を保つ

OpenAI の安全指針は、信頼できない入力による操作と私的データの漏えいを、エージェントのリスクとして挙げている。Safety in building agents

本提案では、隔離したテスト用データを使い、外部への書き込みを無効にする。送信、返金、予約、申請、記録更新を求める模擬リクエストは、提案または引き継ぎの記録で止める。資料中の文章は権限を与えない。公開するのは集計結果と方法だけであり、顧客記録、識別子、プロンプト、実行トレースは非公開とする。本稿は顧客データの収集、有料実行、実際の返信、ルーティング変更、本番導入を許可しない。

完了したものと残る UNKNOWN

調査成果物は、この証拠整理と再利用可能な評価設計である。実際の標本の利用許可と入手可能性、案件選定、比較基準、実行状況、完了率、介入分数、復旧率、費用の全結果は UNKNOWN。 20枠を用意したことは、20件を試験したことではない。

次の判断には、利用許可を確認して固定した標本、採点済みトレース、照合済み費用、権限逸脱があればその明示的な検証が必要になる。小さな試験で問題が出なくても、より大きな評価を検討する根拠にとどまり、本番導入を自動的に正当化しない。調査は完了できても、シャドー実行と運用上の判断は未実施のままである。

出典と方法

三つの一次資料はすべて 2026-09-24、Asia/Hong_Kong に再確認した。Ringg の記事日付は2026-09-23で、二つの指針は随時更新される文書である。本稿は確認時点の記録であり、将来の文書内容を保証しない。二次報道や非公開の顧客記録は使っていない。安全指針は Agent Builder を対象としているが、本稿は一般的なリスクの説明だけを用い、製品やモデルを推奨しない。

出典の主張、証拠の限界、独自の評価設計を区別した。8/4/4/4 の配分、費用の式、判断の境界は提案であり、外部で妥当性が検証された共通基準ではない。再利用可能な設計書をダウンロード。

Research artifact · Markdown