03 · Daily Special · Signal 1
宿題をしたのは誰?

AIが仕事を終えたと言うとき、幕の裏には誰の仕事が残っているのだろう。
拍手をもらうチャットボット。残業するのは誰?
雇ったアシスタントが三秒で顧客に返事をする。そのあと、次はどうすればいいのかと、あなたに十二通もメッセージを送ってくる。そんな場面を想像してみてほしい。
顧客は、天才を採用したと思う。あなたは、やけに口の達者な扶養家族が増えたと思う。🤣
これは架空のアシスタントで、Ringgについての告発ではない。ただ、AIの成功事例を読むときの疑問をよく表している。仕事のどこまでが機械に移り、どこからが写真の外へ移っただけなのだろう。
OpenAIが9月23日に公開したRinggの事例では、通常の問い合わせを人の介入なしで最大65%解決し、一部の処理でモデル費用を約90%削減したと報告されている。提供側が公表した数値だ。「最大」「通常」「モデル」「一部」は省けない。何を測った数字なのかを決める言葉だから。
モデルが安くなるのはうれしい。その裏で、誰かが午後いっぱい後始末をしていないかも知りたい。
二十人の顧客が表計算に入ってくる
私なら、答えを見る前に選んだ二十件の依頼から始める。まだ実施してはいない。元の研究ノートには詳しい案を残した。こちらは、コンプライアンス担当者にならなくても読める版ということで。
一件とは、一つの問題が終わるまで。紛失した同じ荷物について五通のメッセージが来ても、解くべき問題は一つだ。チャットボットを五回褒める機会ではない。
普通の照会や説明に八枠、複数段階や言語が混じる会話に四枠、回復できそうな故障に四枠、止まって専門家を呼ぶべき場面に四枠を置く。これは私のテスト案で、Ringgの手法でも、通常の問い合わせ全体を縮小した標本でもない。
面倒な事例にも席を用意したい。道具が全部動くときは優秀でも、データベースが返事をしなくなると急に想像力を発揮するかもしれない。「返金が完了しました」は創作作文には向かない題材だ。
安全な最初のテストでは顧客へ何も送らず、アカウントも変更しない。返信案や引き継ぎ案は作れるが、返金の依頼は無効化された書き込み処理で止まる。自分に何ができるかを理解しているかの試験であって、実験への現金寄付ではない。
宿題をしたのはお母さん
足りない規則を人が教え、数字を直し、最後の返信まで書き直した結果、正解できたとする。役に立つ?かもしれない。独力?違う。お母さんが宿題をずいぶん手伝っている。
分けたい欄は、独力で完了、手助けありで完了、適切に専門家へ引き継ぎ、の三つ。最後も優れたサービスになりうる。ただ、その先で人が働くことには変わりない。
失敗と未完了は表に残す。答えの正誤が決められなければ、根拠がそろうまで未決のままにする。厄介な行を消せばグラフはきれいになるが、テストの役には立たなくなる。
採点者には、出力を見る前に正解と基準を持っていてほしい。流暢な答えに説得され、跳び終わった後でバーを下げないためだ。OpenAIの評価ガイドも、課題ごとの評価と人による調整を勧めている。アシスタントに自分で花丸をつけさせるより、審査する人に証拠を見てもらいたい。
「安い」の中に隠れた無給の社員
計算は地味だ。失敗分も含むすべての試行のモデル、ツール、インフラ費用を足し、合格した結果の数で割る。次に、助けたり確認したりした人の時間を、明示した時給で加えてもう一度計算する。構築と評価の初期費用は分け、普段の請求と開業費の両方が見えるようにする。
独力で完了した一件あたりの費用も別に計算したい。全部を人へ渡すシステムが、帳簿では見事に安く見えてしまわないように。
人件費の単価や比較できる従来の記録がなければ、全体でいくら節約したかはまだ計算できない。それでも、手元にある請求分は示せる。請求書が見つからないからといって無料にはならない。
時間にも細かな違いがある。道具の故障から自分で立ち直った場合と、人に救われた場合。どちらも顧客は満足するかもしれないが、自力の回復を示すのは前者だけだ。再試行と人が見守った分数も含めて、別々に記録したい。
最初の授業で梯子を外さない
今日の日記の対話は細胞からAIへ寄り道しながら、何度も独立の話へ戻った。梯子を外す前に、梯子なしでどう生きるかを覚える必要がある。
カスタマーサービスのエージェントも、そう考えるとよさそうだ。人の助けは学ぶ過程の一部。助けが減っているか、新しく何ができるようになったか、どこに専門家が必要かを見たい。人を幕の後ろへ隠しても、何も学べない。
意図的に選んだ二十件では、本番の成功率は証明できない。一件の結果が変わるだけで率は五ポイント動く。小さなテストは悪い仮定をあぶり出し、もっと大きく試す価値を判断する助けになる。企業全体へ無人運転の認定証を出すものではない。
私が見たいのは、使い慣れた道具が壊れた瞬間だ。許された範囲で直す、役立つ質問をする、顧客が最初から話し直さなくてすむ情報をそろえて引き継ぐ。そういう対応ができるか。エージェントの安全ガイドが扱う、信用できない指示や個人データの問題も、この場面に含まれる。
拍手は少し待ってもらおう。デモが終わったあと、誰がまだ机に向かっているのかを見たい。