AIエージェントが「分からない」と答える条件｜確認と引継ぎの設計

まず、答えられない理由を三つに分けます。一つ目は、承認済みの資料に根拠がない、または資料の版が分からない状態です。二つ目は、対象者、時期、商品、契約など質問の条件が足りない状態です。三つ目は、例外承認、法的判断、価格決定、対外公表など、そもそもAIに判断権限がない状態です。

NISTのAI RMF Playbookは、目的に合っているかを確認する試験と指標、許容できる性能の限界、限界を超えた場合の修正方法を定めることを示しています。『何でも答える』ことを目標にせず、どの状態を許容せず、どこで人へ渡すかを業務の目的に合わせて決めます。

承認済み資料に一般ルールはあるものの、個別条件が確定していない場合は、条件付き回答を使えることがあります。根拠にした資料、当てはまる前提、確認が必要な点を一緒に示し、確定回答として外部へ送らないようにします。安全や権利に大きく影響する業務では、条件付き回答にせず最初から人へ渡します。

例外判断や承認が必要な場合は、AIが結論を推測せず、担当者へ引き継ぎます。NISTの生成AIプロファイルは、生成AI特有のリスクをライフサイクル全体で管理するための補助資料です。実務では、生成結果だけを評価するのではなく、保留と引継ぎが意図した場面で働くかも試します。

運用開始後は、回答率だけを高くしようとしません。誤って答えた件数、不要に保留した件数、確認質問で解決した件数、正しい窓口へ引き継げた割合、担当者が訂正した内容を記録します。NISTは、既知のリスクやエラーを検知・追跡し、統制と指標の有効性を定期的に見直すことを示しています。

訂正が続く場合は、AIへ『もっと慎重に』と指示するだけで終えません。資料の不足、版管理、停止条件、質問文、権限設定、引継ぎ先のどこに原因があるかを分けて直します。これは一般的な活用例であり、確認済みの個別導入実績や効果を示すものではありません。