10月23日、n8n blogが「Hallucination Detection Methods for AI Agent Workflows」と題した記事を公開した。AIエージェントのハルシネーションが厄介なのは、出力が一見まともに見える点だ。事実を捏造しても、取得したコンテキストを誤読しても、前の発言と矛盾しても、モデルは何も警告を出さない。その出力が次のワークフローステップをトリガーすると、誤りはすぐに本番問題に発展する。

ハルシネーションには4種類ある

記事では、まずハルシネーションを以下の4種類に分類している。これを把握することが、適切な検知手法の選択につながる。

• Factual hallucination（事実の捏造）: 実在しない統計・人物・出来事など、検証可能な事実と矛盾する主張を生成する
• Contextual hallucination（文脈逸脱）: モデルに与えたコンテキストに基づかない回答を返す。RAG（Retrieval-Augmented Generation）システムで特に問題になる
• Confabulation（作話）: 根拠のない詳細を埋め合わせ、証拠不十分なまま一貫性のある回答を生成する。たとえば「研究によると〜」と述べながら、実在しない論文や調査結果を引用するケースがこれに当たる
• Self-contradiction（自己矛盾）: 同じ回答内、または以前の発言と矛盾する内容を含む

「万能のハルシネーション検知器は存在しない」と記事は明言している。文脈への忠実さを確認するグラウンデッドネスチェックは、ソース自体の事実誤りは検出できない。失敗モードに合わせた検知手法の選択と、複数手法の組み合わせが必要になる。

本番で使える5つの検知手法

1. 忠実性・グラウンデッドネスチェック（最も重要）

RAGワークフローで特に有効な手法だ。モデルの回答を個々の主張に分解し、取得したドキュメントと照合してスコアを算出する。DeepEvalのようなツールでこのプロセスを自動化でき、テストセットやライブ出力に対して継続的なスコアリングが可能になる。

2. 自己一貫性チェック

同じ質問を複数回モデルに投げ、回答を比較する手法。独立した推論の結果が収束すれば一貫性のシグナルになり、大きく乖離すれば精査が必要と判断できる。外部知識ベースを必要としない点が利点だが、複数回の推論が同じ誤情報に収束することもあるため、精度の証明にはならない点に注意が必要だ。

3. セマンティックエントロピーと不確実性推定

複数の回答を生成し、意味的に等価なグループに分類してエントロピーを推定する手法だ。ここでいう「セマンティックエントロピー」とは、複数の出力が意味的にどれだけ分散しているかを示す指標で、値が高いほどモデルが回答に確信を持てていないことを意味する（詳しくはSemantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generationを参照）。高いセマンティックエントロピーは追加バリデーションが必要な出力を特定するのに役立つが、一貫性チェックと同様に「答えの安定性」を測るものであり、事実の正確性を保証するものではない。

4. ソース・検索結果の検証

忠実性チェックが「モデルが受け取ったコンテキストを反映しているか」を確認するのに対し、ソース検証は「主張が権威ある外部ソースと整合するか」を確認する。RAGで取得したドキュメント自体が古かったり不正確だった場合、忠実性スコアが高くても回答は誤りになる。データベース・API・ドキュメントなど明確な正解ソースが存在するケースで特に有効だ。

5. 信頼スコアとヒューマン・イン・ザ・ループ

すべての疑わしい出力に同じ対応をする必要はない。信頼スコアに応じて3段階でルーティングできる：

• 高信頼: 自動的に次のステップへ
• 中程度の信頼: 追加チェックへルーティング
• 高リスク: 外部アクション実行前に人間のレビューへ

しきい値の設定は「誤った場合の影響度」で決める。内部サマリー生成なら多少の不確実性は許容できるが、顧客レコードの変更やビジネスプロセスのトリガーなら厳しくすべきだ。

記事では、Human-in-the-loop（ワークフロー実行前に人間が介入して出力を承認・修正する）に加え、Human-on-the-loop（ワークフローは自動実行しつつ、人間がリアルタイムで監視し必要に応じて介入する）というアプローチも紹介されている。後者は高スループットが求められる場面で有効で、完全な自動化と厳密な事前レビューの中間に位置する現実的な選択肢となる。

検出だけでは不十分

記事が強調しているのは、ハルシネーション検知はリスクを下げるが、すべての誤りを捕捉することは保証できないという点だ。スコアはコンテキストや評価手法の品質に依存し、しきい値は偽陽性を生むこともある。

検知は予防・明確なエスカレーションパス・LLM可観測性と組み合わせてはじめて機能する。問題が発生したとき、モデルの入力・取得コンテキスト・出力・下流アクションへの可視性があれば、障害を追跡してワークフローを改善できる。

n8nでの実装例

記事ではオープンソースのAI自動化プラットフォームn8nを使った実装も紹介されている。ビジュアルキャンバス上でLLMの前後にチェックを追加し、スコアに応じて出力を別ブランチにルーティングできる。AI Agentノードはモデルとツールの動作を検査可能な実行パス内に保持し、Error Triggerノードは失敗時に別のエラーハンドリングワークフローを起動できる。

記事に掲載されているワークフロー例では、エージェント出力後に2回目のLLMパスでハルシネーションをチェックし、疑わしいテキストは自動破棄せず人間の承認フローに送る構成が示されている。

重要なのは「問題を検出した後に何が起きるか」だ。フラグが立った回答には行き先が必要で——追加バリデーション、リトライ、エラーワークフロー、または人間の最終判断——これをワークフローに組み込むことで、ハルシネーション検知が後付けのテストではなく、AIシステムの動作の一部になる。

詳細はHallucination Detection Methods for AI Agent Workflowsを参照していただきたい。