11月12日、InfoQが「Opening the Black Box: Critical Explainability for AI Agent Tool Selection with Kiji Inspector」と題した講演録を公開した。DataikuのMLエンジニア兼エンジニアリングディレクターであるHannes Hapke氏によるQCon形式のプレゼンテーションで、Sparse Autoencoder(疎自己符号化器)を用いてAIエージェントのツール選択判断を解釈可能にするオープンソースツール「Kiji Inspector」の実装について詳しく紹介されている。LLMの内部で何が起きているかを「特徴」レベルで可視化する試みは、従来の説明可能AI手法が答えられなかった問いに正面から挑むものだ。
AIエージェントの「なぜそのツールを選んだか」が分からない問題
LLMベースのエージェントがどのツールを呼び出すかは、現状ほぼブラックボックスだ。プロンプトエンジニアリング、行動テスト、Chain of Thoughtといった手法は存在するが、どれも「もっともらしい説明」を生成するにすぎず、因果関係を示せないという根本的な欠点がある。
Hapke氏はこの問題に正面から取り組んだ。同氏はDataiku内のオープンソースラボ「575 Lab」を通じて、Kiji Inspectorというツールを開発・公開している。575 LabはDataikuが社内に設けた実験的プロジェクトの孵化組織で、プロダクション投入前の先進的なAI研究を外部に公開することを目的としている。今回の発表はQConで行われた講演の録画・書き起こしであり、InfoQのURLが/presentations/パスに属していることからも、ブログ記事ではなく登壇コンテンツであることが分かる。
Sparse Autoencoderでモデルの「思考」を可視化する
Kiji Inspectorの中核技術がSparse Autoencoder(SAE)だ。
通常のAutoencoderは入力をボトルネックとなる低次元の潜在空間に圧縮し、再構築する。一方Sparse Autoencoderは逆に次元を広げる。たとえば入力が2,688次元の活性化ベクトルなら、それを10,000次元の特徴空間に展開する。ただし条件がある。全特徴の約95%を強制的にゼロにする(スパース制約)という点だ。
この仕組みにより何が嬉しいかというと、LLMの内部では「多義的表現(Polysemantic Representation)」が起きている。1つのニューロンが複数の異なる意味・文脈で発火するため、単純に活性化を見ても何を考えているか判断できない。これはニューロン単体が単一の概念にのみ対応する「単義性(Monosemanticity)」とは対極の状態であり、解釈可能性研究における中心的な課題とされている。SAEの広い特徴空間に強制的に分散させることで、個々の特徴が単一の意味・テーマに対応するよう整理され、Monosematicityに近い表現が得られる。
その後、各特徴次元に対して「高スコアのドキュメント群」を集め、LLMに「これらの共通点は何か」と問い合わせることで、特徴ごとの意味ラベル(例:「Pythonのプログラミング言語語彙」など)を自動生成できる。
活性化関数にはJumpReLUを採用している。通常のReLUが入力値ゼロ以上をそのまま出力するのに対し、JumpReLUは「学習可能な閾値」を持ち、閾値未満の入力をゼロに落とし、閾値以上の入力はその値をそのまま出力する。この閾値をトレーニング中に学習させることで、どの特徴が有意かを動的に制御できる点が通常のReLUとの実質的な違いだ。
「決定トークン」に絞る工夫と対照ペアの設計
OpenAIやEleutherのSAE研究はプロンプト全体のLLM生成を対象にしていた。Kiji Inspectorの差別化ポイントは、エージェントがツール名を出力する「決定トークン」の活性化のみに注目する点だ。
"I will use ___"
このフォーマットで強制的にツール名を応答させ、そのトークン生成時の特定レイヤーの活性化を取得する。
さらに訓練データの設計も独特だ。対照ペア(Contrastive Pairs)と呼ぶ構造を採用している。
| インテント | リクエスト例 | 正解ツール |
|---|---|---|
| パスワード問題の解決 | 「パスワードのリセット方法は?」 | ナレッジベース検索 |
| パスワード問題の解決 | 「3回リセットを試みたが失敗した」 | チケット起票 |
プロンプトは似ているがツール選択は全く異なるペアを500,000組、計100万サンプル生成して訓練する。この対照ペアを使って特徴次元を比較すると、2つのツール間で活性化が異なる次元が、判断に寄与した特徴として浮かび上がる。
実験結果:単純な線形モデルやクラスタリングとの比較
SAEの必要性を疑う向きには、以下の比較結果が答えになる。
- 活性化ベクトルをそのまま線形モデルに投入してツールの正誤を2クラス分類 → 精度約**80%**(悪くはないが十分でもない)
- 活性化ベクトルをクラスタリングしてツールを判別 → コインを投げるよりも悪い精度
レイヤー選択には経験則が必要で、浅すぎると抽象概念が未形成、深すぎると人間には解釈不能な表現になる。今回の実験ではNVIDIA Nemotron 3(MoEモデル)を対象モデルに選び、レイヤー20が実用的なバランスを示した。
10,000次元に拡張した特徴空間のうち、80%以上が学習中に一度は活性化し、完全に死んだ特徴は0.2%未満。そして全10,000特徴のうち、668特徴がツール選択の判断に高い関連性を持つと特定された。
オープンソースで、複数モデルに対応
Kiji InspectorはOpenAIのようなクローズドモデルには適用不可(重みへのアクセスが必要なため)だが、オープンソースモデルであれば幅広く対応する。GemmaやNemotronへの特化ではなく、汎用的なフレームワークとして設計されている点が強調されている。トークンレベルのファジングや因果検証テストも組み込まれており、相関と因果を区別する機能も備える。
導入の流れとしては、コーパス(ツール定義とサンプルリクエスト群)を用意してモデルを指定するところから始まる。その後SAEの訓練と特徴ラベリングが走り、エージェントがリクエストを処理する際に各レイヤーで何を「考えて」いるかを特徴定義として出力する構成だ。オープンウェイトモデルを手元で動かせる環境があれば導入できる設計になっており、クラウドAPIのみに依存するシステムでなければ実験的に試せる段階にある。コードは575 Labを通じて公開されており、エンタープライズ用途での活用も念頭に置かれている。
詳細はOpening the Black Box: Critical Explainability for AI Agent Tool Selection with Kiji Inspectorを参照していただきたい。