AIエージェントが「なぜそのツールを選んだか」を可視化する — Sparse Autoencoderでブラックボックスを開くKiji Inspector
DRANK

11月12日、InfoQが「Opening the Black Box: Critical Explainability for AI Agent Tool Selection with Kiji Inspector」と題した講演録を公開した。DataikuのMLエンジニア兼エンジニアリングディレクターであるHannes Hapke氏によるQCon形式のプレゼンテーションで、Sparse Autoencoder(疎自己符号化器)を用いてAIエージェントのツール選択判断を解釈可能にするオープンソースツール「Kiji Inspector」の実装について詳しく紹介されている。LLMの内部で何が起きているかを「特徴」レベルで可視化する試みは、従来の説明可能AI手法が答えられなかった問いに正面から挑むものだ。

by @tf_official
Related Topics: AI Machine Learning Deep Learning