10月13日、IEEE Spectrumが「Meet the Anthropic Engineer Keeping Its AI Agent Trustworthy」と題した記事を公開した。AnthropicでClaudeの信頼性を支えるデータインフラを構築するエンジニア、Gurmeet Saranの仕事と思想を詳しく紹介している。

「計器が正確な値を示しているかを確認する仕事」

AIエージェントの能力向上が注目を集める一方で、そのシステムがどう動いているかを正確に把握し、出力の信頼性を保証する「可観測性（observability）」の問題は、あまり表に出てこない。

Gurmeet Saranは、Claude開発元のAnthropicでその問題に取り組むエンジニアだ。現在はClaudeのデータインフラの信頼性確保を担っている。

彼はその仕事をこう説明する。

「医師が患者のバイタルサインを監視して治療方針を決めているとき、使用している医療機器のいくつかがわずかにキャリブレーションずれを起こしていたらどうか。ほとんどの数値が正常でも、難しい判断は常にマージンで起きる。AIシステムも同じだ。私の仕事は、計器が正確な値を示していることを確認することだ」

LLM（大規模言語モデル）の可観測性は、従来のシステム監視と比べて格段に難しい。「データベースやWebサービスの監視ツールは十分にある。だがLLMに対しては、まだ手探りの状態だ」とSaranは言う。

AIエージェントは複数のユーザーと連続的にやり取りしながら動作するため、「何をしたか」「どの情報を元にしたか」「ユーザーの期待と結果が一致したか」を記録しつつ、プライベートな情報は一切漏らさないという制約を同時に満たす必要がある。「これまで経験してきた中で最も要求の厳しい可観測性の問題だ」と彼は述べている。

この難しさの核心は、LLMが確率的に動作する点にある。同じ入力に対して常に同じ出力が返るとは限らず、「正しく動いているか」の定義自体が揺らぎやすい。従来のソフトウェアテストでは、入出力の対応が明確に定義できるが、LLMではその前提が崩れる。だからこそ、出力の分布を継続的に観測し、異常を検知する仕組みが不可欠となる。

Yahoo・Intuit・Metaで磨いた「唯一の真実」設計

Saranのキャリアは、この問題への一貫した回答でもある。

2007年、Yahoo（バンガロール）でキャリアをスタートした彼が最初にぶつかった問題は、「日次アクティブユーザー数」という一つの指標が、チームによって異なる計算結果を出してしまうというものだった。コードのバグではなく、定義の曖昧さが原因だ。彼はどのイベントをカウントするか、エッジケースをどう扱うかを明文化した中央リポジトリを構築し、社内全チームが同じロジックで指標を算出できる仕組みを整えた。これが後に社内Webアナリティクスツール「Yahoo! Digits」へと発展した。

Intuit（2010年〜）では、TurboTaxやQuickBooksを横断するデータ基盤を構築した。IRS（米国内国歳入庁）の厳格な規制に準拠しながら不正確定申告をリアルタイム検出するシステムを設計する中で、「プライバシーと統制は、後から追加できる機能ではなくアーキテクチャの一部でなければならない」という考えを確立した。この思想は、現在のClaudeのインフラ設計にも直接つながっている。

Meta（2016年〜2021年）では、当時大きな問題となっていた動画再生数の過大計上問題に直面した。これは単なるコードのバグではなく、指標の定義が統一されていないことによるアーキテクチャの問題だったとSaranは言う。彼が構築したシステムは、動画視聴指標の単一の定義をサイト全体に適用するもので、退社時にはMeta全社で使われる基盤となっていた。

これら三社での経験に共通するのは、「計測の信頼性は後付けで担保できない」という教訓だ。指標の定義・収集・集計の各段階で曖昧さが残ると、組織が大きくなるほど判断の誤りが拡大する。Saranがデータインフラの設計に一貫してこだわるのは、この経験に基づいている。

「AIの監査可能性は次の10年で最重要の工学的課題」

Anthropicのミッションには、Claudeが「人々と社会にとって真に役立ち、安全でなく非倫理的で欺くような行動を避ける」ことが掲げられている。SaranはそのためにはAIモデルの振る舞いを研究者が観察・理解できる体制が不可欠だと強調する。

「AIシステムを真に監査可能で透明にすることは、次の10年で最も重要な工学的課題の一つだ。しかしモデルの性能ほど語られていない」というのが彼の主張だ。

この視点は、AI業界でも徐々に共有されつつある。LLMの解釈可能性（interpretability）や可観測性に関する研究は増加しているが、実際のプロダクション環境でのデータパイプラインとプライバシーを同時に扱う実装の難しさは、まだ十分に議論されていない領域だ。ベンチマークスコアの競争が加熱する中で、「その数字をどこまで信頼できるか」を問う視座はむしろ希少であり、Saranのような役割の重要性はこれから増していくと考えられる。

IEEEへの期待：標準化とアクセスの拡大

Saranは2025年3月にIEEEのシニアメンバーとなった。AIインフラに建築基準やソフトウェアテストと同様の標準が必要だという考えから、IEEEの標準化活動への貢献を目指している。

標準化の必要性についてSaranはこう説明する。建築物には建築基準があり、ソフトウェアにはテストのベストプラクティスがある。AIシステムにも、可観測性とデータ品質に関する同様の基準が必要だ、というのが彼の立場だ。

また、AIの開発が一部の都市の一部の組織に集中しがちな現状に対して、IEEEが世界中のエンジニアをグローバルなコミュニティへとつなぐ役割を果たせると述べている。Saranがバンガロール出身であることも、この視点の背景にあるとみられる。

詳細はMeet the Anthropic Engineer Keeping Its AI Agent Trustworthyを参照していただきたい。