LLMアプリの「なぜ壊れたか」を追跡する監視基盤、2026年版比較 — Langfuse・LangSmith・Braintrustなど主要7プラットフォームをトレース・評価・監視の3軸で整理

8月10日、MarkTechPostが「Top LLM Observability and Evaluation Platforms in 2026: Langfuse, LangSmith, Braintrust, Arize, and More Compared」と題した記事を公開した。2026年時点における主要なLLMオブザーバビリティ・評価プラットフォームを、トレーシング・評価・本番監視の3軸で比較・整理している。

LLMオブザーバビリティが「任意のツール」から「必須インフラ」へ

LLMアプリケーションは、従来のソフトウェアとは異なる形で壊れる。同じプロンプトが毎回違う出力を返し、検索ステップが誤ったドキュメントを返してもHTTPステータスは200のまま、エージェントが14回もツールを呼び出しながら自信満々に間違った答えを返す——これらはAPM（アプリケーションパフォーマンス監視）では検出できない。

この問題が市場を動かしている。The Business Research Companyの調査では、LLMオブザーバビリティ市場は2026年に26.9億ドル規模（2025年比37%増）に達し、2030年には92.6億ドルに達する見込みだ（CAGR 36.2%）。Gartnerは2028年までにGenAIデプロイの50%にLLMオブザーバビリティ投資が含まれると予測する（2026年初時点では15%）。

LangChainが1,300名超の開発者を対象に行ったState of Agent Engineering調査では、57%がエージェントを本番稼働させており、89%がオブザーバビリティを実装済みだ。一方、評価（Eval）は遅れており、29.5%はまったく評価を実施していない。品質は本番デプロイの最大の障壁として32%に挙げられた。

市場は4つのカテゴリに分化している

記事では、プラットフォームを以下の4カテゴリに整理している：

AIネイティブオブザーバビリティ: Langfuse、LangSmith、Braintrust、Arize、Opik — LLMトレースを主役に置く
オープンソース系評価ライブラリ: Arize Phoenix、DeepEval（Confident AI）、MLflow、RAGAS — LLM-as-a-judgeによるスコアリングに特化
AIゲートウェイ: Helicone、Portkey、LiteLLM — プロキシとしてログ・キャッシュ・コスト追跡を追加
APM拡張型: Datadog LLM Observability、New Relic、Dynatrace — 既存インフラ監視にLLMトレーシングを追加

また、これら全カテゴリを横断する共通規格としてOpenTelemetry GenAI semantic conventionsが台頭している。gen_ai.*スパン属性を定義するこの規格は、Google Cloud、AWS、Azure、Datadogにも採用済みだ。GitHub CopilotのエージェントテレメトリもこのGenAIスパンツリーを公開しており、Claude CodeやCodexもOpenTelemetryのネイティブサポートを備える。記事は「OTel互換性は2026年においてハード要件であり、あると便利な機能ではない」と明言している。

比較の3軸

各プラットフォームを比較する前に、記事は用語を以下のように定義している：

トレーシング: LLMアプリケーションの全動作記録。ユーザー入力から各検索・モデル呼び出し・ツール実行・最終出力まで、ネストされたスパンで構成される。非決定論的な挙動ゆえ、正確な入力・パラメータ・温度をキャプチャしなければ問題を再現できない
評価（Evals）: 出力の品質を問う。デプロイ前のオフライン評価と、本番トラフィックをLLM-as-a-judgeでスコアリングするオンライン評価の2種
本番監視: コスト帰属、レイテンシ百分位数、ドリフト検知、品質スコア低下のアラート——そして本番トレースを将来の回帰テストデータセットに還流させる仕組み

主要プラットフォーム比較

Langfuse — セルフホストの筆頭

LangfuseはMITライセンスのオープンソースコアを持ち、Docker Composeで数分で自己ホスト可能。OpenTelemetry、LangChain、OpenAI SDK、LiteLLMとのインテグレーションで、RAGやエージェントの多段実行をスパンツリーとして可視化する。2026年3月にリリースされた新データモデルによりダッシュボード性能が10倍以上向上し、v4では最大165倍の高速化を謳う（※元記事記載の数値。特定のクエリパターン・データ規模における計測値であり、環境によって異なる）。評価はLLM-as-a-judge、ヒューマンアノテーション、CI連携（GitHub Actions）をサポート。データレジデンシー要件が厳しいチームに向いている。

LangSmith — LangChain/LangGraphユーザーの自然な選択肢

LangSmithはLangChainの商用プラットフォーム。LangChain 1.0・LangGraph 1.0ではほぼゼログルーコードで動作する。組み込みAIアシスタント「Polly」が大規模トレースを要約し問題を特定する機能と、「LangSmith Engine」が本番障害をクラスタリングしてルートコースとコード上の修正案を提示する機能が特徴だ。LLM呼び出しだけでなく、検索・ツール・外部APIのカスタムコストも含む統合コストビューを2026年時点で提供する。

Braintrust — 評価ファーストの設計

Braintrustは評価中心のプラットフォームで、バージョン管理されたデータセット、CI回帰テスト、本番データに対してプロンプト変更を事前検証するPlaygroundが核心機能だ。AIエージェント「Loop」がトレースを分析してより良いプロンプトを提案し、スコアラーとデータセットを自動生成する。専用DB「Brainstore」で数百万の複雑なトレースへの効率的なクエリを実現している。

Arize AX / Phoenix — 評価の深さで差別化

Arize AIはエンタープライズ向けArize AXとセルフホスト可能なPhoenix（Elastic License 2.0）の2層構成。PhoenixはOpenTelemetryネイティブで月間200万ダウンロード超。ML可観測性の知見を活かした評価プリミティブ、RAG特化の品質プロット、ドリフト検知が強みで、音声アプリケーション向けの音声評価機能も追加された。従来MLモデルとLLMを並行運用する組織に適している。

Opik — Comet MLによるオープンソース評価基盤

OpikはComet MLが提供するオープンソースのLLMオブザーバビリティ・評価プラットフォームで、Apache 2.0ライセンスのもとセルフホストと管理クラウドの両形態を提供する。トレーシング・LLM-as-a-judge評価・プロンプト管理を一体化した設計が特徴で、OpenTelemetryおよびLangChainとのインテグレーションをサポートする。既存のComet MLによるMLモデル実験管理との統合を重視する組織や、完全にオープンなライセンスでの運用を求めるチームに向いている。

MLflow — データ完全所有のオープンソース

Linux Foundation傘下のMLflow（Databricks支援）はエージェントオブザーバビリティへと進化した。トレースデータはユーザーが完全所有し、OTel GenAI semantic conventionでエクスポート可能。RAGAS、DeepEval、Phoenix、TruLens、Guardrails AIとのインテグレーションに加え、GEPA・MIPROアルゴリズムによるプロンプト最適化も内包する。

ゲートウェイとAPM拡張も押さえておく

Helicone・Portkey・LiteLLMのようなAIゲートウェイは、アプリとモデルプロバイダーの間にプロキシとして挟む形式で、コード変更を最小限に抑えながらログ・コスト追跡・ルーティング・キャッシュを追加できる。単一のベースURLを差し替えるだけで導入できる軽量さが強みであり、専用のオブザーバビリティ基盤を構築する前の初期段階や、マルチプロバイダー環境でのコスト可視化を優先するチームに特に有効だ。ただし、エージェントの多段スパン可視化や高度な評価機能については、AIネイティブオブザーバビリティ製品と比べて機能が限定される。

一方、Datadog LLM Observability・New Relic・DynatraceといったAPM拡張型は、LLMシグナルをCPU・メモリ・ネットワークメトリクスと同一ダッシュボードで相関分析できる点が既存ユーザーにとっての強みだ。インフラ全体の障害対応フローにLLMの異常を組み込めるため、すでにこれらのプラットフォームを本番監視基盤として運用している組織では導入摩擦が小さい。ただし、LLM固有の評価プリミティブやプロンプト管理の深さではAIネイティブ製品に一歩譲る。

記事は各プラットフォームを「トレーシング・評価・本番監視の3軸をどれだけ網羅しているか」で順位付けしており、チームの技術スタックやデータポリシー、評価へのこだわりによって最適解が異なることを示している。エージェント本番運用が57%に達した今、オブザーバビリティ基盤の選定は設計初期から行うべき意思決定だ。

詳細はTop LLM Observability and Evaluation Platforms in 2026: Langfuse, LangSmith, Braintrust, Arize, and More Comparedを参照していただきたい。