10月15日、O'Reillyが「Generative AI in the Real World: Observability for AI with Charity Majors」と題したポッドキャストを公開した。AIがコードを生成するスピードが人間の理解・保守能力を上回りつつある時代に、オブザーバビリティ（可観測性）——システムの内部状態を外部から観察・把握できる性質——がどう変わるべきかを、現場の第一線から論じた内容だ。

ゲストはHoneycombの共同創業者兼CTOであるCharity Majors。Honeycombはオブザーバビリティツールを専門とするスタートアップで、Charityはその領域における実践的な論客として知られる。Liz Fong-Jonesらとの共著『Observability Engineering』をはじめ、オブザーバビリティの概念普及に大きく貢献してきた人物だ。ホストのBen Loricaとの対談形式で、AIコーディング時代における「作ったものを理解し、運用し続ける」という問題に真正面から向き合った内容だ。

「安価なコード」がチームの仕事を変える

AIは実装・テスト・ドキュメントを素早く生成できる。だがCharity Majorsが強調するのは、コードを生成すること自体が「実質的に無料かつ即座」になった結果、ボトルネックが別の場所へ移ったという点だ。

何を作り、何をサポートすることに合意したのか——チームはそれを理解しなければならない。そしてユーザーが実際にどんな体験をしているかも。

コードを「書く」コストが消えても、レビュー・検証・運用サポートという工程がチームのペースを制約する。Charityは皮肉交じりにこう付け加えている——「ソフトウェア開発ライフサイクルの他のあらゆる部分も、同様にボトルネックになり得る」と。

非決定論的システムには「より少ない厳密さ」ではなく「より多くの厳密さ」が必要

AIを組み込んだシステムは非決定論的だ。同じ入力が同じ出力を返す保証がない。Charityのたとえが的確だ：

私たちはこれまで乗用芝刈り機に乗って、ゆっくりと道を進んでいた。それが突然、フェラーリのエンジンを積んだ芝刈り機になった。「ブーン！」と飛び出せる。でも、溝にも突っ込める。壁にも激突できる。道の真ん中を走り続けるには、構造と厳密さをシステムに組み込まなければならない。

オブザーバビリティはその「フィードバックループ」だとCharityは位置づける。アクションと結果を結びつけ、変更後に何が起きたかをチームが把握する手段だ。

エージェントの判断を追う：「ループ内にいる」から「ループのオーナー」へ

AIエージェントにオブザーバビリティを導入する際、Charityが勧める出発点は**OpenTelemetryの自動インストルメンテーションとトレース**だ。トレースはエージェントがタスクを進める過程での判断・ステップを記録できる。

人間の役割について、Charityは「ループ内に留まる（in the loop）」という表現より「ループのオーナー（owner on the loop）」という言葉を好む。これらのシステムを管理するには、積極的な理解とコントロールが求められるからだ。

AIはデバッグやSRE（サイトリライアビリティエンジニアリング）の熟練チームの能力を増幅できる。ただし、希少で高リスクなインシデント対応においては注意が必要だ。AIエージェントはそうした状況のトレーニングデータが少なく、診断をかえって難しくする恐れがある。CharityはAIを「魔法ではない」と明言し、「専門知識の代替ではなく、傍らで力を発揮する強力な副官」と表現する。

テレメトリは「インフラ用」と「クラウンジュエル」で戦略を分けよ

Charityは、テレメトリデータを2種類に分けて考えることを提唱する：

インフラのオブザーバビリティ（サードパーティコード由来）は、大量のログやメトリクスを出力するが、自社では変更できない。これは安価なコモディティストレージに入れれば十分だとCharityは言う。

一方、「クラウンジュエル」——自社のビジネスを構成するコードのテレメトリは別物だ：

データポイント間の関係を可能な限り保持する形でインストルメントすべきだ。任意の幅を持つ構造化データ、構造化ログ、そして多くのスパンを持つトレース。データの最も価値ある部分は「関係性」だから。数百・数千の個別メトリクスやログ行に分散させてはいけない。一緒に保持して相関を取れるようにする——これが起きたとき、あれが起きた、という具合に。

このポッドキャストの中でCharityは、Liz Fong-JonesおよびGeorge Mirandaとの共著『Observability Engineering（第2版）』にも言及している。AI時代の変化に対応してページ数が初版の2倍以上に増えたという。オブザーバビリティの実践をより深く学びたい読者には参照を勧めたい一冊だ。

AIが生成したコードの「説明責任」問題

Charityとホストが合意した点として、AIの力を借りて得た成果を主張するなら、それを仲間に説明できなければならないという議論もある。AI生成コードが当たり前になると、著者性・専門性・教育プロセスが複雑になる——数学者の間では特に問題視されている領域だ。

ジュニアエンジニアが熟練する機会をAIが奪う懸念に対し、Charityは楽観的でも悲観的でもない現実的な立場を示す：

車が歩くより速いという事実と折り合いをつけたように、コンピューターが自分より計算が得意だという事実とも折り合いをつけた。……それは、実践や規律、学び、厳密さに価値がないということではない。ただ、これは人間がもはや最も得意ではない領域の一つだというだけで。でも、私たちが最も得意なことは他にたくさんある。そして、何かを行う価値は、それが最善であることだけにあるわけではない。

詳細はGenerative AI in the Real World: Observability for AI with Charity Majorsを参照していただきたい。