7月24日、Stack Overflowが「No Dumb Questions: What is the AI bottleneck? How does context engineering fix it?」と題した記事を公開した。この記事では、AIの活用を妨げる「コンテキストの欠如」という本質的な課題と、それを解決するための「コンテキストエンジニアリング」というアプローチについて詳しく論じられている。

「AIはできる。でもつながっていない」

Stack OverflowのData Science Director、Michael Foreeは数ヶ月前に技術カンファレンスでCTO・エンジニア・グラフィックデザイナー・プロジェクトマネージャーなど多様な参加者にAI活用状況を調査した。そこで浮かび上がった共通の不満が、AIの「コネクティビティ（接続性）」の欠如だ。

典型的な例として記事が挙げるのは「メール返信」だ。AIはメールの文面を読んで返信文を生成できる。だが、そのメールを送ってきた相手が誰なのか、Slackでどんなやり取りをしているのか、過去の会議でどんな文脈があったのか——そういった周辺情報（コンテキスト）を持っていない。

結果として、ユーザーは他のツールから関連情報をコピー&ペーストし、AIに渡し、生成された返信を1〜2回修正し、それをメールソフトに貼り付けてようやく送信——という手順を踏む羽目になる。

「計算してみれば、セットアップのコストはいつか回収できる。でも多くの人は、今日の時点で十分なリターンが得られるかを問うている。たいていの答えはNoだ」
— Michael Foree

これがMichaelの言うAIボトルネックの正体だ。AIが技術的に「できる」かどうかの問題ではなく、必要なコンテキストを収集・接続するコストが高すぎて、多くの人がそこで諦めてしまう。

コンテキストエンジニアリングとは何か

「コンテキスト（context）」とはAIに渡す背景情報の総体だ。メール1通に返信するだけでも、AIには以下が必要になる：

• 送信者の重要度や関係性
• 過去のメールスレッド
• 関連するSlackチャンネルのやり取り
• Google Driveに保存された関連ドキュメント
• 「メール送信」という操作を実行する権限

これらを人間がひとつひとつ設定し、AIに接続してやる作業がコンテキストエンジニアリングだ。これはAIへの指示文を工夫する「プロンプトエンジニアリング」とは異なる概念であり、AIが参照する情報源そのものを設計・接続することを指す。エンタープライズ環境ではこのセットアップコストがさらに跳ね上がる。

「気散り」とコンテキストの絞り込み

Michaelが指摘するもう一つの課題が、AIが無関係な情報に引っ張られる「気散り（distraction）」問題だ。

記事では次のような比喩が使われている：

「AIに『この丸太を飛び越えるにはどうすればいい？ あ、あそこにブルーベリーがあるよ』と伝えたとする。するとAIはブルーベリーが関連情報だと判断して、ブルーベリーの話を始める。一方で、丸太の大きさや水たまりの有無を聞いてこない」

関係のない情報を大量に渡すと、AIはそこに引きずられた回答を返す。これは品質の問題であると同時に、トークンコストの問題でもある。処理するデータが増えれば増えるほど、APIコストは膨らむ。この問題への対処として、必要な情報だけを選別してAIに渡す「情報の蒸留（distillation）」という設計思想が重要になる。RAGのような検索拡張生成のアーキテクチャが注目を集める背景にも、この課題がある。

最新のLLMはこの「気散り」への耐性が向上しており、適切なタイミングで追加質問を返せるようになってきている。ただしそれは公開情報で学習した範囲内の話だ。

企業の「秘伝のタレ」はAIに学ばせられない

ここがエンタープライズAI活用の核心的な障壁だ。各企業の固有プロセスや社内ナレッジは、AIラボが学習データとして入手できない。そして企業側も当然、競合優位の源泉となる情報をAIベンダーに渡したくない。

Stack Overflowが現在取り組むStack Internalは、この問題への一つのアプローチだ。Stack Overflowが長年培ってきた開発者向けQ&Aプラットフォームの知見を活かし、社内向けに展開しているプロダクトとして記事中で紹介されている。LLMに社内情報を直接学習させるのではなく、「知識コネクター」を構築し、AIがコンテキストとして参照できる仕組みを作る。さらに、AIが出力した回答を社内の専門家が検証・修正するループを設けることで、プロプライエタリな情報の精度を担保する。

「AIが『この質問の答えはこれだと思いますが、あなたはこのプロセスの専門家です。合っていますか？』と人間に確認を求める。これは大手AIラボがお金を出しても買えないコンテキストだ。誰も売りたくないから」
— Michael Foree

技術者以外にも同じ問題が起きている

グラフィックデザイナーの例も記事に登場する。リビングルームの写真を撮ってAIに渡すと、ドレープや塗料の色の組み合わせ、家具の配置まで提案してくれた。技術的には機能している。だがスマートフォンで撮った写真をPCのAIツールに渡すその一手間が、ユーザー体験を断ち切った。

ペンキの塗り替えを例に挙げると「近くのペンキ店を教えてほしい」「その場で購入したい」という要求は、Google MapsとECの接続があれば技術的には実現できる。にもかかわらず実現していない理由は、技術的な限界ではなくインセンティブと接続コストの問題だとMichaelは分析する。月に1〜2回しか使わない機能のために、クレジットカード情報や位置情報やお気に入り店舗情報をAIに設定する手間を誰も払いたくない。

AIボトルネックの正体は、AIそのものの性能ではなく「コンテキストをいかに安く・正確にAIに届けるか」という設計の問題だ。コンテキストエンジニアリングは、プロンプトエンジニアリングと並ぶ——あるいはそれとは異なる軸での——重要なAI活用スキルとして今後さらに注目されていくだろう。

詳細はNo Dumb Questions: What is the AI bottleneck? How does context engineering fix it?を参照していただきたい。