9月12日、Codemanshipが「Out-Of-Distribution Checks – How Human Intelligence Stabilises Agentic Workflows」と題した記事を公開した。AIエージェントの長時間ワークフローにおける信頼性が自律実行によって必然的に劣化する問題と、それを人間の介入で安定させる理論的根拠について詳しく論じた内容だ。
「エージェントは自己修正できる」という前提を問い直す
LLMベースのAIエージェントを複数ステップのワークフローで使う際、「エラーが出ても自己修正してくれる」と期待するエンジニアは多い。Codemanshipはこれを明確に否定する。
LLMは学習しない。WHILEループも絶対に学習しない。
これが記事全体の核心だ。
STAAR：エージェント信頼性の定量モデル
記事が提唱するのは STAAR（Special Theory of Autonomous Agent Reliability） と呼ばれる理論的フレームワークである。1ステップ（モデルとのインタラクション1回）における信頼性を次の式で表す：
R = 1 – (1 – C)(1 – P)
- C：推論が正しい確率
- P：エラーを伝播前に捕捉できる確率（テスト、リンター、モデルの学習範囲などでカバーされるもの）
ここで重要なのは 「1 – P」の意味だ。記事の定義に従えば、PはLLMの推論誤りのうち自動チェックで捕捉できる割合を指し、1 – Pはそれらのチェックをすり抜けるエラーの割合を意味する。どれだけテストを書いても、どれだけリンターを整備しても、Pは1にはなれない。「Out-Of-Distribution（分布外）エラー」、すなわち設計時に想定していなかった失敗パターンが必ず残るためだ。
そしてN回のステップを経た後の累積信頼性は R^N になる。
「許容範囲」を超えるのに何ステップかかるか
記事では具体的な数値でこの問題の深刻さを示している。
- 出荷可能ソフトウェアの信頼性しきい値を Q = 0.95（95%。記事が設定するあえて保守的な目標値）
- 自動品質ゲートが優秀で R = 0.99（1ステップあたりの信頼性99%）
という条件のもとでも、R^N はわずか5ステップで約0.951、10ステップで約0.904まで低下し、Q = 0.95 を10ステップ前後で下回る。記事はこの計算を通じて、一見十分に見える1ステップあたりの高信頼性が、ステップ数の増加によって急速に劣化することを示している。
さらに厄介なのは回復コストの問題だ。記事によると、フィードバックのレイテンシが増えるほどエラーの修正コストは増大し、「しきい値を下回るほど、Q水準に戻るのに時間がかかる」という非線形な悪化が生じる。
なぜ人間だけがOut-Of-Distributionエラーを捕捉できるのか
自動チェック（決定論的なものであれ確率論的なものであれ）は、設計した範囲内のエラーしか検出できない。分布の外側にあるエラーを発見できるのは、人間だけだ。
記事はその理由を次のように説明する：
- 人間は「知らないことを知っている」（メタ認知）
- 新しいもの・予期しないものを「異常」として認識できる
- 少ないデータから学習できる
これは抽象論ではなく、記事が参照する研究知見にも裏付けられている。記事中ではarXiv論文（番号：2510.27630）が引用されており、長時間ワークフローの研究においてヒューマン・イン・ザ・ループでは信頼性が安定する一方、完全自律では安定しないという結果が示されているとされる。なお、この論文番号については元記事の記載に従ってそのまま掲載しているが、読者は原典を直接確認されたい。
実務への示唆
記事の結論は明快だ。信頼性の高い完全自律エージェントワークフローは極めて実現困難であり、現状の信頼できるデータはすべてその方向を指している。
エンジニアが検討すべきなのは「エージェントを完全自律化できるか」ではなく、「何ステップごとに人間がOut-Of-Distributionチェックを行えば、信頼性をしきい値以上に保てるか」という設計上の問いである。自動品質ゲート（テスト・リンター・モデルによる検証）はPを高めるために有効だが、それだけでは不十分であり、人間の確認サイクルをワークフロー設計に組み込むことが不可欠だというのが記事の立場だ。
「自己修正エージェント」への期待が業界で高まる中、定量的・理論的な枠組みでその限界を示したSTAAR理論の議論は、実装設計の判断基準として参照価値が高い。
詳細はOut-Of-Distribution Checks – How Human Intelligence Stabilises Agentic Workflowsを参照していただきたい。
