9月10日、Yuxing Luらが「Procedural Graphs: Self-Evolving Execution Structures for LLM Agents」と題した論文を公開した。LLMエージェントの手続き的知識をグラフ構造で管理し、失敗経験から自律的に改善し続ける新しい実行フレームワーク「Procedural Graph」を提案している。
LLMエージェントが抱える「手順の喪失」問題
LLMをエージェントとして長期タスクに使う場合、典型的な問題がある。会話履歴が長くなるにつれて、エージェントが目標を見失い、ツールを誤った順序で呼び出し、無駄な行動を繰り返す——いわゆる「手順の迷子」だ。
既存のアプローチの多くは、累積する履歴に対して無制約に次の行動を生成する。ReAct（思考・行動・観察を交互に繰り返すフレームワーク）やPlan-and-Execute（計画を先に立ててから実行するアプローチ）といった既存フレームワークは「何をするか」の生成に注力してきたが、この構造では、何をすべきか・何の順序でするか・どの条件で分岐するかという「手続き的知識」が暗黙的なままになる。
本論文はこの問題を正面から捉え、「手続き的知識にも、ファクト知識と同様の構造化表現が必要だ」という立場を取る。
Procedural Graphとは何か
知識グラフが「（エンティティ、関係、エンティティ）」というトリプレット構造で事実知識（"what-is"の問い）を整理するように、Procedural Graphは「（手順、関係、手順）」のトリプレットで手続き的知識（"what-to-do"の問い）を整理する。
動作の仕組みは次の通りだ。
- ローカライゼーション：各意思決定ステップで、エージェントが現在グラフのどのノードにいるかを特定する。
- 状況ガイダンスの生成：周辺のサブグラフをもとに「ガイダンスモデル」がステップレベルの指針を生成し、次の行動にバイアスをかける。ただし行動を強制はしない。
- 反復改善（自己進化ループ）：LLMリファイナーが失敗した軌跡と成功した軌跡を対比し、グラフのトポロジーと属性を編集する。検証パフォーマンスを維持・改善する編集はコミットされ、却下された編集は「再び同じ失敗を繰り返さないための抑止記録」として保持される。
「強制しない」設計が肝で、ガイダンスはあくまでエージェントの自律性を保ちながら、方向性を与える。
自己進化ループの技術的詳細
論文が示す反復改善ループの構造は次の通りだ。まず、タスク実行で得られた軌跡（成功・失敗の両方）をLLMリファイナーが受け取る。リファイナーは同一のLLMバックボーンを使い、成功軌跡と失敗軌跡を対比することでグラフへの編集案を生成する。生成された編集案は保留された検証セット上で評価され、パフォーマンスが維持または改善された場合のみグラフに反映される。
却下された編集は単に廃棄されるのではなく、「この編集は過去に検証で否定された」という抑止記録（negative memory）として保持される。これにより、リファイナーが同じ誤った方向の編集を再提案するリスクを低減する設計になっている。
論文では、この評価に用いる検証セットはタスクごとの保留データから構成されると説明されている。グラフのノード・エッジ構造（トポロジー）の変更と、各ノードが保持する属性（手順の記述内容など）の両方が編集対象となる点も特徴だ。
最小スケルトンから出発する設計
特に注目すべき点は、グラフを人間がゼロから設計する必要がないことだ。最小限の骨格（スケルトン）から出発し、失敗・成功の軌跡の対比を通じてグラフが育っていく。論文によれば、このループで構築されたグラフは手動設計のものと同等以上の性能に達する。
さらに、欠陥のある専門家設計グラフを修復する用途にも使えると示されている。既存の（不完全な）ワークフロー定義を入力として与えれば、反復改善ループがそれを改善していく。ソフトウェアエンジニアリングにおけるワークフローエンジンやステートマシンの思想とも重なる発想であり、既存の業務フロー定義をLLMエージェントに移植する際の足がかりになる可能性がある。
実験結果
複数のデータセット・タスク種別・LLMにわたる評価で、Procedural Graphはメモリベースのベースライン手法を一貫して上回った。さらに反復改善ループを加えることで、手動エンジニアリングなしにパフォーマンスがさらに向上した。
論文は36ページ（参考文献・付録含む）、6図・11表という構成で、評価の幅の広さがうかがえる。著者はYuxing Lu、Yicheng Chen、Shanchan Wu、Sercan Ö. Arıkの4名。
なぜ今これが重要か
LLMエージェントの実用化が進むにつれ、単発の質問応答ではなく、複数ステップにわたるタスク実行の信頼性が問われるようになっている。ReActやPlan-and-Executeといった既存フレームワークが「何をするか」の生成に注力してきたのに対し、本研究は「どう進めるかの構造そのものを外在化し、失敗から繰り返し改善する」という異なる切り口を提示している。
手続き的知識の構造化という発想は、LLMエージェントの設計に携わるエンジニアにとって実践的な示唆を持つ。特に、人手によるワークフロー定義のコストを下げながら信頼性を高めたい場面での応用が考えられる。
詳細はProcedural Graphs: Self-Evolving Execution Structures for LLM Agentsを参照していただきたい。
