11月19日、Java Code Geeksが「Designing LLM Agents as Explicit State Machines in Java」と題した記事を公開した。LLMエージェントのプロトタイプは簡単に動く。しかしプロダクションに持ち込んだ途端に壊れる——その根本原因は「ループの制御をモデルに委ねすぎている」設計にある、と記事は指摘する。解決策としてJavaの明示的なステートマシンを用いた実装手法が詳しく紹介されており、コンパイル時安全性・テスタビリティ・リトライ管理をコード側に取り戻す具体的なアプローチが示されている。
「自由形式のエージェントループ」がプロダクションで壊れる理由
LLMエージェントのプロトタイプを作るのは簡単だ。モデルがツールを呼び出すループを書き、「いい感じになったら止まる」という設計で動く。しかしプロダクションに持ち込もうとすると、話が変わる。
自由形式のループはモデルに3つの判断を同時に委ねている。「次に何をするか」「直前のステップが成功したか」「いつ止まるか」だ。モデルがそのどれかを誤ると、システムの他の部分は気づかない。
具体的な失敗パターンは以下の通りだ。
- 終了が保証されない:混乱したモデルが壊れたツールを呼び続け、トークンとコストだけが増える
- リトライが場当たり的:すでに副作用が発生した処理(例:メール送信)を再度呼び出す可能性がある
- 状態が暗黙的:状態は肥大化した会話の中に埋もれており、どのステップで失敗したか特定できない
τ-benchペーパーでは、ツール使用エージェントをシミュレーション上の顧客サービス環境でテストした結果、成功率は50%未満、同一タスクを8回繰り返して全試行に成功した割合は小売ドメインで25%を下回ったと報告されている。
解決策:コードがステップを所有する
記事が提案するのは、明示的なステートマシンという設計だ。固定ワークフローと自律エージェントの中間に位置する。コードが合法な状態と遷移を定義し、モデルはあくまで各ステップ内での判断のみを担う。
| 懸念事項 | 自由形式ループ | 明示的ステートマシン |
|---|---|---|
| 終了条件 | モデルが決める | 終端状態+ステップ上限 |
| リトライ | モデルが即興で行う | カウント済みのバジェット |
| 現在地の把握 | 会話に埋もれている | ログ可能な単一の値 |
| テスト | モデルが必要 | 純粋な遷移関数、ユニットテスト可能 |
| 不正な遷移 | 実行時に発覚 | 型システムまたは機械が拒否 |
JavaのSealed InterfaceとRecordで実装する
Java 21で正式化されたパターンマッチングswitch(JEP 441)が、この設計に特に適している。sealed interfaceで状態の集合を閉じ、recordで安価なイミュータブルな状態を定義し、switchが全ケースを網羅しているかコンパイル時にチェックする。新しい状態を追加してハンドラを書き忘れたらコンパイルエラーになる、という特性が設計の安全性を支える。
以下が記事で紹介されている実装例だ(JDK 21以降で動作、ライブラリ不要)。
import java.util.function.Supplier;
public class AgentMachine {
sealed interface State permits Plan, CallTool, Validate, Done, Failed {}
record Plan(String goal) implements State {}
record CallTool(String tool, int attempt) implements State {}
record Validate(String output) implements State {}
record Done(String answer) implements State {}
record Failed(String reason) implements State {}
static final int MAX_STEPS = 10;
static final int MAX_ATTEMPTS = 3;
static State step(State state, Supplier<String> tool) {
return switch (state) {
case Plan p -> new CallTool("lookup", 1);
case CallTool c -> {
try {
yield new Validate(tool.get());
} catch (RuntimeException e) {
yield c.attempt() >= MAX_ATTEMPTS
? new Failed("tool failed " + c.attempt() + " times")
: new CallTool(c.tool(), c.attempt() + 1);
}
}
case Validate v -> v.output().startsWith("OK")
? new Done(v.output())
: new Failed("output rejected: " + v.output());
case Done d -> d;
case Failed f -> f;
};
}
static State run(String goal, Supplier<String> tool) {
State state = new Plan(goal);
for (int i = 1; i <= MAX_STEPS; i++) {
System.out.println(" step " + i + ": " + state);
if (state instanceof Done || state instanceof Failed) return state;
state = step(state, tool);
}
return new Failed("step budget exhausted");
}
public static void main(String[] args) {
int[] calls = {0};
Supplier<String> flaky = () -> {
if (++calls[0] < 3) throw new RuntimeException("timeout");
return "OK: 42";
};
System.out.println("Run 1 (tool recovers on third call):");
System.out.println(" result: " + run("answer", flaky));
Supplier<String> down = () -> { throw new RuntimeException("down"); };
System.out.println("Run 2 (tool is down):");
System.out.println(" result: " + run("answer", down));
}
}
リトライカウンターが状態自体(CallToolレコード)の中に入っている点が重要だ。リトライポリシーが会話コンテキストではなくコードに可視化されており、モデルなしで単体テストできる。
信頼性の数学:なぜリトライが効くのか
記事は確率計算も示している。各ステップが確率pで成功するとき、nステップの実行が全成功する確率はp^nだ。ステップ成功率95%でも、10ステップ連続では約60%まで下がる。
明示的なリトライバジェット(1ステップあたり3回試行)を設けると、同じ条件で単一ステップの見かけ上の成功率を大きく引き上げられる(ただし失敗が独立している場合の上限値であり、実際のモデル失敗は相関することが多い点に注意が必要だ)。
また記事では、エンドツーエンドで90%の成功率を達成したい場合に、各ステップに必要な信頼性を計算したグラフも提示している。50ステップのエージェントにリトライなしで90%を達成するには各ステップに約99.8%の成功率が必要だが、3回リトライを加えると要求される1ステップあたりの成功率が大幅に緩和される、という結論が示されている(元記事のグラフを参照)。具体的な緩和後の数値については、元記事の図から確認していただきたい。
設計の要点と本番投入前チェックリスト
各状態は「1つの問いに答える」という原則で設計する。計画は何を試すかを決め、ツール呼び出しは1つのアクションを実行し、バリデーションはプロンプトではなくコードで書いたルールによって結果を検証する。
記事が示す本番投入前のチェックリストは以下だ。それぞれの項目に、なぜ重要かを補足する。
sealed型で全ステップを状態としてモデル化し、コンパイラにカバレッジを保証させる:新しい状態を追加した際のハンドラ漏れをコンパイル時に検出できる。ランタイムで初めて発覚するバグを未然に防ぐ最も確実な手段だ- 遷移関数を純粋関数に保ち、モデルなしでユニットテストする:LLM呼び出しを伴わずにステートマシンの論理をテストできるため、開発サイクルが大幅に短縮される
- リトライ可能な状態には個別のカウント済みバジェットを設け、一時的な失敗のみリトライする:無限ループを防ぐだけでなく、恒久的な失敗(ツールが完全にダウンしている場合など)を素早く検知して上位に伝播させる
- 終端状態だけでなく、ステップ上限・ウォールクロックデッドライン・コスト上限も設ける:「いつか終わる」ではなく「必ず終わる」をコードで保証するために複数の安全弁が必要だ
- 副作用のあるツールには冪等性キー(同じキーなら何度呼んでも結果が同じになる仕組み)を使う:リトライを安全に実装するための前提条件であり、メール送信や決済処理のような操作で特に重要になる
- モデルの出力は遷移をトリガーする前にコードでバリデーションする:LLMの出力形式は保証されないため、ステートマシンへの入力として扱う前にスキーマや値域を検証する層を挟む
- 全遷移をログに記録し、どのランも説明・再開できるようにする:障害発生時にどのステップで何が起きたかを追跡可能にすることで、デバッグコストを劇的に下げる
なお記事は、Anthropicのアドバイスも引用しつつ「固定ワークフローで対応できるならそちらを使え」と明示している。モデル駆動のループが本当に必要なのは、事前に経路が決定できないタスクに限られる。
詳細はDesigning LLM Agents as Explicit State Machines in Javaを参照していただきたい。