8月30日、The Decoderが「AI agents have no sense of time and are not aware of it」と題した記事を公開した。この記事では、AIコーディングエージェントがタスクの所要時間を大幅に過大評価し、自分がどれだけ作業したかも把握できないという研究結果について詳しく紹介されている。

タスク時間を最大10倍過大評価するAIエージェント

AIエージェントに「このタスクにどれくらいかかる？」と聞いてみると、ほぼ確実に実際より長い時間を答える——そういう研究結果が出た。

MATSリサーチプログラムの一環として行われたこの研究は、Ofengenden氏とAndriushchenko氏によるもので、LessWrongに一次報告として公開されている。対象はAnthropicのClaude CodeとOpenAIのCodexの2つで、両エージェントの時間認識能力をテストした。実験設計はシンプルで、エージェントにタスクを渡す前に「どれくらいかかると思うか」を推定させ、完了後に「実際にどれくらいかかったか」を自己申告させるというものだ。

テスト素材は2セット用意された。1つは「**ProgramBench**」の200タスク、もう1つは研究者が独自に用意した18本のベンチマークだ。ProgramBenchは、初級から競技プログラミング水準までの幅広い難易度のコーディング問題を体系的に収録したベンチマーク集で、エージェントの実力を難易度別に評価できる点が特徴だ。

結果は明快だった。ProgramBenchでは、両モデルともタスクの難易度に関わらず「約90分」と答え続けた。独自ベンチマークでは、Claudeは平均で実際の3倍、Codexは6〜10倍の時間を見積もった。誤差は短いタスクほど大きく、数時間規模のタスクでようやく推定がある程度現実に近づく傾向があった。

グラフ中、対角線より上の点は過大評価を示す。なお、グラフ凡例に記載の「Fable 5」はClaude Code（Claude Opus 4.8ベース）、「GPT-5.6 Sol」はCodex（GPT-5.5ベース）にそれぞれ対応する実験時の識別名だ。Fable 5（Claude Code）は平均で実際の約3倍、GPT-5.6 Sol（Codex）は約7倍の時間を見積もった。短いタスクほど乖離が大きい。出典: Ofengenden/Andriushchenko, LessWrong

「どれだけ作業したか」も把握できていない

時間の過大見積もりだけでなく、自分の作業品質の評価も大きく外れるという結果が出た。

この自己採点の評価では、Claude CodeのベースモデルであるOpus 4.8と、CodexのベースモデルであるGPT-5.5を比較対象として用いた実験が行われた。これらは本実験における時間認識テストの主対象（Claude Code・Codex）とは別軸で、作業品質の自己評価能力を測るために用いられた旧世代モデルだ。両モデルは実際のスコアより平均20ポイント高く自己採点した。タスクが失敗していても高得点をつける。研究で引用された極端なケースでは、両モデルとも「約70%できた」と自己申告したが、実際のスコアは**7%と14.5%**だった。

Opus 4.8（Claude）とGPT-5.5（Codex）はともに自己採点が実際より約20ポイント高い。破線が正確な自己評価ラインを示す。出典: Ofengenden/Andriushchenko, LessWrong

実行時間はモデルだけでなく「ハーネス」に依存する

実際の動作時間は、搭載するモデルだけでなく、エージェントを動かす周辺ソフトウェア（ハーネス）に大きく左右されるという点も指摘されている。

Claude Codeはタスクが完了したと判断するまで動き続け、中央値は約90分。一方Codexはタスクの内容に関係なく約30分で停止する。同じ言語モデルでも、Claude Code上での実行はCodex上と比べて平均2.5倍のステップ数を踏む。つまり「何のモデルを使うか」と同じくらい「どのハーネスで動かすか」が結果を左右する。

なぜこれが実務上の問題なのか

研究者が指摘するのは、「数時間このタスクを続けて」といった時間指定の指示が機能しないリスクだ。エージェントが時間経過を把握できなければ、長時間タスクを安定してコントロールできない。

ただし、経過時間を返すツールをエージェントに与えたところ、ほぼ毎回正確に時間を把握できたという結果も出ている。時間認識の欠如は根本的な能力の問題というより、外部情報へのアクセスがないことによる問題に近い。研究者らは次のステップとして、時間ツールを与えた状態でエージェントが指定時間通りに作業を継続できるかを検証する予定だ。

Claude CodeやCodexを使って長時間の自律タスクを組む際には、経過時間を渡す仕組みを明示的に設けることが、今の段階では現実的な対処になる。

詳細はAI agents have no sense of time and are not aware of itを参照していただきたい。