8月1日、Michal Sutterが「Supabase Releases Evals: an Open Source Benchmark That Scores Claude Code, Codex and OpenCode on Real Supabase Tasks」と題した記事を公開した。SupabaseがClaude Code・Codex・OpenCodeなどのAIコーディングエージェントを実際のSupabaseタスクで評価するオープンソースベンチマーク「Supabase Evals」を公開したこと、そして評価を通じてエージェント間でドキュメント参照ページ数に約4倍の差があることが判明した点が注目を集めている。
モックなし、本物の環境でエージェントを採点する
AIコーディングエージェントの性能評価は、一般的なコーディングベンチマーク（HumanEvalやSWE-benchなど）で語られることが多い。しかし「自社のプロダクトでどのエージェントが実際に使えるか」を知りたいなら、汎用ベンチマークでは不十分だ。Supabaseが今回公開した**supabase/evals**は、その問いに正面から答えようとするプロジェクトである。
ベンチマークの最大の特徴は、コンテナ上で起動した本物のSupabase環境に対してエージェントを動かす点だ。モックAPIではなく、実際のMCPサーバーとCLIを呼び出す。スキーマを設計させる、壊れたEdge Functionをデバッグさせる、誤ったRLS（Row Level Security）ポリシーを修正させる——そういった実務に近いタスクでエージェントを採点する。
FinTechや医療のような規制業種では、エージェントがRLSポリシーを誤って書くことはそのままセキュリティインシデントになる。このベンチマークがターゲットとする問題意識は、そこにある。
ライセンスはApache-2.0。pnpmでローカル実行できる。ただしDockerデーモン、各プロバイダーのAPIキー、ポート54321〜54329の空きが必要だ。
ベンチマークの設計
タスクはプロダクト（database / auth / storage / edge-functions / realtime / cron / queues / vectors / data-api）、トピック（RLS / security / migrations / SQL / SDK / observability / self-hosting / tests / declarative-schema）、ステージ（build / deploy / investigate / resolve）の3次元で定義されている。シナリオはサポートチケット・バグレポート・GitHub Issueから実態に即して選ばれた。
シナリオは2種類に分かれる。
- Benchmark：幅広いカバレッジを持ち、公開スコアに反映される
- Regression：既知の失敗パターンを毎日追跡し、公開スコアには影響しない
採点は決定論的チェックとLLM-as-a-judge（LLMを判定者として使う手法）の組み合わせで行われる。エージェントには採点前に1回だけリトライが許可される。各シナリオのディレクトリにはPROMPT.md（タスク記述）、EVAL.ts（採点ロジック）、オプションで初期状態を定義するremote/とlocal/が含まれる。
公開スコアボードはsupabase.com/evalsで確認できる。
各エージェントの実際のスコアと判明した弱点
Buildステージでは、**Opus 5（AnthropicのClaude 3系の上位モデル）とKimi K3（中国・Moonshot AIのモデル）がスキルなしで100%**を記録した。スキル（エージェントへの追加ガイダンス）が効いたのは主に中規模モデルで、Sonnet 5は78%→100%、GPT-5.6 Sol（OpenAIのモデル）は89%→100%、GPT-5.4 mini（同・軽量版）は78%→89%に改善した。
なお、タイトルにも登場するOpenCodeはオープンソースのAIコーディングエージェントで、このベンチマークでも評価対象に含まれている。公開スコアボード上でのOpenCodeの詳細なスコアや順位については、supabase.com/evalsで確認できる。
スコア以上に興味深いのは、評価を通じて浮かび上がった3つの共通の弱点だ。
宣言的スキーマを使わない：エージェントはマイグレーションを手書きしがちで、Supabaseが推奨するdeclarative schemaを活用しない。この発見を受けてスキルガイダンスが更新された（PR #120）。
認証の検証を手動で行う：@supabase/serverパッケージを使わず、自前でauth検証ロジックを書いてしまう。これを受けてサーバーパッケージ選定ガイドが整備された。
ドキュメント参照頻度・参照量の大きな差：Codex / GPT-5.6はシナリオあたり約8ページのドキュメントを参照するのに対し、Claude Codeはスキルを読み込んでいても40%未満のシナリオでしかドキュメントを確認せず、参照ページ数も約2ページにとどまる。つまりClaude Codeもドキュメントを参照してはいるが、その頻度・量がCodexの約4分の1であることが判明した。
エンジニアへの実際的な意義
このベンチマークが単なる数字競争と違うのは、弱点の発見がSupabase自身のドキュメントやSDKの改善に直結している点だ。評価結果がスキルガイダンスやパッケージドキュメントの更新につながっており、フィードバックループが機能している。
自社プロダクトや社内ツールで特定のエージェントを評価したい開発者にとっては、このフレームワーク自体をベースにした独自評価スイートの構築も現実的な選択肢になる。
詳細はSupabase Releases Evals: an Open Source Benchmark That Scores Claude Code, Codex and OpenCode on Real Supabase Tasksを参照していただきたい。
