10月19日、Devin.aiが「A smarter approach to AI cost controls: allocating spend by efficiency」と題した記事を公開した。この記事では、AIエージェントへの支出を一律制限ではなくエンジニア個人の効率スコアに基づいて動的に配分するアプローチについて詳しく紹介されている。以下に、その内容を紹介する。
一律の利用上限は「採用凍結」と同じだ
企業がAIコストを抑えようとするとき、真っ先に取られる手段が「全員に一律の利用上限を設ける」方法だ。しかしこのアプローチには根本的な欠陥がある。AIを最も効率よく使っているエンジニアの手を縛る一方で、非効率な使い方をしているエンジニアには何のフィードバックも与えない。
Devin.aiはこれを「AIの時代における採用凍結のようなもの」と表現し、代替策として3つのエンタープライズ機能を発表した。
核心：効率スコアによるコスト配分
最も面白いのがEfficiency Score（効率スコア）の仕組みだ。
Devinのコスト単位はACU（Agent Compute Units）で、LLMのAPIコストとクラウドインフラのコストを1つの指標に統合したものだ。Efficiency Scoreは0〜100のスコアで、以下の2軸から算出される。
- Efficiency（E）：1ACUあたりの生産的エンジニアリング時間。コストが成果に変換されているかを示す
- Volume（V）：1日あたりの生産的エンジニアリング時間。コストに関わらず、どれだけの成果を出しているかを示す
スコアの計算式は効率を重視した設計になっている。
スコア = 100 × (E評価 + 0.2 × V評価 × (1 − E評価))
効率評価がベーススコアを決め、ボリュームはそこから100点との差の最大20%を上乗せできる構造だ。
具体例として、以下の4パターンが示されている。
| タイプ | E（効率） | V（ボリューム） | スコア |
|---|---|---|---|
| 典型的なエンジニア | 0.50（中） | 0.50（中） | 55 |
| パワーユーザー | 0.50（中） | 0.95（高） | 60 |
| ヘビーだが非効率 | 0.27（低） | 0.95（高） | 41 |
| 丁寧だが低ボリューム | 0.75（高） | 0.17（低） | 76 |
パワーユーザーと典型的なエンジニアは同じ効率だが、ボリュームの差で5点の差がつく。一方、使用量が多くても効率が低いエンジニアはパワーユーザーより約20点低い。使い倒しているだけでは評価されない設計になっている。
PRを出さない作業も評価対象に
多くの組織ではAIの成果をマージ済みPR数で測るが、バグのトリアージ、データ分析、調査といった作業はPRを生まない。Efficiency Scoreはこの点を考慮し、「生産的エンジニアリング時間（Productive Engineering Hours）」という指標を使う。PRなしのセッションについては、Devinが実際に進捗があったかを分類器で判定し、人間のエンジニアが同じ作業をするのに何時間かかるかを推定する。この推定値はエンジニア自身による評価データセットで検証済みだという。
スコアはエンジニアに4段階（Healthy / Satisfactory / Needs Improvement / Unknown）で表示され、直近の利用実績のみ反映される。過去の失敗がずっと足を引っ張る設計ではない。
実行前にフィードバックするDevin Coach
Devin Coachは、プロンプトを送信する前に問題を指摘する機能だ。新規ユーザーが陥りやすいパターンとして以下を検出する。
- 「請求システムをUsage-based pricingに対応するよう書き直して」のような、設計判断が曖昧なまま実装に進むプロンプト → 先に計画を立てるよう提案
- ボタンのラベル変更のような単純タスクにUltraモード（最高コストモデル）を使っている場合 → モードの変更を提案
- 無関係なタスクを1セッションにまとめている場合 → 別セッションへの分割を提案
ノイズを避けるため、小規模なLLM分類器が固定パターンのみをチェックし、問題がなければ何も表示しない。数百件のラベル付きデータでチューニングされており、「良いプロンプトには口を挟まない」方向に重み付けされている。
重要な点として、Devin Coachはプロンプトをサイレントに書き換えない。管理者は介入レベルを選択できる：無視可能なインライン提案（デフォルト）、フラグが立ったプロンプトの送信前確認、またはチェックなし。
効率に基づく自動承認
効率ベースの自動承認は、Efficiency Scoreが「Healthy」または「Satisfactory」のエンジニアが利用上限に近づいたとき、管理者の承認なしに自動で上限を引き上げる機能だ。管理者が設定した上限額の範囲内で動作し、組織全体の上限は維持される。
この効果を示す実データが公開されている。手動承認を必要とする企業では、生産性の高いエンジニアが上限に達した際に4日間ブロックされ、その週のマージ済みPR数が通常の3分の1に落ちた。一方、自動承認を有効にしていた企業では、同じく生産性の高いエンジニアが上限に22回達したが、その都度自動的に引き上げられ、週あたりのマージ済みPRが30件から約80件に増加した。
「Needs Improvement」または「Unknown」のエンジニアからのリクエストは引き続き管理者レビューに回る。管理者の審査画面では、申請理由とともに効率スコア・使用モデルの内訳・消費量が一覧表示される。
今後の展開
Devin.aiは今後数か月で、部門リーダーへの予算配分や、サブチームへの利用上限の委任が可能なフレキシブルな予算管理機能を追加予定だという。
自動承認機能はすでにDevin Enterpriseプランの全顧客で利用可能だ。
詳細はA smarter approach to AI cost controls: allocating spend by efficiencyを参照していただきたい。
