9月12日、AWSが「Beyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workload」と題した記事を公開した。Amazon Bedrock上のgpt-5.6-lunaは、多くのチームがコスト最適化の定番として使うgpt-5.4-miniと比べてトークン単価が高い。しかしAIMEベンチマークで「正解1件あたりのコスト」を算出すると、lunaはminiの約8分の1という逆転が起きていた。トークン単価ではなく「アウトカムあたりのコスト」でモデルを選定するためのオープンソースのベンチマークハーネスと、その結果に基づくモデル選定の考え方が記事の核心だ。
「トークン単価」で比較していると、間違ったモデルを選ぶ
生成AIアプリケーションのモデル選定で、多くのチームが参照するのは「100万トークンあたり$○○」という価格表だ。しかし実際のワークロードが買っているのはトークンではなく、「解決されたサポートチケット」「正確な財務サマリー」といったアウトカム（成果）である。
価格表が無視している変数が3つある：
- 正答率（モデルが何割正解するか）
- トークン効率（正解に至るまでに何トークン消費するか）
- エージェントのターン数（会話履歴を毎ターン再送するため、ターンが増えるほどコストが累積して膨らむ）
この3変数を同時に測るオープンソースのベンチマークハーネス「openai-on-aws/benchmarks-openai」が今回の記事の核心だ。評価対象はAmazon Bedrock上の3モデル（gpt-5.6-luna、gpt-5.6-terra、gpt-5.6-sol）と、多くのチームが現在使っているコスト最適化ベースライン2モデル（OpenAI APIのgpt-5.4-mini、gpt-5.4-nano）の計5モデルである。
「正解1件あたりのコスト」でランキングが逆転する
精度ベンチマーク（AIME・GPQA Diamond・MMLU-Pro）
各ベンチマークで「正解数÷総コスト」を計算し、正解1件を得るのに何ドルかかるかを算出した。
結果として最も印象的な数字はAIMEでのlunaとminiの比較だ。2026年7月30日のGPT-5.6 Luna/Terra値下げ（luna **−80%**、terra **−20%**）を反映した記録済みコストは：
- luna：正解1件あたり$0.0021（正答率75%）
- mini：正解1件あたり$0.0139（正答率37%）
単純な価格表だけを見ていたチームは、lunaの方が高いと判断していた可能性が高い。だが正答率とトークン効率を考慮すると、lunaはminiより名目トークン単価が高いにもかかわらず、正解あたりコストでminiより安いという逆転が生じている。
エージェントワークロード（DeepSearchQA）
エージェント評価ではさらに顕著な差が出た。50問のWeb調査タスクを実際のエージェントループで実行し、各モデルのターン数・入力トークン数・通過コストを計測した。
miniは1問あたり平均7.6ターンを消費し、蓄積した検索結果を毎ターン再送した結果、入力トークン量がterraの2.3倍（114k対50k）に達した。結果：
| モデル | 平均F1 | 通過率 | 通過1件あたりコスト |
|---|---|---|---|
| luna | ※元記事に値の記載なし | ※元記事に値の記載なし | $0.05 |
| terra | 0.50 | ※元記事に値の記載なし | $0.31 |
| mini | 0.39 | ※元記事に値の記載なし | $0.40 |
| nano | ※元記事に値の記載なし | 18% | $0.07 |
lunaはminiの約8分の1のコストで同等以上の品質を達成した。ターン数削減の効果がそのまま請求額の削減に直結している。
記事が強調するのは「ターン効率は価格表に載らない価格変数」という点だ。ツール呼び出しを連鎖させるエージェント（リサーチ、マルチホップ検索など）では、軌跡コスト（trajectory cost）を必ず計測すべきである。
プロ品質のドキュメント評価（GDPval）
正誤だけで測れないドキュメント生成（コンプライアンスブリーフ、財務計画、ケアプロトコルなど）については、平均14年の実務経験を持つプロが作成した48件の成果物を対象に、人間が設計したルーブリックで採点するGDPvalを使用した。70%以上のスコアで「通過」とする。
再価格設定後のlunaの結果：
- **通過率：56%**（mini 42%、nano 35%）
- 通過1件あたりコスト：$0.010（mini $0.030、nano $0.012）
lunaは48件中31件でminiより高いスコアを記録し、9件で下回った。法律・看護・金融アドバイスタスクで差が大きく出たのは、これらの分野のルーブリックが「特定の免責事項・構成・完全性」を要求するためだ。
ワークロード別の選定指針
| ワークロードの特性 | 推奨モデル |
|---|---|
| 大量・低複雑度（失敗コストが低い） | gpt-5.6-luna on Bedrock |
| インタラクティブアプリ（精度・レイテンシーSLO重視） | まずgpt-5.6-lunaでベンチマーク |
| ツール連鎖エージェント（リサーチ・マルチホップ） | gpt-5.6-luna / terra on Bedrockでベンチマーク |
| 品質ゲート付きドキュメント生成 | gpt-5.6-luna on Bedrock |
| 困難なタスクで精度が絶対条件 | gpt-5.6-sol on Bedrockでベンチマーク |
レイテンシーについても計測済みで、2026年7月時点（us-west-2、単一リージョン）では、Amazon Bedrock上のlunaはOpenAI APIと比べてTime-to-First-Token（最初のトークンが返るまでの時間）の中央値が21%低く、スループットが43%高い（500トークン以上の出力時）。ただし共有サービスは負荷により変動するため、あくまでスナップショットとして扱うべきとしている。
自分のタスクで再現する方法
ハーネスはOSSとして公開されており、自分のアカウントで即時実行できる。
git clone https://github.com/openai-on-aws/benchmarks-openai
pip install -r requirements.txt
export OPENAI_API_KEY=sk-...
export AWS_REGION=us-west-2
python quality/quick_evals.py # 精度＋正解あたりコスト
python quality/deepsearchqa/run_deepsearchqa.py # エージェント軌跡
python quality/gdpval_eval.py # プロ成果物のルーブリック評価
performance/run_all.sh # レイテンシー計測
自社の既知タスク50〜100件に差し替えるだけで、自分のドメインでの「成功あたりコスト」が算出される。サンプルサイズは50〜198件（DeepSearchQA 50、AIME 60、MMLU-Pro 140、GPQA Diamond 198）であるため、小さな差は方向性の参考として扱い、判断前に自社タスクでの再現が推奨されている。
なお、Amazon Bedrock上のモデルはreasoning無効で評価している。有効化すれば品質もコストも上がるため、自社の質とコストのバランスに合わせて検証が必要だ。
詳細はBeyond the price per token: Choosing the right OpenAI model on Amazon Bedrock for your workloadを参照していただきたい。
