8月27日、The Next Webが「The AI revolution is optimizing for the wrong things」と題した記事を公開した。モデルのバージョンが上がるたびに、文章生成の品質スコアが下がっている——この逆説的な現象が、クライアント固有のベンチマーク計測によって実際に観測されているという。「公開ベンチマークで高評価なモデルを選べば間違いない」という業界の暗黙の前提が、企業レベルでは裏目に出ているケースが増えている。
「最高のモデル」が自社業務では最低になる逆説
記事の著者はWizard Labsの創業者Maz Ahmadi氏だ。同氏が問題提起するのは、「公開ベンチマークで高評価なモデルを選べばよい」という業界の暗黙の前提が崩れている、という点だ。
Ahmadi氏のチームがクライアント固有のベンチマークで計測したところ、モデルのバージョンが上がるたびに、散文（prose）の品質スコアが低下しているという回帰が観測されたという。評価には、文体の一貫性・指示への適合度・読みやすさなど、実際のビジネス文書作成タスクに即した指標が用いられており、汎用的な公開ベンチマークとは異なる軸で計測された結果だ。OpenAI、Anthropic、Googleをはじめとするフロンティアラボは、コーディング・論理推論・自律エージェントワークフローの性能改善にリソースを集中させており、その結果として一般的な文章生成は「副産物」的な扱いになっている。
これはニッチな問題ではない。McKinseyの調査によれば、企業の約9割がすでにAIを業務に活用している。レポートの草稿作成、顧客対応、法的文書の準備——これらはすべて「文章を書く」タスクだ。モデルが別の目的に最適化されていれば、その劣化をそのまま受け継ぐことになる。
「導入は広がっているが、価値が出ていない」
McKinseyの数字が現状をよく表している。
- 44% の組織がエンタープライズ全体でAIをスケールしている（前年比+6ポイント）
- 一方、企業レベルでのEBIT（利払い前・税引き前利益）への貢献を報告しているのは 37% にとどまる
- 個人の生産性向上を報告する割合は 80%
つまり「個人は便利になったが、組織としての利益にはつながっていない」という乖離が起きている。Ahmadi氏はその根本原因を、モデル選定の誤りとカスタム評価の欠如に求める。
Anthropicの透かし技術が示す複合リスク
こうした最適化のトレードオフは、今後さらに複雑化する可能性がある。記事はAnthropicが今月発表したテキスト透かし（watermarking）機能にも触れている。これはEU AI法への準拠のため、Claudeが生成したテキストをトークン選択の統計パターンで識別可能にする仕組みだ。Anthropicは「品質・創造性・可読性への実質的な影響はない」と主張している。
Ahmadi氏は透かし単体の影響を否定はしない。ただし、規制対応・エージェント性能・コーディング・推論——これらを同時に最適化しようとするモデルが、文章品質に何をするかは未知数だと指摘する。最適化のトレードオフが複合的に作用するリスクを見ておくべきだという論旨だ。
処方箋：開発前にカスタム評価スイートを作れ
同氏が提唱するのは以下のアプローチだ：
- 開発着手前に自社業務に即した評価スイートを構築する
- 公開ベンチマークではなく、自社の実際の要件でモデルを評価する
- モデルのバージョンが変わるたびに継続的にテストする
「最高のモデルはどれか？」と問うのをやめ、「自社のビジネスに最高のモデルはどれか？を証明させろ」というのが同氏の結論だ。
また、大手プロプライエタリモデル（OpenAIやAnthropicのAPIモデル）一択という前提も疑うべきだとする。オープンウェイトモデルの性能は向上しており、自社インフラ内でホストできる点でセキュリティ・データガバナンス上の利点もある。こうした選択肢が「自社ユースケースのカスタム評価」と組み合わさることで、初めて実効的なモデル選定が可能になるという文脈での言及だ。中国製モデルの安全性についても、「地政学の問題ではなく、モデルがどこで動いているか・誰がインフラを管理しているか・どのデータが外部に出るかという技術的な問いで評価すべきだ」と述べており、オープンウェイトモデルを含めた選択肢全体に共通する評価軸として位置づけられている。
モデルのリリースノートに「性能向上」と書いてあっても、自社ユースケースでは劣化している——この現象はすでに計測可能な形で起きている。ベンチマーク依存のモデル選定を続けるかどうかは、各組織が判断すべき問題だ。
詳細はThe AI revolution is optimizing for the wrong thingsを参照していただきたい。
