Claude Fable 5のReact習熟度ベンチマークをeffort=maxで回したぞ!!!!!
DRANK
皆さんこんにちは。このシリーズも気付けば10記事目になりました。今回は、いつものベンチマークを Claude Fable 5 (effort=max) という最強構成で回してみました。ちなみに、Claude Max (月100ドルのサブスク)のFableのリミットを2週間分全部これに使った上、ベンチマークを完遂するのにさらに40ドル追い課金が必要でした。今度だれか奢ってください。前回の記事はこちらです。 5をeffort=maxで回したスコアはもちろん歴代1位で、86.67を記録しました。Opus 4.8とFable 5のそれぞれ、effort=high/maxのスコアが出揃ったので、表で見てみます。highmaxΔ(effort)Opus 4.879.3884.03+4.6Fable 581.3386.67+5.3Δ(generation)+1.9+2.6同effortの比較では、Opus 4.8 → Fable 5 によるスコアの伸びが2~3ポイント程度あります。一方で、同モデルでeffortを上げることの高価が4~6ポイント程度ありました。また、カテゴリ別のスコアはこうなっています。カテゴリFable highFable maxOpus 4.8 maxFable max − Opus max状態設計4.694.824.74+0.08Effect衛生4.284.364.33+0.03コンポーネント設計3.774.234.21+0.02TypeScript品質4.794.854.82+0.03パフォーマンス意識3.794.034.00+0…