11月22日、The Decoderが「GPT-6.2 Astra and Sol get to the point faster but score lower on transparency than Claude」と題した記事を公開した。OpenAIの最新モデルGPT-6.2 AstraおよびSolが回答を大幅に短縮し「端的さ」でAnthropicのClaudeを上回った一方、透明性スコアが急落しているという評価結果だ。この「誠実さの後退」とも読める変化が、今回の最大の論点になっている。
透明性スコアの急落が最大の懸念点
最も注目すべき変化は「Admits Uncertainty(不確実性の承認)」スコアだ。Astraは96から24、Solは98から51へと大幅に低下した。
ここで注意が必要なのは、このスコアの性質だ。1〜100のスケールは絶対値ではなく、テスト対象の全モデル間での相対的な順位を示している。スコア24はAstraが24%の確率でしか不確実性を認めないという意味ではなく、他モデルと比べてその傾向が低い位置にあることを示す。
透明性全体を示す「Transparency Index」でもClaudeとの差は顕著だ。Anthropicの最新モデル群であるFable 5.2は81、Opus 5.5は90なのに対し、Astraは41、Solは57にとどまる。このインデックスはAdmits Uncertainty・Truthful・Disclaims Assumptions・Flags Nuances・Sycophantic(おべっかの少なさ)の5特性で構成される。
Artificial Analysisはこの評価結果をLinkedInおよびXで公開している。
回答が40%短縮、見出しはほぼ消滅
Artificial Analysisの評価によると、GPT-6.2 Astraの平均回答長は352語から210語へ約40%減、Solは337語から223語へ約34%減した。見出しの使用数も激変しており、Astraは1回答あたり平均1.99個から0.11個へ、Solは1.85個から0.25個へと激減している。
構造化の程度を示す「Organization Index」も急落した。Astraは70から11、Solは86から27へ。このインデックスは回答構造・明瞭さ・「結論を先に述べるか(Answer First)」などを含む4つの特性を組み合わせた指標だ。
一方、Answer Firstスコアは逆に大きく上昇している。Astraは49から89、Solは64から87に跳ね上がった。箇条書きや見出しは減ったが、質問への直接回答は早くなったということだ。自然な話し言葉らしさを示す「Natural Sounding」スコアも、Astraが58から100、Solが54から79へと伸びている。
タイトルにある「端的さでClaudeを超えた」という主張は、このAnswer FirstおよびNatural Soundingの数値に基づく。Claudeのこれらスコアは表中のPersonality Indexには直接掲載されていないが、記事中の評価ではAstraのAnswer First(89)・Natural Sounding(100)がClaudeの各スコアを上回ったとされている。要するに、GPT-6.2系は「フォーマットで答えを飾る」スタイルから「端的に答える」スタイルへ明確にシフトした。
ClaudeとのPersonality Index比較
The Decoderが8つのPersonality Indexで全モデルを比較した結果が以下の表だ(最大推論能力設定のモデルバリアントで比較)。なお、Fable 5.2・Opus 5.5はいずれもAnthropicの最新モデル群に属する。
| Personality Index | Astra 6.2 | Sol 6.2 | Fable 5.2 | Opus 5.5 |
|---|---|---|---|---|
| Expressiveness(表現力) | 66 | 41 | 81 | 90 |
| Organization(構造性) | 11 | 27 | 54 | 79 |
| Informativeness(情報量) | 31 | 38 | 47 | 90 |
| Transparency(透明性) | 41 | 57 | 81 | 90 |
| Warmth(温かみ) | 68 | 47 | 83 | 85 |
| Conviction(確信度) | 55 | 49 | 75 | 70 |
| Imagination(想像力) | 63 | 60 | 68 | 94 |
| Slop(冗長性、低いほど良) | 7 | 11 | 7 | 20 |
出典:Artificial Analysis、AA-PersonalityBench
Organization(構造性)でもClaudeが大差でリードしており、Fable 5.2が54、Opus 5.5が79なのに対し、Astraは11、Solは27だ。Informativeness(情報量)ではOpus 5.5が90で突出しており、Information DenseおよびEvidence-Based Reasoningのスコアが高い。唯一Slop Index(冗長さ)ではAstra(7)とFable 5.2(7)が並んで最良値を示している。
評価手法:AA-PersonalityBenchとは
AA-PersonalityBenchは900問の英語テスト問題を使用し、各モデルはシステムプロンプトなしで回答する。3つのAIモデルが匿名化された回答ペアを評価し、各特性がより強く表れている回答を選ぶ形式だ。これにより30の個別特性スコアが算出され、8つの上位インデックスに集約される。
別途、平均回答長・見出し数・ダッシュ記号の使用数など21の通信特性も直接計測される(こちらはAI判定ではなく実計測)。
重要な注釈として、これらのスコアはコミュニケーションスタイルの差を示すものであり、回答の正確性を示すものではない。TransparencyスコアがAstraで低くても、それはAstraが誤答を多く出すことを意味しない。
詳細はGPT-6.2 Astra and Sol get to the point faster but score lower on transparency than Claudeを参照していただきたい。