9月1日、RuntimeWireが「Alibaba says Qwen3.8-Max leads open-weight models on commerce agent benchmark」と題した記事を公開した。AlibabaがオープンウェイトモデルのQwen3.8-Maxをコマースエージェントベンチマークでトップと主張しているが、その数字の背景には注意すべき点がいくつかある。
Commerce Agent Bench：「やったふり」を許さないベンチマーク
AIエージェントの評価で長年課題とされてきたのが、「それらしい応答を返すが、実際には何も変えていない」問題だ。モデルが「商品を公開しました」と報告しても、データベースの中身が変わっていなければ意味がない。
この問題への対処策としては、これまでWebShopのようなシミュレーション環境でのタスク達成率評価や、WorkArenaのようなエンタープライズ業務を模したブラウザ操作ベンチマークなど、さまざまなアプローチが試みられてきた。それらに共通する課題は「最終状態の検証精度」と「実業務への近さ」のトレードオフだ。
AlibabaのInternational部門・Accioチームが構築したCommerce Agent Benchは、この問題に正面から取り組むベンチマークだ。107のタスクをフレッシュなコンテナ上で実行し、エージェントが終了した後にホスト側のベリファイアが最終状態を検証する。全チェック項目をパスして初めてタスク成功と判定される。単に「成功した」と自己申告するエージェントを弾く設計であり、実運用に近い検証基準を志向している点で、先行ベンチマーク群と一線を画す。
タスクの内訳は以下のとおりだ：
- コマンドライン系：53タスク
- ブラウザ操作系：28タスク
- ファイル・ドキュメント系：16タスク
- API・MCP系：10タスク
カバーする業務は、商品公開、貨物予約、ストアフロント編集、サプライヤー分析、Web調査、スプレッドシート作成など。14種類のオフラインソフトウェアレプリカを使用し、コードはApache 2.0、タスクデータはCC BY 4.0で公開されている（商用利用可）。
Qwen3.8-MaxのオープンウェイトTOPは「Accioハーネスで2タスク差」
Alibabaは公式Qwenアカウントで、Qwen3.8-Maxがオープンウェイトモデルの中で最高性能を達成したと発表した。数字を確認すると、以下のとおりだ。
| モデル | Accio | OpenClaw | Pi | 合計（321試行） | 完了率 |
|---|---|---|---|---|---|
| Qwen3.8-Max | 56 | 47 | 53 | 156 | 48.6% |
| DeepSeek V4 Pro※ | 54 | 47 | 53 | 154 | 48.0% |
| Claude Opus 5（クローズド） | 66 | 60 | 65 | 191 | 59.5% |
※元記事においてそう表記されているモデル名を使用している。
Alibabaが「オープンウェイトモデルでトップ」と主張する根拠は合計スコアの156対154という2タスク差だが、内訳を見るとPiとOpenClawでは両者が同点であり、Accioハーネスでの2タスク差のみが順位を分けている。合計でも僅差であることに変わりはないが、どのハーネスが差を生んでいるかを把握した上で数字を読む必要がある。
なお、「オープンウェイトモデルの中で最高性能」というのはAlibabaの主張であり、このベンチマーク上での評価に限った表現として捉えるべきだ。
一方、クローズドモデルのClaude Opus 5との差は10.9ポイント（59.5% vs 48.6%）あり、オープンウェイト最上位でも商用トップとの差は依然として大きい。
さらに現実的な視点として、最高スコアのClaude Opus 5でさえ、最も得意なハーネスで107タスク中41タスクを失敗している。商品リスティング、貨物、決済、顧客情報を扱うマーチャントが無人でエージェントに任せるには、まだ監視と取引単位のチェックが必要な水準だ。
ハーネスによって結果が変わる：数字の読み方
注意すべきは、同じモデルでもハーネスによってスコアが大きく動く点だ。Qwen3.8-MaxはAccioとOpenClawの間で9タスクの差がある。Claude Opus 5でも最弱と最強のハーネス間で6タスクの差が出ている。
技術的な背景として、リポジトリのQwen統合ドキュメントによれば、Qwen3.8-Maxは推論トレースをreasoning_contentとして返すため、後続のアシスタントメッセージでそれを再現するプロトコルが必要であり、このプロトコルを使わずに計測した結果は公開数値と比較できないとされている。
再現性についても留意点がある。Accioは参照用ハーネスであり、リポジトリのチェックアウトからは再現不可能だ。再実行可能なのはOpenClawのみ。またタスクレベルの結果バンドルはGitに保存されておらず、チェックサム付きの不変アーカイブとしても公開されていない。「2タスク差」の独立した監査は現状では困難だ。
評価の位置づけ
このベンチマーク自体はAlibabaが自社モデルの宣伝に使っているが、107タスクのスイートはほかの開発者がエージェントの実性能を検証する具体的な場所としても機能する。未保存のリスティング、ミスした予約、不正確なドキュメントなど、失敗が目に見える形で記録される設計だ。
また、リポジトリドキュメントによれば、メンテナーはリリース前・内部モデルチェックポイントの非公開評価も受け付けており、外部からのタスクドメインやモックEnvironmentの提案も歓迎している。コマース特化の実状態検証という方向性は、エージェント評価の一つの実践的なアプローチとして、今後の関連ベンチマーク設計にも影響を与え得る取り組みだ。
詳細はAlibaba says Qwen3.8-Max leads open-weight models on commerce agent benchmarkを参照していただきたい。
