11月6日、AWSが「How Amazon Marketplace evaluates content quality with Amazon SageMaker AI」と題した記事を公開した。A+コンテンツを活用した販売パートナーは売上が8〜20%向上するというデータがある一方、品質にばらつきの大きい大量のページを人手で審査するのは現実的でない。この記事では、Amazon MarketplaceがSageMaker AIを用いてVLMとOCRを組み合わせ、精度94%・F1スコア0.95でA+コンテンツの品質を自動評価するシステムの構成と実装が詳しく紹介されている。
A+コンテンツとは何か
AmazonのA+コンテンツ（A+ Content）とは、商品詳細ページに表示されるリッチメディアウィジェットで、ブランドが画像・テキスト・動画を組み合わせて商品の価値を訴求できる機能だ。A+コンテンツを活用した販売パートナーは、未使用のパートナーと比較して売上が8〜20%向上するというデータがある。
一方、大手ブランドから資金の限られた個人事業者まで幅広い出品者が利用するため、コンテンツの品質にはばらつきが大きい。画像比率や文字数といった厳密な仕様が存在しない自由度の高いフォーマットであるため、コンテンツ品質の自動評価は難しい課題だ。
核心：ページ全体をスナップショットとして評価する
従来のアプローチは、画像のボケ検出や文法チェックといった個別アセットの評価にとどまっていた。しかしA+コンテンツの品質は、各要素の組み合わせから生まれる。
たとえばブレンダーのページで、「64オンスのピッチャー対応」と書かれた箇条書きの横に、シングルサーブモデルのライフスタイル写真が配置されている場合、個別チェックでは問題なしと判定されてしまう。しかしページ全体を見ると、情報が矛盾している。
そこでこのシステムでは、A+コンテンツのページ全体を単一のスナップショットとしてレンダリングし、VLM（Vision-Language Model）に渡して全体的な品質評価を行うという設計を採用した。
3層構造のアーキテクチャ
システムは大きく「VLM評価」「OCR評価」「CatBoostによる融合分類器」の3層で構成される。
1. VLMによるセマンティック評価
VLMはページスナップショットとルーブリック（採点基準）プロンプトを受け取り、以下の4軸でそれぞれ0〜10のスコア、信頼値、自然言語の評価理由を返す。
- Visual Storytelling（ビジュアルによる商品ストーリーの一貫性）
- Feature Presentation（機能説明の明確さ）
- A+ Layout（レイアウト構成）
- Conversion Optimization（購買意欲への訴求）
VLMのファインチューニングはコスト・過学習リスクを考慮して行わず、プロンプトとモデルは固定のまま出力を特徴量として扱う設計にしている。
2. OCRによる可読性評価
VLMは全体的な意味や視覚的構成の把握は得意だが、テキストの密度や行間といった細粒度の可読性評価は苦手だ。そこで**Amazon SageMaker AI InferenceエンドポイントとしてホストしたOCRモデル**によりテキストブロックと座標を抽出し、以下の4指標を算出する。
- Text Density（ページ面積に占めるテキストの割合）
- Character Density（単位面積あたりの文字数）
- Spacing（単語・行・段落間の余白の一貫性）
- Overall Readability（上記3指標の統合スコア）
3. CatBoostによる融合分類器
VLMの4スコアとOCRの4スコアを合計8次元の特徴ベクトルとして、CatBoost（勾配ブースティングの決定木ライブラリ）の分類器に入力する。学習ラベルは、eコマースマーケティング専門家1名と専門アノテーター4名が5,478ページを独立評価し、多数決で確定したもの。
なお、アノテーション管理にはAmazon SageMaker Ground Truthが用いられており、複数アノテーター間のラベル集約や作業管理を担っている。アノテーター間の一致率を示すCohen's kappaは0.845〜0.915と高く、ラベルの信頼性が担保されている。
精度の比較
| 構成 | Accuracy | F1スコア |
|---|---|---|
| ベースライン（VLMスコア平均＋閾値） | 0.80 | 0.84 |
| OCR単独CatBoost | 0.82 | 0.83 |
| VLM単独CatBoost | 0.89 | 0.90 |
| 融合OCR-VLM CatBoost | 0.94 | 0.95 |
VLM単独に対してOCRを加えることでAccuracyが0.05ポイント向上している。OCRはVLMの補完信号として機能しており、代替ではない点が重要だ。
SHAPによる改善提案の実用化
品質スコアだけでは「何を直せばいいか」がわからない。そこでSHAP（SHapley Additive exPlanations）を使い、各ページの判定に対してどの特徴量がどの方向にどれだけ影響したかを定量化する。
ホールドアウトセット全体での平均絶対SHAP値のトップは以下の通り。
- OCR Character Density：1.1
- OCR Overall Readability：1.0
- VLM Visual Storytelling：1.0
- A+ Layout：0.8
- Feature Presentation：0.6
ここで示されているSHAP値は、各特徴量がモデルの出力（品質スコア）に与える影響の大きさを同一スケールで表したものだ。値が大きいほど判定への寄与が強く、正負の符号によって品質向上・低下のどちら方向に作用したかを示す。OCR Character Densityの1.1という値は、8特徴量の中で最も判定への影響力が大きいことを意味しており、単位面積あたりの文字数が多すぎる・少なすぎるといった可読性の粗さが品質評価に強く効いていることを示している。
SHAP値が最も負（品質低下方向）に振れた特徴量を特定し、商品カテゴリやeコマースのベストプラクティスとともにLLMに渡すことで、優先順位付きの具体的な改善アクションを生成する。
この仕組みの実効性は数字でも確認されている。販売パートナーがSHAPベースの推奨に従ってコンテンツを修正した後、品質スコアは10点満点中平均1.4ポイント向上した。
インフラ：SageMaker AIでのエンドツーエンド実装
パイプライン全体はAmazon SageMaker AI上に構築されており、データ取り込み・アノテーション・モデルホスティング・説明可能性・本番監視まで一貫して管理されている。具体的には、ラベリング工程にSageMaker Ground Truth、VLMとOCRモデルのサービングにSageMaker AI Inferenceエンドポイントをそれぞれ利用している。VLMとOCRモデルはエンドポイントとして独立してホストされており、分類器（CatBoost）の更新はCPUのみで完結するため、基盤モデルのファインチューニングは不要だ。モデル性能の継続監視にはSageMaker Model Monitorが用いられており、本番環境でのドリフト検出を担っている。
詳細はHow Amazon Marketplace evaluates content quality with Amazon SageMaker AIを参照していただきたい。
