8月12日、O'Reillyが「The Two Pillars of Post-training: Reinforcement Learning and Supervised Fine-Tuning」と題した記事を公開した。この記事では、LLMのポストトレーニングを支える2つの柱である強化学習（RL）と教師あり微調整（SFT）の仕組みと使い分けについて詳しく解説されている。

ChatGPTをはじめとするLLMが「使えるAI」になるためには、事前学習（プレトレーニング）だけでは不十分だ。モデルが人間の指示に従い、適切に振る舞うようにするプロセスがポストトレーニングであり、その中核を担うのがRLとSFTの2手法である。本記事は Sharon Zhou によるポストトレーニングシリーズの第2弾にあたる。

強化学習（RL）：試行錯誤から学ぶ

RLの基本的な流れはシンプルだ。

1. モデルがプロンプトを受け取る
2. モデルが応答を生成する
3. 応答に対して「報酬（reward）」というスコアが付与される
4. 高報酬の応答が出やすく、低報酬の応答が出にくくなるよう重みが更新される

核心的な問いは「報酬をどこから調達するか」である。

検証器（Verifier）：最もシンプルな報酬源

コードがコンパイルできるか、数学の答えが正しいかといった判定は、プログラムで自動化できる。これが検証器（Verifier）だ。客観的に正誤が判断できるタスクには強力だが、「親切かどうか」「トーンが適切か」といった主観的な品質は評価できない。また、新薬の有効性の検証のように、確認に数年かかるケースも存在し、その場合は「遅いが正確な検証器」と「速いが精度が落ちるプロキシ」のトレードオフが発生する。

RLHF と報酬モデル：人間の好みを蒸留する

人間が直接フィードバックを与える方法は強力だが、学習ループに人間を毎回介在させるのは現実的でない。そこで登場したのがRLHF（Reinforcement Learning from Human Feedback）だ。ChatGPTの開発に影響を与えたInstructGPTの論文で実装されたこのアプローチでは、人間の評価を模倣する「報酬モデル」を別途学習させる。

報酬モデルの学習データとして有効なのがペアワイズ比較（「AとBどちらが良いか？」）だ。絶対評価（1〜5点など）よりも人間の判断が安定しており、アノテーター間の一致率が高い。InstructGPTの実装では、1つのプロンプトに対して4〜9通りの応答を提示してランキングさせることで、1回の作業から6〜36ペアの比較データを効率的に生成している。約3万3千件のプロンプトを使用し、最終的に20万〜120万件規模の比較データを確保した。

LLM-as-Judge と Constitutional AI

人手アノテーションのコスト問題を回避する方法として、LLM自身を評価者とするLLM-as-Judge（別名RLAIF）がある。スケールしやすい反面、評価モデルのバイアスをそのまま引き継ぐリスクがある。たとえば評価モデルが冗長な回答を好む傾向があると、学習されるモデルも冗長になる。

これを緩和する手法として、Anthropicが提案した**Constitutional AI（CAI）**がある。「最も有害でない応答を選ぶ」「正直であるべき」といった人間が書いた原則（Constitution）をLLMに与え、その原則に基づいてAI自身が応答ペアを評価・生成して報酬モデルを学習する。価値観を数千件のアノテーションではなく「明文化された原則」として管理できるため、監査や更新が容易になる。

RLアルゴリズムの変遷：REINFORCE→PPO→DPO→GRPO

報酬が得られたら、次はモデルの重みを更新するアルゴリズムが必要だ。主要な手法を整理する。

• REINFORCE：最も基本的な手法。報酬が高ければその応答を出やすく、低ければ出にくくする。概念は単純だが、勾配のばらつきが大きく学習が不安定になりやすい。

• PPO（Proximal Policy Optimization）：ChatGPT開発に使われたアルゴリズム。1ステップの更新幅をクリッピングで制限し学習を安定化させる。「クリティック」と呼ばれる別モデルが期待報酬を予測し、「この応答は通常より+2点良かった」というベースライン比較（アドバンテージ）を算出することでノイズを低減する。一方で、メインモデルとクリティックの2モデル運用が必要になり、インフラの複雑度が増す。

• DPO（Direct Preference Optimization）：報酬モデルもRLループも不要。ペアワイズ比較データを直接使ってメインモデルを更新できる。実装が容易なため、特に小規模チームで人気が高い。ただし固定データセットから離れた探索ができないため、PPOより難しいタスクで性能差が出ることがRafailovらの実証研究で示されている。

• GRPO（Group Relative Policy Optimization）：DeepSeekが導入した手法。同一プロンプトに対して複数の応答を生成し、グループ内の相対的な報酬を比較することでクリティックを不要にした。PPOの簡略版として機能しつつ、DPOが苦手なオンライン探索もできる。DeepSeekの推論モデル学習への採用で注目を集めた。

学習の安定化にはKLダイバージェンスペナルティも重要だ。事前学習で獲得した知識を忘れたり、極端な応答パターンに崩壊するのを防ぐため、微調整後のモデルの出力分布を元のモデルの分布に近く保つ正則化として機能する。

教師あり微調整（SFT）：模倣から学ぶ

SFTはRLと異なり、「良い行動の例を見せて模倣させる」手法だ。良質なプロンプト・応答ペアをデータセットとして用意し、それを使って通常の教師あり学習を行う。

データ収集の方法は主に2つある。人手によるライティングは品質が高い一方でコストがかかる。一方、既存データの活用（書籍・ウェブテキスト・コードリポジトリなど）はスケールしやすいが、応答品質のばらつきが大きくフィルタリングが必要になる。実際には両者を組み合わせるケースが多く、InstructGPTでは人手ライティングのデモデータ約1万3千件を起点としてSFTモデルを構築した。

RLと比較したSFTの特性は明確だ。

実際のポストトレーニングパイプラインでは、SFTで基礎的な振る舞いを学ばせてからRLで洗練させるという組み合わせが一般的だ。RLのKLダイバージェンスペナルティの参照点としてSFT済みモデルを使うこともある。

RLとSFTは「どちらが優れているか」という二項対立ではなく、それぞれの限界を補い合う相補的な関係にある。自前でファインチューニングパイプラインを構築するエンジニアにとって、2手法の特性と組み合わせ方の理解は、アルゴリズム選定やデータ戦略の判断に直結する実践的な知識だ。

詳細はThe Two Pillars of Post-training: Reinforcement Learning and Supervised Fine-Tuningを参照していただきたい。