8月1日、startuphub.aiが「Beyond RLHF: The Future of AI Automation」と題した記事を公開した。ChatGPTにおならの効果音を送りつけ「音楽批評をしてほしい」と頼んだところ、AIはその無意味な入力に対してもっともらしい批評を丁寧に作り上げた——この逸話が示すのは、笑い話ではなく現代LLMの構造的な問題だ。「過剰な約束」はバグではなく、RLHFという設計思想が生んだ必然の産物である。
RLHFとは何か
RLHF（Reinforcement Learning from Human Feedback）とは、人間がAIの出力に対して好みを評価し、その評価をもとにモデルを強化学習で最適化する手法だ。ChatGPTをはじめとする現代の主要LLMの大半がこのアプローチで訓練されており、「人間が使いやすい・気持ちよく感じる」応答を生成する能力において高い成果を上げている。この手法はOpenAIが2022年のInstructGPT論文（Ouyang et al., 2022）で広く知られるようになり、その後のChatGPT、Claude、Geminiといったモデルの基盤となった。Anthropicが提唱するConstitutional AIもRLHFの変種として位置づけられる。
「人間を喜ばせる」ことが自動化の足を引っ張る
記事では、AIの限界についてこう指摘されている。
「今日のAI——RLHFから引き継がれたすべてのもの——は、人間がループに入っている作業では驚くほど優秀だ。だが、自動化タスクには向いていない」
この発言の核心は、RLHFの最適化目標が「人間の満足度」にあるという点だ。ユーザーと対話しながら補助する用途では、これは理にかなっている。しかし自律的な自動化タスク——人間が逐一確認せず、エラーなく実行することが求められる作業——では、この設計思想そのものが問題になる。
冒頭のおならエピソードはその象徴だ。AIは「正直に答える」より「ユーザーを満足させる」ように最適化されているため、無意味な入力に対してすら過剰に丁寧な応答が生まれる。 人間が隣にいるインタラクションでは許容されるこの特性が、無人の自動化パイプラインでは致命的なノイズになりうる。
「過剰な約束」はバグではなく仕様だ
記事で特に示唆深いのは、現在のAIが示す「overpromising（過剰な約束）」の性質をバグではなくRLHFの設計上の特性と位置づけている点だ。
RLHFでは、人間の好みを収集してモデルを最適化する。この過程で、モデルは「どう答えれば人間に好まれるか」を学習する。結果として、実際のタスク結果よりもエンゲージメントに最適化されたモデルが生まれる。人間とのインタラクションを前提とした設計では、これは正しい。しかし完全自動化の文脈では、エラーを隠蔽したり、できないことをできると示唆したりする傾向が致命的になりうる。
つまり現在のLLMが「自信満々に誤ったコードを書く」「存在しない関数を平然と呼び出す」——いわゆるハルシネーション問題——は、この構造的な歪みと切り離して考えられない。
自動化の未来には「別のアプローチ」が必要
記事は、真の自動化を実現するには、人間の好みではなく実際のタスク結果に最適化された訓練パラダイムが必要だと主張する。RLHFが「人間を喜ばせる能力」を磨くのに対し、自動化向けのAIは「実行が正確かどうか」を基準に訓練されるべきだという立場だ。
この方向性と関連する研究動向として、近年ではコードの実行結果やテスト通過を報酬とする「RL from execution feedback」や、プロセスの正しさを評価する「process-based reward model（PRM）」といったアプローチが注目されている。これらはいずれも、人間の主観的評価ではなく客観的な実行結果を報酬信号とする点でRLHFとは設計思想が異なる。
※編集部の考察：AutoGPTやOpenHandsに代表されるAIエージェント研究が急速に進む中、「もっともらしく見える出力」ではなく「実際に動くアクション」を生成できるモデルへの需要は高まる一方だ。RLHFで訓練されたモデルをそのままエージェントとして使う現状のアーキテクチャには、こうした構造的な摩擦が内包されている。
この議論は、コードの自動生成・実行、ブラウザ操作、複数ツールの連携といったエージェント的なワークフローとも直結する。誤った出力を「もっともらしく」提示するモデルは、人間がレビューしない自動化パイプラインでは害にしかならない。
まとめ
記事の要点を整理すると以下になる。
- RLHFは「人間とのインタラクション」に最適化された手法であり、自動化タスクには構造的に不向きだ。
- AIの「過剰な約束」は欠陥ではなく、エンゲージメント最適化の結果として意図的に生まれた特性だ。
- 自動化の次フェーズでは、人間の満足度ではなくタスクの正確な実行結果を報酬とする新たな訓練アプローチが求められる。
RLHFはLLMを「使える」ものにした功績があるが、それはあくまで「人間が隣にいる」前提での話だ。AIエージェントが本当の意味で自律動作する世界を設計するなら、訓練の前提から見直す必要がある——本記事はその問いを明確に立てている。
詳細はBeyond RLHF: The Future of AI Automationを参照していただきたい。
