7月7日、Apple Machine Learningが「A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models」と題した記事を公開した。この記事では、LLMの安全アライメントがたった1つのニューロンを操作するだけで回避できることを実証した研究について詳しく紹介されている。
アライメントを担う2種類のニューロンが特定された
LLMの安全対策は、膨大なモデルウェイト全体に分散して埋め込まれていると広く信じられてきた。Appleの研究チームはその前提を覆す結果を示した。
研究のコアとなる発見は明快だ。安全アライメントは2種類の個別ニューロン群によって担われており、そのうちの1つを操作するだけで安全機構が崩壊する。
具体的には、以下の2種類のニューロンが特定された。
- 拒否ニューロン（Refusal Neurons）：有害な知識を「出力するかしないか」をゲートする役割を持つ。これを抑制すると、有害なリクエストへの拒否が消える。
- 概念ニューロン（Concept Neurons）：有害な知識そのものをエンコードしている。これを増幅すると、一見無害なプロンプトから有害なコンテンツが生成される。
この2方向の「攻撃」はいずれも、追加学習（ファインチューニング）なし、プロンプトエンジニアリングなしで実現している。操作手法はモデルの推論時におけるアクティベーションへの直接介入であり、ウェイト（重み）そのものを書き換えるのではなく、フォワードパス中の特定ニューロンの出力値を動的に増幅または抑制する形をとる。これにより、モデルのチェックポイントを永続的に改変することなく、実行時に安全機構を無効化できる点が技術的な肝となっている。
7モデル、最大700億パラメータで検証
この研究が注目に値するのは、単一のモデルでの発見ではない点だ。LlamaファミリーおよびQwenファミリーにまたがる7モデル（1.7Bから70Bパラメータ）すべてで同様の結果が再現されている。
パラメータ規模が大きくなるほど安全機構が頑健になると期待されがちだが、本研究はその期待が成立しないことを示している。70Bという大規模モデルでも、1つの拒否ニューロンを抑制するだけで、多様な有害リクエストにわたって安全アライメントが突破された。さらに、検証されたモデルは規模だけでなくアーキテクチャの系統も異なるファミリーをまたいでいることから、この脆弱性が特定の実装に依存しない、より普遍的な性質である可能性が高い。
「分散」ではなく「集中」していた安全機構
研究チームの結論は以下のように整理できる。
安全アライメントはモデルウェイト全体に頑健に分散しているのではなく、個々のニューロンによって媒介されており、それぞれのニューロンが拒否行動をゲートするのに因果的に十分である。
これはアライメント研究にとって根本的な問い直しを迫るものだ。現在の主流なアライメント手法（RLHFやDPOなど）は、モデル全体の応答傾向を調整することを目的としている。しかし本研究が示すのは、そうした手法が生み出す安全性は少数の特定ニューロンに過度に依存している可能性があるということだ。
エンジニアが押さえておくべき含意
この研究は学術的な発見にとどまらず、実用上のセキュリティ問題に直結する。
攻撃側の視点では、プロンプトインジェクションや脱獄（jailbreak）といった従来の攻撃手法と異なり、本手法はモデル内部への直接アクセスを前提とする。クローズドなAPIアクセスのみのモデルでは即座には悪用しにくいが、オープンウェイトモデル（LlamaやMistralなど）では現実的な脅威となりうる。
防御側の視点では、いくつかの新たな課題が浮上する。第一に、「ニューロンレベルで安全性を監視・保護する仕組み」の必要性だ。特定の拒否ニューロンが抑制された状態での推論を検知する仕組みや、重要ニューロンのアクティベーション分布を継続監視するインフラは、現時点ではほとんど整備されていない。第二に、アライメント評価の方法論そのものの見直しだ。従来の評価はブラックボックス的な入出力テストが中心だったが、本研究はモデル内部の機械論的解釈（Mechanistic Interpretability）を安全評価のプロセスに組み込む必要性を示唆している。安全性の検証が「出力の観察」だけでは不十分であるという認識が、今後のMLセキュリティ標準に影響を与えうる。
背景
LLMの安全対策をめぐっては、Universal and Transferable Adversarial Attacks on Aligned Language Models（2023年、CMUら）などの先行研究が既存の脱獄手法を体系化してきた。また、Representation Engineering（2023年、Zou et al.）のように、モデルの内部表現を制御することで行動を誘導するアプローチも注目されてきた。しかし本研究はプロンプトレベルの攻撃や表現空間の操作にとどまらず、個々のニューロン単位の因果構造に踏み込んだ点で一線を画す。Appleが機械論的解釈の方向でこのような研究を公開したことは、同社のMLセキュリティへの関心の高まりを示しているとともに、業界全体に対して「アライメントの頑健性をどう定義・検証するか」という問いを改めて突きつけるものだ。
詳細はA Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Modelsを参照していただきたい。
