11月5日、The Decoderが「GPT-6 Astra sees the matrix and reprograms other AI models directly through their weights」と題した記事を公開した。この記事では、OpenAIが開発中とされる次世代モデル「GPT-6 Astra」が他のAIモデルの重み（weights）を直接読み書きすることで、再学習なしにモデルの能力を改変できるという研究について詳しく紹介されている。なお、「GPT-6 Astra」という名称はOpenAIの公式発表に基づく確定的なモデル名ではなく、本研究で使用されたとされるモデルの呼称として元記事に記載されているものである。
「重みを直接書き換える」という発想
AIモデルの改良といえば、通常は追加の学習データを用意して再トレーニングを行うか、ファインチューニングをかけるか——そういった工程が当たり前だった。今回の研究が提示するのは、その常識を覆すアプローチだ。
研究チームはこのアプローチを "Weight-Space Programming" と呼ぶ。大規模言語モデル（LLM）が、別のニューラルネットワークのパラメータ（重み）を直接操作する「メカニック」として機能する、というものだ。高コストな再トレーニングの代わりに、LLMが個々のノブを回すように重みを調整する。このアイデアはモデル編集（Model Editing）と呼ばれる研究分野とも接点を持つ。モデル編集とは、学習済みモデルの特定の知識や挙動を外科的に書き換える手法の総称であり、近年ROMEやMEMITといった手法が注目を集めている。Weight-Space Programmingはその延長線上に位置しつつ、書き換えの主体をLLM自身に委ねる点で一線を画す。
実験に使われたのは GPT-6 Astra（元記事に記載されたモデル名。OpenAIの公式製品名として確定しているわけではない）。Astraは数値の羅列として表現された他モデルの重みを読み込み、そのモデルが何を学習しているかを推定したり、重みを書き換えてモデルの挙動を変えたりした。
最も衝撃的な実験：数学力を7.9%から48.1%へ
実用性という観点で最も目を引くのが、Qwen3.5-0.8B（元記事記載の名称。Alibabaが開発するQwenシリーズの小型言語モデル）に対する実験だ。
Astraに課されたタスクは「このモデルの数学的推論能力を改善すること」。与えられたリソースはコーディング環境と50回のテスト反復のみ。Astraはまず、このモデルに特有の「思考ループ」（モデルが答えに到達できず同じ文章を無限に繰り返す現象）を特定した。これは深層学習モデルにおける推論の破綻の一形態であり、小型モデルで起きやすいことが知られている。
Astraが変更したのは 全重みのわずか0.016% のみ。その結果：
- MATH-500ベンチマークのスコア：7.9% → 48.1%
- 指示追従能力：21% → 62%
- 最大文字数に到達してしまうレスポンスの割合：93% → 33%
思考ループが完全に解消されたわけではないが、ごくわずかな重みの変更でこれほどのスコア改善が得られた点は特筆に値する。研究チームは「Astraはモデルが既に持っていた能力を抑圧していたブロックを取り除いた」と考察している。一方、モデルが根本的に持っていないスキルは重みの書き換えだけでは追加できなかったとも述べており、現状の限界も正直に認めている。こうした「潜在能力の解放」という解釈は、モデル内部の表現を操作する表現工学（Representation Engineering）の知見とも共鳴する。
なお、思考ループがほとんど発生しない小型モデル Gemma 3 270M に対しては、Astraは有意な改善を出せなかった。この対比は、今回の手法が「既存の能力を妨げているボトルネックを取り除く」ことに強みを持つ一方、能力そのものをゼロから付与するには至っていないことを端的に示している。
実験ログはGitHubで、Astraが編集したQwenモデルはHugging Faceで公開されているとされているが、公開前にURLの疎通確認を推奨する（404になるリスクがある）。
モデルの中身を「見る」能力
Astraは重みを書き換えるだけでなく、重みを読んで内容を推定する実験も行った。これはいわば「重みの逆読み」であり、ブラックボックスとされてきたニューラルネットの解釈可能性（Interpretability）に新たな切り口を提示している。
- 学習済みネットワークの生の重みを渡し、「4つのゲームのうちどれを学習したか」を当てさせた→正解
- 画像生成モデルが生成する基本的な図形を推定させた→おおむね正解（塗りつぶしと輪郭の混同あり）
- 小型言語モデルの学習言語を、学習データなし・モデル実行なしで推定させた→正解
- ファインチューニングでユーザーに同調するよう訓練されたモデル（いわゆるsycophantic model）を重みだけで識別させた→重みだけでは判別できず、Attention（注意機構）の活性化パターンも与えると正解
トレーニングなしでゲームAIを生成
さらに踏み込んだ実験では、Astraはゲームのルールとソースコードだけを元に、学習なしでゲームプレイ用のニューラルネットの重みを生成した。
Breakoutでは、Astraが生成したモデルの平均スコアが 517点。1億回学習した標準的なベースラインモデルの 25点 を大幅に上回った。他の2ゲームでは最長学習版に及ばなかった。
囲碁（9×9盤面）では、約150万パラメータのネットワークの重みをゼロから生成。50回のテスト反復（1回あたり最大128局の練習対局）の後、約2000万局を学習した同規模モデルに勝利した。これらの結果は、LLMが数値列としてのニューラルネットを「読み書き」する能力が、単なる理解にとどまらず実用的な生成にまで達しつつあることを示唆している。
「昔からある話では？」という反論
AI研究の先駆者であるJürgen Schmidhuberはこのアプローチを「古い話（old hat）」と指摘し、自身の1990年代の研究を引き合いに出した。これに対し、研究チームのKhattabは「その論文は既に引用している。当時としては時代を先取りしすぎていた」と返答。今回の新しい点は、現代の言語モデルが人間の言語とネットワークの数値を高精度に相互変換できるようになったことだ、と主張している。
なお、元記事にはこのやり取りを示すX（旧Twitter）のポストへのリンクが掲載されているが、当該URLが実在するかの確認が取れていないため、本記事では直接リンクを掲載しない。元記事から直接参照していただきたい。
今後の展開
研究チームはこの手法の応用可能性として、モデル重みへのセキュリティ監査や再トレーニングなしでの特定挙動の変更を挙げている。ただし現状の能力はまだ限定的であり、次のステップとして系統的な測定ベンチマークの整備を計画している。
Weight-Space Programmingという概念は、ニューラルネットワークのメタ学習（Meta-Learning）やハイパーネットワーク（Hypernetwork）といった既存の研究潮流とも接続する。この分野に興味がある読者は、あわせて参照するとより立体的な理解が得られるだろう。
詳細はGPT-6 Astra sees the matrix and reprograms other AI models directly through their weightsを参照していただきたい。
