8月14日、Rishi ShahとRishav Shresthaが「A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family」と題した論文を公開した。LLMが生成したGPUカーネルの正しさを厳密に検証するシステムを構築し、既存の評価手法が見逃してきた重大な欠陥を数値で示した研究だ。
「高い正解率」を誇るLLMカーネル生成システムは多い。だがその正解率の根拠を問われれば、大半は「ランダム入力を数件流して出力が近ければ合格」という極めて甘いテストだ。著者らはすでに「正しい」と受理された2,638件のカーネルを独自の検証器に通し、62.1%が何らかの欠陥を持つことを明らかにした。
「正しいと判定されたカーネル」の62%に問題があった
KernelBenchをはじめとするベンチマークの登場以降、LLMによるGPUカーネル自動生成の研究は急加速している。各システムは競うように高い正解率を報告しているが、その正解率を担保するテストの中身は著者らいわく「loose test（緩すぎるテスト）」だ。
典型的なテストはこうだ。固定された形状（shape）のランダム入力を数件流し、出力がリファレンスに近ければ合格とする。この方式では以下のような問題が素通りしてしまう。
- 本来NaNや無限大になるべき値を、普通の数値として返してしまう
- 実行のたびに結果が変わる（非決定的な挙動）
- 入力のテンソル形状が変わると壊れる
- fp16で累積すべき箇所をfp32で計算している（あるいはその逆）
これらの問題はすべて、固定形状の少数ランダム入力では露出しにくい。
12の「厳格ゲート」による検証器を構築
著者らが構築したのは、12の敵対的ゲート（adversarial gates）から成るコントラクトグレードの検証器だ。「コントラクトグレード」とはソフトウェア工学の「Design by Contract」に由来し、「正しいカーネルが必ず満たすべき性質を契約として明文化し、機械的に検査する」というアプローチを指す。
12のゲートが検査する性質には、たとえば次のようなものが含まれる。
- NaN/Infの伝播：入力にNaNや無限大を含む場合、出力も適切にNaN/Infになるか
- 形状汎化：訓練時と異なるテンソル形状でも正しく動作するか
- 数値精度の型整合性：fp16/fp32/bf16の累積ロジックが仕様どおりか
- 決定性：同一入力に対して複数回実行しても同じ出力が得られるか
そのうちいくつかは許容誤差ゼロ（tolerance-free）のゲートだ。数値計算では「どこまで誤差を許すか」の閾値設定次第で合否が変わることが多く、許容誤差ゼロのゲートはその抜け穴を封じている。これが本検証器の核心である。
この検証器を、あるパブリックなシステムがすでに「正しい」と受理した2,638件の機械生成カーネルに適用した結果は以下のとおりだ。
- **39.5%**：いかなる許容誤差の議論でも救えないレベルで壊れていた
- **62.1%**：少なくとも1件の違反を持っていた
- 1,487件：標準テストは合格と判定したが、本検証器は却下（標準テストが正しさを見逃した件数）
- 14件：本検証器は合格だが、標準テストは落とした
1,487対14という非対称性が示すのは、標準テストの問題が「厳しすぎる」ではなく一方的に「甘すぎる」という点だ。著者らはこの発見を4つの独立した手法で裏付けている。7件すべて正しく検出したポジティブコントロール、閾値キャリブレーションスイープ、リファレンスベンチマーク自身の正解コードとの98.5%一致、そして層別手動監査だ。
Blackwell世代GPU向け後退伝播カーネルも検証
研究の後半では、著者ら自身が実装したカーネルを同じ検証器で評価している。対象はNVIDIAの最新アーキテクチャBlackwell（Hopper世代の後継、2025年投入）固有のtcgen05テンソルコア命令を使った、Gated Linear Recurrence（GLR）ファミリーの訓練用後退伝播（backward pass）カーネルだ。
GLRファミリーとは、Transformerの代替として注目されるSSM（State Space Model）系アーキテクチャの一群で、HawkやGated Delta Networkなどを含む。Transformerが系列長に対して二次の計算コストを持つのに対し、線形時間で系列を処理できる点が特徴だ。後退伝播のうち「逆状態ステージ（reverse-state stage）」は、既存実装ではフォールバックに頼るケースが多く、Blackwellネイティブの実装はこれまで存在していなかった。著者らは倍精度オラクルとの比較で正しさを独立に確認し、5つのファミリーメンバーを通じた訓練も実施した。
本研究が示す問題の本質
本研究が突きつけているのは、LLMカーネル生成の「進歩」を示す数字の信頼性そのものへの疑問だ。緩いテストで高い正解率を報告しても、実際には過半数のカーネルが何らかの問題を抱えている。著者らは「許容誤差ゼロのコントラクトセットを設ければ、このギャップの大半は埋まる」と結論付ける。GPUカーネル自動生成の評価基準をどう設計するかは、この分野全体が向き合うべき課題だ。
詳細はA Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Familyを参照していただきたい。
