7月25日、Towards Data Scienceが「Tabular LLMs: An Introduction to the Foundation Models That Predict Your Spreadsheet」と題した記事を公開した。表形式データ予測に特化した基盤モデル「Tabular LLM」の仕組みと性能を紹介する内容で、著者自身がAWS A10G 1枚・約$2のコストで独立再現実験を実施しており、リーダーボードの主張がほぼ裏付けられたことが示されている。

GBDTを超えた、という主張の信頼性

機械学習の表形式データ（構造化データ）予測では、長年にわたってXGBoostやLightGBMなどの勾配ブースティング決定木（GBDT）が事実上の標準だった。ところが、TabArenaリーダーボード（2026年7月15日時点）を見ると、上位の単一モデルエントリはすべて「Tabular LLM」と呼ばれるトランスフォーマーベースの基盤モデルであり、最良のチューニング済みGBDTアンサンブル構成よりも150+ Elo上位に位置する。

ただし、元記事の著者はこのリーダーボードをそのまま信じるのではなく、自分で再現実験を行っている。時系列モデルのリーダーボード検証で同様の経験（後から外部者が再現すると結果が変わる）をしていたためだ。

著者はAWS A10G 1枚で、ベンチマークの公式Liteプロトコル（51データセット、同一の分割インデックス）をゼロから再実行した。結果は以下の通りだ。

• TabICLv2のEloスコア：著者の独自実行で1559、公式は1575（差は±60〜86のブートストラップ信頼区間内）
• 51データセット中16データセットで小数点4桁まで一致
• 中央値の相対誤差：**0.08%**、最大のズレは3.5%（GPU非決定論的動作の範囲内）
• 実行時間：環境セットアップ込みで2.1時間、コスト約$2

リーダーボードの主張は独立検証で裏付けられた。

Tabular LLMとは何か

Tabular LLM（表形式基盤モデル）は、任意のテーブルに対してゼロショットで予測を行う単一の事前学習済みモデルだ。ラベルのわかっている行をコンテキストとして渡し、未ラベルの行のラベルをワンフォワードパスで予測する。勾配降下法は一切走らず、ハイパーパラメータ探索もない。他の手法で「学習」と呼ばれるステップが、ここでは「推論」になる。

この手法はIn-Context Learning（文脈内学習）と呼ばれ、TabPFNの論文群が表データへの適用可能性を確立した。動作原理は「学習済みk近傍法」に近い——未ラベル行が、ラベル済み行に対してアテンションを張り、類似度で重み付けしてラベルを読み取る。

「LLM」という名称は厳密ではない。テキストLLMとは以下の点で根本的に異なる：

合成データのみで事前学習するため、実世界のベンチマークデータが混入するリスクがない点も重要だ。

TabICLv2のアーキテクチャ：3段のトランスフォーマー

TabICLv2（Inria SODAチーム）は、3つのトランスフォーマーを積み重ねた構造を持つ。

第1トランスフォーマー（列読み取り）
各列を独立した集合として扱い、セル値をその列内での位置に基づいた埋め込みに変換する。「450」という数値が価格列にあるのか郵便番号列にあるのかを区別できるようにする。

第2トランスフォーマー（行の集約）
各行の特徴量埋め込みを4つの[CLS]トークンに集約し、列数に依存しない固定長ベクトルを生成する。

第3トランスフォーマー（予測・In-Context Learning）
未ラベルのテスト行ベクトルが、ラベル済みの訓練行ベクトルにアテンションを張る。勾配更新なしで、訓練データをコンテキストとして利用した予測を実行する。

出力ヘッドは2種類：分類タスク用の階層的分類器と、回帰タスク用の999分位数出力ヘッド（0.1パーセンタイルから99.9パーセンタイルまで）。後者はpinball lossで学習され、点推定ではなく予測分布全体を返す。

パラメータ数は分類器で27,552,258、回帰器で28,544,991（チェックポイントから直接カウント）。これはt0-alpha（BigScienceが公開した110億パラメータのマルチタスク言語モデル）の約4分の1のサイズだ——つまり、テキストLLMの文脈では極めてコンパクトな部類に入る。

すぐ使う：scikit-learn互換API

from tabicl import TabICLClassifier  # 回帰はTabICLRegressor

clf = TabICLClassifier()  # ハイパーパラメータ探索不要
clf.fit(X_train, y_train)  # 数秒：コンテキスト格納のみ、勾配学習なし
proba = clf.predict_proba(X_test)  # ワンフォワードパス

pip install tabiclでインストールし、初回実行時にHuggingFaceからチェックポイントを自動ダウンロードする。重みはBSD-3ライセンスで公開されており、ライセンス同意ステップなしで利用できる。なお、TabPFN（Prior Labs）は非商用ライセンス＋同意ステップあり、Google ResearchのTabFMは非商用ライセンスでペーパーなし、という状況と対比される。

GBDTがまだ勝つ領域

著者の体制別分析では、TabICLv2は全データセットの**86〜88%**でチューニング済み木モデルに勝つが、以下のケースでは木モデルが優勢だ：

• 訓練行数が約300行未満（コンテキストが少なすぎる）
• 特徴量数が約100超の幅広テーブル（精度が劣化）
• 訓練行数が150,000行を超える大規模データ（ベンチマーク上限）

また、テキストLLMにテーブルをシリアライズして渡す手法（TabLLMなど）は、表ネイティブモデルに対して49データセット中43データセットで負けている。

まとめ

TabICLv2は約28Mパラメータのコンパクトなモデルながら、TabArenaリーダーボードでチューニング済みGBDTアンサンブルを上回る。元記事の著者による独立再現実験でもその主張はおおむね確認されており、約$2・2時間のGPUセッションで完全に再現可能だ。scikit-learn互換のAPIで既存のワークフローに組み込みやすく、合成データのみでの事前学習によりベンチマークデータ汚染の懸念も少ない。

ただし、極端に少ない行数・多い列数のテーブルでは依然としてGBDTが選択肢になる。言い換えれば、TabICLv2が効くのは「そこそこのデータ量があり、特徴量が整理された典型的な構造化データ」という条件下であり、適用前にデータセットの規模・幅を確認する習慣は引き続き重要だ。XGBoostが死んだわけではなく、使い分けの判断基準が一段階精緻になった、というのが現時点での正確な評価だろう。

詳細はTabular LLMs: An Introduction to the Foundation Models That Predict Your Spreadsheetを参照していただきたい。