10月15日、Mistralが「Timestral: Mistral's time-series foundation models」と題した記事を公開した。LLM開発で知られるMistralが時系列予測の基盤モデルに本格参入し、GPU不要・ゼロショット対応を両立しながら主要3ベンチマークすべてで1位を獲得したというのが今回の発表の核心だ。
GPU不要・ゼロショット対応——時系列AIの新基盤モデル「Timestral」
MistralがLLM（大規模言語モデル）の領域から時系列予測へと踏み込んだ。Timestralは5M・28M・123M・209Mの4サイズ展開で、最大モデル（209M）は主要3ベンチマーク（GIFT-Eval・TIME・fev-bench）でいずれも1位を獲得している。
エンジニアが特に注目すべき点は2つある。
1. CPUで動く。GPU不要で、8スレッドの標準サーバーCPU上で動作する。3週間分の15分間隔データから1日先を予測する場合、5Mモデルで10ms、209Mモデルでも140msだ。28Mモデルは209Mモデルの5分の1の速度で動き、123Mモデルは209Mモデルの75%のレイテンシで精度差が0.2%以内に収まる。なお「GPU不要」はすべての4サイズに共通する設計上の特性であり、推論タスクの種類によらずCPU上での動作を前提とした実装となっている点には留意されたい。
2. ゼロショットで使える。時系列の基盤モデル（TSFM: Time-Series Foundation Model）は、LLMと同様に大規模データで事前学習し、未知のドメインにもゼロショットで適用できる。従来のARIMAや線形回帰は個別の系列に対してフィッティングが必要で、学習が他のデータに転用できない。PatchTSTなどのディープラーニングモデルも、データセットごとにゼロから学習するのが一般的だった。Timestralはこの壁を取り除く。
ベンチマーク性能——サイズ対効率で競合を上回る
Timestralが1位を獲得した3ベンチマークのうち、GIFT-EvalとTIMEは時系列予測分野で広く参照される標準的な評価指標だ。fev-benchは電力・気温・交通量など実世界の多様な予測タスクを対象とした評価スイートであり、汎用性を測る指標として近年注目されている。
元記事で特筆されている比較を挙げると、28Mモデルがその約4倍のパラメータ数を持つChronos-2をGIFT-EvalとTIMEで上回り、209MモデルがTimesFM-3とFalcon-2.0をより少ないパラメータ数で超える。これはPareto最適（精度対モデルサイズの最前線）にあると説明されており、各サイズで同等以上の精度を持つ公開モデルは存在しないとされている。
結果はシングルチェックポイントからのものであり、アンサンブルを使っていない。
技術的な差別化ポイント
技術レポートの詳細は後日公開予定とされているが、4つの主要な技術的工夫が記事に記述されている。
Decoupled Horizon Forecasting（DHF）が最もコアな部分だ。Toto 2.0やTimesFM-3などの先行モデルが採用するパッチマスキングでは、予測対象の値が欠損値と同様に扱われてしまい、後続の予測コンテキストとして使えなくなる問題がある。DHFでは予測トークンを履歴から分離することで、全観測値をターゲットとコンテキストの両方として活用できる。欠損値の処理とトレーニングホライゾン長を独立して調整できる点も実運用上の利点だ。
残る3つの工夫も簡単に示す：
- Covariate-aware attention：系列の役割（ターゲット変数・過去のみの共変量・既知の将来共変量）を明示的に分離し、将来の共変量情報がターゲットの予測に漏洩しない設計
- Synthetic-first data：学習データの大部分は合成データ。トレンド・季節性・ノイズパターンを含む単変量過程を生成し、さらに非線形依存関係を導入して多変量系列を構築
- Two-stage training：まず純粋な合成データでコンテキスト長8192にて事前学習し、その後実データと合成データの混合でコンテキスト長を4倍に拡張してポスト学習
損失関数は21分位数のピンボール損失（CRPSの離散近似）を使用しており、確率的予測（21分位数）がデフォルト出力となっている。
仕様一覧
| 項目 | 内容 |
|---|---|
| Type | 時系列基盤モデル（TSFM） |
| パラメータ数 | 5M / 28M / 123M / 209M |
| コンテキスト長 | 32,768タイムステップ |
| 出力 | 確率的予測（21分位数） |
| 入力 | 多変量ターゲット、過去のみ・既知の将来共変量 |
| デプロイ | オンプレミス・VPC・エアギャップ環境 |
| ライセンス | Modified MIT |
コンテキスト長32,768タイムステップという数値は実運用上の意義が大きい。15分間隔のデータであれば約341日分、1時間間隔であれば約3.7年分の履歴を一度に参照できる計算になる。長期的なトレンドや季節性を捉えるうえで、このコンテキスト長の大きさは精度に直結する要素だ。Two-stage trainingにおいてポスト学習フェーズでコンテキスト長を8192から4倍（32,768）へ拡張したのも、この実用上の要請に応えるためと解釈できる。
ファインチューニングとカスタマイズ
公開ベンチマークでの汎用性能に加え、本番データへの適応も想定されている。Mistral Forgeを通じて、ドメイン固有の共変量追加などのアーキテクチャ拡張、独自データでのファインチューニング、学習データの完全制御（バックテストで使用したデータを事前学習に含めないことを保証する形での合成データ生成含む）が提供される。デプロイメントはエアギャップ環境を含むクライアントのハードウェア上でフルパイプラインを動かす形式にも対応する。
コードはすでにGitHubリポジトリとして公開されており、自分のデータで試せる状態になっている。
詳細はTimestral: Mistral's time-series foundation modelsを参照していただきたい。
