10月15日、Mistralが「Timestral: Mistral's time-series foundation models」と題した記事を公開した。LLM分野で存在感を示してきたMistralが、今度は時系列予測専用のファウンデーションモデル「Timestral」をリリースした。わずか209Mパラメータながら、時系列予測分野の主要公開ベンチマーク3つすべてでゼロショットトップに立ち、GPU不要のCPU推論で140msという実用水準を達成している。

時系列予測はエネルギー需要・工場センサー・Webトラフィック監視など産業の根幹を支える技術だが、従来はドメインごとにモデルをゼロから学習する必要があり、導入コストが高かった。LLMで確立された「大規模事前学習→ゼロショット転移」の概念を時系列に持ち込もうとする動きは近年加速しており、GoogleのTimesFM、AmazonのChronosなどが競合として存在する。Timestralはその市場に、より小さなモデルサイズと低いハードウェア要件で挑む。

209Mパラメータで主要ベンチマーク3冠

Timestralはわずか209Mパラメータで、時系列予測分野の主要公開ベンチマークである**GIFT-Eval、TIME、fev-bench**の全3つでゼロショット（未見ドメインへの直接予測）トップに立った。

モデル効率も際立つ。従来最先端モデルと比べパラメータ数を3分の2に抑えながら精度で上回っている。下位モデルの28Mは4倍のパラメータ数を持つChronos-2（AmazonのオープンソースTSFM）をGIFT-EvalとTIMEで超え、209MモデルはGoogleのTimesFM-3やToto 2.0（Datadog発のTSFM）をより少ないパラメータ数で凌駕する。

4サイズ展開とCPUのみで動く推論

Timestralは5M・28M・123M・209Mの4モデル構成で展開される。各サイズが「精度とモデルサイズのパレート最前線」、すなわち同パラメータ帯の公開モデルの中で最高精度に位置するとされている。

特筆すべきはGPU不要な推論性能だ。8スレッドの標準サーバーCPUで、3週間分の15分間隔データから翌日を予測する場合、5Mモデルで10ms、209Mモデルで140msしかかからない。28Mは209Mの5倍高速で、123Mは209Mの精度の0.2%以内を4分の3のレイテンシで実現する。GPUインフラを持たない現場での導入障壁が低い点は、エンタープライズ用途での重要な差別化になる。

「時系列ファウンデーションモデル」とは何か

従来の時系列予測アプローチとの違いを整理しておく。

• ARIMAや線形回帰：1系列ごとにフィットし、その系列の履歴のみから学習する。新ドメインには都度学習が必要
• PatchTSTなどのDeep Learningモデル：複数の関連系列にまたがる非線形パターンを学習できるが、データセットごとにゼロから学習するため転移はしない
• 時系列ファウンデーションモデル（TSFM）：大規模・多様なコーパスで事前学習し、未見のドメインにもゼロショットで予測できる

LLMにおけるファウンデーションモデルの概念を時系列に持ち込んだアプローチであり、Timestralはこのカテゴリに属する。

4つの技術的工夫

詳細な技術仕様はテクニカルレポートで今後公開予定だが、記事では4つの設計方針が紹介されている。

1. Decoupled Horizon Forecasting（DHF）
予測対象と文脈（コンテキスト）を分離して扱うアーキテクチャ。Toto 2.0やTimesFM-3が採用する連続パッチマスキング（Contiguous Patch Masking）方式では予測対象と欠損値が区別しにくくなる問題があるが、DHFでは完全な履歴を保持したまま、学習済み予測トークンがそれを参照する設計になっている。

2. 共変量対応アテンション
各入力系列に「ターゲット」「過去のみの共変量」「既知未来の共変量」といったロールを割り当て、情報の流れを制御する。休日カレンダーや天気予報を条件として使いつつ、ターゲット自身の未来値がリークしない仕組みだ。

3. 合成データ優先の学習
学習データの大半は合成データ。トレンド・季節性・多様なノイズパターンを持つ単変量過程を生成し、さらに非線形な依存関係を持つ多変量系列も合成して学習する。

4. 2段階学習
コンテキストサイズ8192での大規模事前学習（純合成データ）→ 4倍長いコンテキストでの実データ＋合成データ混合ポストトレーニング、という2段階構成。損失関数は21分位点のピンボールロス（※）でCRPS（※）を近似する。

※ピンボールロス（Pinball Loss）：確率的予測の各分位点を評価する損失関数。分位点予測の標準的な学習指標。
※CRPS（Continuous Ranked Probability Score）：確率予測の精度を測る指標。単一の予測値ではなく予測分布全体の精度を評価する。

産業用途への応用

記事では工場の大規模センサー環境を主な応用例として挙げている。ポンプの振動・温度・圧力といった関連センサーを多変量で同時予測し、確率的予測（21分位点）によって単一の予測値ではなく不確実性の幅を出力する。これにより、設備保全のアラート閾値を統計的根拠に基づいて設定できる。

生産スケジュールや計画停止・天気予報といった既知の将来情報（Known-future covariates）を条件として入力できる点も実務で重要で、予定された負荷増加を「異常」として誤検知するリスクを抑えられる。さらに、TimestralでセンサーストリームのリアルタイムモニタリングとWebアノマリ検出を行い、異常発生時にエージェントが過去の類似障害と照合しながら根本原因分析・修理計画をドラフトする、というマルチエージェントパイプラインも示されている。

仕様と利用方法

コードはGitHubリポジトリで公開済みで、手元のデータですぐに試せる。エンタープライズ向けにはMistral Forgeを通じて、ゼロショット推論のほか、プロプライエタリデータでのファインチューニング、ドメイン固有の共変量追加、学習データの完全制御などが利用できる。

詳細はTimestral: Mistral's time-series foundation modelsを参照していただきたい。