Aniket Sinha氏らは、arXiv cs.LGが2026年11月8日(現地時間)に公開した論文で、基盤モデルを用いた時系列予測において、限られた観測データから時系列の基本構造を効果的に抽出する課題に対応するため、軽量な統計的改良モデル「スタットプロンプト-LLM(StatPrompt-LLM)」を提案した。このモデルは、既存の「タイム-LLM(Time-LLM)」のプロンプト機構にデータセットレベルの統計情報を付与し、ゼロ初期化された自己回帰バイパスを補完的な線形予測経路として導入することで、予測精度を向上させることを目指す。
スタットプロンプト-LLM(StatPrompt-LLM)の研究は、異なる世代の予測アーキテクチャを横断する探索的実証研究として実施された。研究チームは、このモデルが、時系列の長期的なトレンド、スケール、時間依存性といった重要な要素を効率的に捉えることを目指している。このアプローチは、特に観測データが限られている状況下での基盤モデルの課題を解決するものと期待されている。
評価は、電力および気象時系列ベンチマークデータセットであるETTh1、ETTh2、Weatherを用いて実施された。これらのデータセットは、異なる特性を持つ時系列データを含んでおり、提案モデルの汎用性と堅牢性を検証する上で重要である。評価は、与えられた入力データの長さに応じて、full-prefix(全履歴データを使用)およびreduced-prefix(一部の履歴データを使用)の二つの構成で行われた。
実験の結果、特に10% reduced-prefixの構成において、スタットプロンプト-LLMはタイム-LLM(Time-LLM)と比較して低いサンプル内予測誤差を達成したことが示された。この成果は、モデルが限られた情報からでも高い予測能力を発揮することを示唆している。データセット全体での非加重平均相対削減率は、平均二乗誤差(MSE)で40.2%、平均絶対誤差(MAE)で21.4%に達し、その性能向上が数値で明確に示された。一方で、full-prefix構成における結果は、データセットへの依存度が高いことが明らかになり、モデルの性能が入力データの量と質によって変動する可能性が示唆された。
研究チームは、さらにアブレーション分析を実施し、結合されたアーキテクチャ内で選択された追加の統計記述子グループがマスクされた場合に、比較的に穏やかでデータセットに依存した変化が明らかになったと報告している。これは、導入された統計記述子が予測性能に与える影響が、データの種類によって異なることを意味する。計算プロファイリングでは、スタットプロンプト-LLMがタイム-LLMと比較して、追加のモデルパラメータと実行時オーバーヘッドを伴うことが示された。しかし、その精度向上効果は、これらの計算コストを上回る価値があるものと評価されている。
この研究は、軽量な統計的改良によって基盤モデルの時系列予測能力を大幅に向上させる可能性を示し、今後の時系列予測モデル開発に新たな方向性を提供するものである。
参考: arXiv cs.LG (アーカイブ) — 2026年11月11日 14:00 (JST)