arXiv cs.LGは11月3日(現地時間)、Hemanth Ram氏らがテキスト情報と数値データを統合する新たな予測フレームワーク「Context as Covariates (CoCo)」に関する研究論文を発表した。同フレームワークは、大規模言語モデル（LLM）と時系列ファウンデーションモデル（TSFM）の強みを組み合わせることで、従来の予測モデルを上回る性能を発揮する。
実世界の時系列データセットには、ニュースやレポート、注釈といったテキスト情報が豊富に存在し、これらは数値履歴だけでは捉えきれない重要な予測信号を含んでいます。しかし、LLMはテキストを解釈できるものの数値的な精度に課題があり、TSFMは定量的に正確ですがテキストの影響を推論できないという問題がありました。さらに、大規模なマルチモーダルペアデータセットの不足が、このギャップを埋める進展を妨げていました。
本研究は、LLMを用いて実世界の時系列データに注釈を付加することで、現実的なマルチモーダルデータセットをスケーラブルに生成するアプローチを提示しました。このアプローチに基づき提案されたCoCoは、LLMがテキスト推論を数値的に根拠のある予測および信頼度の共変量として抽出し、これをTSFMのバックボーンをガイドするために用いる予測フレームワークです。これにより、LLMとTSFM双方の強みが活用されます。
両モデルのアラインメントは複数段階で実施されます。まず、Group Relative Policy Optimization (GRPO) を介してLLMをファインチューニングし、予測性能の共変量による改善に紐づいた報酬を与えます。その後、アラインされたLLMが生成した共変量に基づいてTSFMをファインチューニングします。
実験の結果、合成マルチモーダルコーパスで訓練されたモデルは、金融、経済、気象、交通、セキュリティといった多様な分野の実ベンチマークに一般化することが示されました。特に、Qwen3-4B-Instruct-2507をLLM、Chronos2をTSFMとして用いたCoCoは、最先端のTSFMおよびLLMフォアキャスター（例えばGPT-4o）と比較して、平均絶対誤差（MAE）で最大12%の改善を達成しました。関連するコード、チェックポイント、および評価データセットは公開されています。
参考: arXiv cs.LG — 2026年11月5日 14:00 (JST)