arXiv cs.LGは10月20日(現地時間)、時系列データ分類の自己教師あり学習手法である「時系列ベクトル (TS2Vec)」を基盤モデル化する研究成果を発表した。本研究では、TS2Vecの既存アーキテクチャの特性を維持しつつ、複数のデータセットで再利用可能なエンコーダーを構築。「TS2Vec-FM」と名付けられたこのモデルは、UCR-128で83.3%、UEA-27で75.3%の精度を達成し、現状の最先端モデルであるマンティスV2 (MantisV2) に0.3パーセントポイント (pp) 差に迫る性能を示している。
時系列ベクトル (TS2Vec) は2022年に導入された時系列分類向けの自己教師あり学習手法である。従来の設計では、自己教師あり事前学習後に線形プロービングを行うため、各データセットで改めて学習を行う必要があった。一方、近年の研究動向は、複数のデータセット間で単一のエンコーダーを再利用する基盤モデルへと移行している。
本研究では、時系列ベクトル (TS2Vec) が持つコンパクトな畳み込みアーキテクチャ、時間サンプルへの直接作用、リサンプリング不要な可変長入力対応といった特性を、単一の事前学習で維持できるかどうかが検証された。その結果、以下の三つの変更を加えることで、TS2Vecを基盤モデルとして機能させられることが示された。
- 合成コーパス上での事前学習。
- 生振幅ビューとインスタンス正規化された形状ビューの入力を、2つの小さなステムを通じてエンコーダーに供給すること。
- 各ビューの専門エンコーダーを単一のエンコーダーに蒸留すること。
これらの変更により開発された「TS2Vec-FM」は、1.6Mパラメーターの拡張畳み込みネットワークである。このモデルは固定された状態で線形プロービング下において、UCR-128データセットで83.3%、UEA-27データセットで75.3%の精度を記録した。これは、現在の最先端であるマンティスV2 (MantisV2) との差が0.3ppであり、各ターゲットデータセットで個別に学習されたTS2Vecの性能を上回る。
TS2Vec-FMの設計は、他の基盤モデルとは異なる点が特徴である。アテンション機構、パッチトークナイザー、中間層の抽出を使用せず、「昔ながらの」畳み込みエンコーダーと2層の多層パーセプトロン (MLP) ステムを活用することで、同等の性能を達成している。
参考: arXiv cs.LG (アーカイブ) — 2026年10月21日 02:47 (JST)
原文ハイライト"Turning TS2Vec into a Foundation Model for Time Series Classification"