Donggen Li (ドンゲン・リ) 氏は2026年5月21日(現地時間)、arXiv cs.CLに研究報告を提出し、マルチモーダル大規模言語モデル (LLM) における既存の位置エンコーディングの課題を指摘し、新たな手法「RIG-RoPE」を提案しました。この研究は、現代の言語モデルの主要コンポーネントであるロータリー位置エンコーディング (RoPE) の多次元拡張版が抱える、静的な多次元位置割り当てに関する二つの制約に対処しています。
既存のマルチモーダルRoPE (M-RoPE) では、位置チャネルが時間、高さ、幅のサブスペースに分割されています。しかし、これには二つの主要な課題が指摘されています。一つ目は、空間的変位が明確な幾何学的オブジェクトでないトークンペアに高さや幅の回転が適用され、クロスモーダルおよびインスタンス間の空間干渉を引き起こす可能性です。
二つ目は、時間的座標がしばしば等間隔カウンターとして扱われるため、テキストトークン、画像ブロック、ビデオセグメントが異なる情報密度を持つにもかかわらず、同程度の時間的フェーズを進める点です。
Donggen Li氏が提案するRIG-RoPEは、関係およびインスタンスゲート付きRoPEメカニズムであり、持続時間認識型の時間的座標を持ちます。RIG-RoPEでは、各トークンにモダリティインジケーター、ビジュアルインスタンス識別子、スカラー情報持続時間座標が付加されます。高さや幅の回転は、同一のビジュアルインスタンスに属するクエリとキーのペアにのみ適用されます。それ以外の場合、未知の空間的変位は周辺化され、ゼロに設定されることはありません。
時間的回転には、補間された累積ブロック持続時間が使用されます。具体的には、テキストトークンは単位持続時間を消費し、画像は次元認識型の対数空間スケールを使用します。さらに、ビデオは有効フレームに対して対数時間的拡張を適用します。RIG-RoPEは学習パラメータを追加せず、トークンあたり一定の追加メタデータでタイルド注意カーネル内で実装可能です。本研究は15ページと一つの表からなる予備的な技術報告であり、経験的優位性を主張するものではないとされています。
参考: arXiv cs.CL — 2026年8月8日 13:00 (JST)
原文ハイライト"relation- and instance-gated RoPE mechanism with duration-aware temporal coordinates"