研究論文投稿サイトarXivは9月26日(現地時間)、Fabien Furfaro氏による研究論文「Kairos: Toward a Byte-Level Foundation Model for Every Modality」が投稿されたと発表した。同研究は、テキスト、画像、音声、動画、ライダー、制御ストリームといった多様なモダリティを共通のバイト空間で処理するバイトレベルの基盤モデル「Kairos」のアーキテクチャと、初期の収束健全性チェックについて詳述している。
「Kairos」は、単一ローカルマシン上で訓練される小規模な基盤モデルにおいて、アーキテクチャの試行錯誤が困難であるという現状への対応策として提案された。このモデルは、複数の革新的な要素技術を組み合わせることで、効率的かつ柔軟なマルチモーダル処理を目指している。
その中核を成すのは、双方向ゲート型「DeltaNet」線形アテンションと、共有プロジェクション上のスライディングウィンドウアテンションである「LiZAttention2」だ。これに加えて、ブロック単位のアテンション残差集約、疎なMixture-of-Experts（MoE）フィードフォワード層、そしてマルチスケールバイトレベルコーデックが統合されている。
研究では、これらの組み合わせがモデルの収束にどのように寄与するかを評価するため、初期の健全性チェックが実施された。具体的には、100万から1500万パラメータの範囲でモデルを構成し、440バイトの単一テキスト文を過学習させるタスクに取り組んだ。この検証では、3,000ステップの訓練を経て、2つの異なるアテンションバリアント（LiZAttention2とウィンドウアテンション単独）が約10^-3という低い最小損失を達成することが確認された。
さらに詳細な分析として、600ステップ後の訓練では、平均最小損失がパッチコーデックの場合で0.018、深度畳み込みコーデックの場合で0.354の範囲に収まった。共有アテンションプロジェクションが初期段階で見せた利点は、訓練ステップ数の増加やデータ多様化に伴い解消され、プロジェクションが固定されたケースでは逆に性能が低下するという興味深い結果も示された。これはモデルの容量効果によるものではなく、収束速度に影響を与える要素であると説明されている。
これらの初期健全性チェックの結果は、実装されたアーキテクチャが効率的に機能し、有望な収束特性を持つことを示唆している。しかしながら、本論文ではモデルの汎化能力、実際のマルチモーダル訓練の性能、および既存の最先端モデルとの詳細な比較については言及されていない。これらは今後の大規模な事前訓練ランにおいて検証される予定だという。
論文の議論部分では、最終的な目標モデルのサイズが総計2億パラメータ、アクティブな状態で2500万パラメータとなることが解析的に示されているが、現時点でのそのスループット数値は測定されていない。関連する研究コードはオンラインで提供されており、さらなる研究と検証に活用されることが期待されている。
参考: arXiv cs.LG — 2026年10月12日 13:00 (JST)