arXivは10月20日(現地時間)、Zhaoxin Fan（ツァオシン・ファン）氏らの研究チームが、科学分野の課題解決に特化した新しい大規模言語モデル「Continuum-LM（コンティニュアム・LM）」に関する論文を発表したと報じた。このモデルは、既存の離散モデルとは異なり、連続的な隠れ状態の進化を特徴とし、8つの科学タスクにおいて平均厳密一致精度を最大10.96ポイント向上させることに成功した。
Zhaoxin Fan氏らの研究は、科学分野の基盤モデルが連続的な現象を扱うにもかかわらず、その計算が依然として離散的な残差計算に依存している現状に対し、新たなアプローチを提案する。本研究は、事前学習済みの残差変換がバックボーンを拡張することなく、さらなる潜在計算をサポートできるかという疑問から着想を得た。研究チームは、これらの変換を連続深層言語モデルにおける力学演算子として再利用する「Continuum-LM」を導入した。
Continuum-LMの隠れ状態は、高次数値積分によって評価される常微分方程式を通じて進化する設計となっている。この計算プロセスは、ソルバーの次数とステップサイズによって精密に制御される。モデルの性能は、8つの異なる科学タスクで評価された結果、安定した学習曲線を示した。
具体的には、0.6Bおよび1.7Bスケールの離散的な対応モデルと比較して、Continuum-LMは平均厳密一致精度をそれぞれ7.77ポイントと10.96ポイント向上させた。さらに、0.6Bスケールにおいては、パラメーターと残差関数評価の予算が一致したOuro-style（ウーロ・スタイル）のリカレント制御モデルをも上回る性能を発揮した。これらの成果は、パラメーターの再利用による計算深度の拡張が実現可能であることを強く支持する。また、連続的な隠れ状態の進化が、パラメーターのスケーリングを超えて、科学分野の言語モデル設計における新たな、かつ実践的な次元を開拓することを示唆している。
参考: arXiv cs.LG — 2026年10月21日 13:00 (JST)
原文ハイライト"Dynamic System Inspired Continuous Large Language Model for AI4Science Tasks"