arXiv cs.LGは2026年10月22日(現地時間)、大規模言語モデル (LLM) と専門家モデル間の効率的な情報交換を実現する「Latent Interconnect Protocol (LIP)」に関する論文を公開した。Siavash Golkar氏らが提唱するこのプロトコルは、専門家モデルの表現をLLMの内部状態に直接マッピングするコネクタを学習させることで、両モデル間での効率的な表現交換「AI Mindmeld」を目指す。これにより、LLMが明示的に要求しない情報も含め、専門知識を柔軟に活用できると説明されている。
大規模言語モデル (LLM) は、科学エージェントとして機能し、専門家を諮問したり実験を実行したりするためのツールを利用できる。しかし、専門家が持つ情報は通常、テキスト、画像、音声、動画といった形式でLLMのコンテキストに入力されるため、高次元で豊かな表現を持つモデル間で情報交換のボトルネックが生じていた。今回提案されたLatent Interconnect Protocol (LIP) は、このような制約を克服し、直接的な表現交換を可能にする。
LIPは、新しい専門家モデルへの拡張性、多様な質問やタスクへの柔軟性、そして共同訓練なしで独立した専門家モデル間での構成可能性を目標に設計された。このプロトコルは、専門家モデルの表現をLLMの内部状態へとマッピングする「コネクタ」を学習する。この際、事前学習済みのLLMモデル自体は変更せずに凍結するため、LLMの成長や進化に合わせて実用的に適用できる利点がある。
研究チームは、3種類のタンパク質および3種類の小分子に関する専門家モデルを、Gemma-3 (40億および120億パラメータ版) およびKimi K2.6 (総計1兆、有効320億パラメータ) に接続し、このLIPを実証した。独立して訓練されたコネクタは、LLMや既存のコネクタに変更を加えることなく有用な情報を提供し、未知のオブジェクトに関する既存および新規の質問タイプに対応した。さらに、共同訓練なしでのクロスドメインタスクに対するゼロショット転送を実証しており、タスクパフォーマンスと構成可能性はLLMの能力向上に伴い改善されることが確認された。特にゼロショットタスク転送で強い成果が見られたと報告されている。
一方で、現行のLLMが専門家モデルの表現をネイティブ入力として訓練されていないという限界も指摘されている。表現へのアクセスが、その信頼できる解釈、統合、推論における利用を保証するものではないという。研究者らは、専門家モデル開発者に対しては一貫した表現インターフェースの提供を、LLM開発者に対してはこれらの入力を受け入れ、結合し、推論するモデルの訓練をそれぞれ求めている。これらの取り組みは、従来のツールの柔軟性を維持しつつ、科学エージェントの情報能力を拡大する可能性を示している。
参考: arXiv cs.LG — 2026年10月23日 13:00 (JST)