セドリック・フラマン氏、ウダヤ・ガイ氏、カンナ・シミズ氏は2026年5月11日(現地時間)、並列言語モデル間で双方向の隠れ状態結合を実現する「バイカメラスモデル (The Bicameral Model)」を発表した。この新手法は、テキスト生成を介した従来の通信に比して、連続的かつ並行的なチャネルを通じてモデルの連携を深め、複雑なタスク処理能力を飛躍的に向上させる可能性を示すものだ。より密接な情報交換と自律的なプロトコル学習を特徴とする。
2026年5月11日(現地時間) セドリック・フラマン氏らの研究チームは、並列言語モデル間の連携を革新する「バイカメラスモデル」を発表した。
このモデルは、2つの事前学習済み言語モデルを中間隠れ状態における訓練可能なニューラルインターフェースを通じて直接結合する。従来の連携手法が生成テキストを介した高レベルな情報伝達に依存し、遅延や情報の損失といった課題を抱えていたのに対し、バイカメラスモデルは隠れ状態という低レベルかつリッチな情報チャネルを利用することで、密接かつ効率的なモデル間コミュニケーションを実現する。
運用時、各生成ステップにおいてプライマリモデルが主要タスクを主導し、補助モデルがツール操作、制約解決、コード実行といった専門的役割を担う。この協調動作は、両モデルが翻訳ネットワークと学習された抑制ゲートを介して互いのアクティベーションに条件付けを行うことで可能になる。注目すべきは、この抑制ゲートが結合されたパラメータ全体のわずか約1%に過ぎないにもかかわらず、規定のフォーマットなしにタスクロスのみから選択的な通信プロトコルを自律的に学習する点である。これは、システムが最も効率的な情報交換方法を独自に見つけ出す能力を持つことを示唆している。
研究チームは、このメカニズムを3つの異なるツールバックエンドで実証した。まず、算術タスクでは、2つの0.5Bモデルを外部計算機と結合することで、精度が従来の36%から96%へと大幅に向上した。次に、論理グリッドパズルでは、2つの0.6BモデルをZ3ソルバーと結合し、ゼブラロジックにおいて非拡張ベースラインと比較して1.7倍の成果を達成した。これにより、複雑な論理推論タスクにおいて、外部ソルバーの厳密な推論能力と言語モデルの柔軟な解釈能力が相乗効果を生むことが示された。さらに、数学的推論の領域では、Pythonサンドボックスとの結合が実施された。この構成では、補助モデルが問題テキストを直接見ることなく、プライマリモデルからの隠れ状態信号のみに基づいて問題固有のコードを生成することが可能になった。
このバイカメラスモデルのアプローチは、高レベルな対話を行うマルチエージェントフレームワークなど、既存の言語モデル連携技術とは一線を画す。バイカメラスモデルは隠れ状態という低レベルな情報チャネルで連続的に連携し、通信プロトコル自体を学習する。これにより、モデル間の連携がより密接かつ動的になり、事前の手動設計やプロンプトエンジニアリングの複雑さを大幅に低減できる点が優位性として挙げられる。
実務上の示唆としては、本モデルが複雑な業務プロセスの自動化に新たな道を開く可能性がある。例えば、財務分析において、データ収集モデル、計算実行モデル、報告書生成モデルといった複数の専門モデルが、隠れ状態を介してシームレスに連携することで、これまで手動で行われていた複雑な情報伝達や調整を自動化できる。言語モデルが外部ツールをより効率的かつ柔軟に利用できる基盤を築くことで、MLエンジニアは複雑なシステムの設計において、モデル間の連携ロジックよりも、各モデルの専門性向上に注力できるようになるだろう。
参考: arXiv cs.CL — 2026年5月14日 13:00 (JST)
原文ハイライト"Bidirectional Hidden-State Coupling Between Parallel Language Models"