arXiv cs.CLが2026年10月23日(現地時間)付けで報じたところによると、Xiangwei Wang氏ら研究者グループは、大規模言語モデル (LLM) エージェント間の潜在通信を可能にする新フレームワーク「J-Comm」を発表した。J-Commは、トレーニング不要の「Geometric Agreement for Latent Reasoning (GEAR)」と「H+J (Hidden-and-Jacobian) 通信インターフェース」という二つの主要コンポーネントで構成される。Qwen3-8BからQwen3-4Bへの通信において、MATH500で94.80%、GPQA-Diamondで54.55%などの最高平均スコアを達成した。
J-Commは、効果的な連続的推論プロセスと、外部モデルが中間計算を活用するためのインターフェースを必要とする潜在通信に対応するように設計された。
第一のコンポーネントであるGEARは、トレーニング不要で、既存のモデル埋め込み上でトークン候補を再重み付けする。これにより、各ステップで埋め込み空間における候補トークン間の幾何学的合意を単調に最適化する。
第二のコンポーネントであるH+J通信インターフェースは、レシーバーに送信側の推論に関する二つの補完的な視点を提供する。Hチャネルはフィードバック分布から導出された連続入力を供給し、Jチャネルは語彙インデックス付きヤコビアンレンズ座標における中間状態の手がかりを伝達する。Hチャネルはレシーバーが推論するための入力を提供し、Jチャネルは計算内での追加のガイダンスを提供する役割を持つ。レシーバーは自身の辞書を使用してこれらの手がかりを再構築し、プリフィル中に中間層に注入する。これにより、キーバリューキャッシュの共有や同一のモデル幅を必要とせずに通信が可能となる。
性能評価では、Qwen3-8BからQwen3-4Bへの通信において、J-Commは7つのベンチマークで最高の平均スコアを記録した。これにはMATH500での94.80%、GPQA-Diamondでの54.55%、AIME2024+2025での73.33%、ALFWorldでの62.93%の成功率が含まれる。既存手法であるTextMASと比較すると、J-Commは性能を1.29〜8.59パーセンテージポイント向上させ、生成されるテキストトークンを19.2〜74.8%削減している。
参考: arXiv cs.CL — 2026年10月24日 01:42 (JST)
原文ハイライト"enabling communication without sharing key-value caches or requiring identical model widths."