大規模言語モデルにおけるツリー構造逐次化の通信ボトルネックを検証
Apple ML Researchは2026年9月(現地時間)、大規模言語モデル(LLM)が構造化情報を自然言語に逐次化する際に生じる「通信ボトルネック」を検証した研究結果を明らかにした。ツリー構造の算術表現を単語問題に変換し、元の表現へ復元するラウンドトリッププロトコルを設計。16種のモデルの全組み合わせで生成器と抽出器の性能を評価し、チャネルの損失性、失敗要因、訓練可能性に関する3つの知見を示している。
Tag
1 件の関連記事