LLM性能の非単調な変化を解明 シャノン容量に基づく新スケーリング法則を提唱
arXiv cs.LGは2026年5月22日(現地時間)、Xu Ouyang氏らの研究チームが、大規模言語モデル（LLM）の訓練プロセスをノイズのある情報伝送チャネルとして捉える「シャノン・スケーリング・ロー」と称する新たな理論的枠組みを提唱したと報じた。この法則は、既存のスケーリング法則では説明が困難だった、計算資源の増加にもかかわらず性能が低下する非単調な現象の解明を可能にする。シャノン＝ハートレーの定理に基づき、モデルのパラメーターをチャネル帯域幅、訓練トークンを信号電力にマッピングすることで、学習信号と固有ノイズの相互作用を明確に捉えることができる。