Tag
5 件の関連記事
arXiv cs.LGは7月22日(現地時間)、Zhaowen Fan氏による研究論文「Learning to Access Computation: Accessibility Plasticity as a Principle of Adaptive Intelligence」を公開した。同論文は、既存の計算の相互作用と参加方法を再編成することでシステムが適応する、新たな原則「アクセシビリティ・プラスティシティ (Accessibility Plasticity)」を提唱している。これは、従来のニューラルネットワークが主にパラメータ変更で適応してきたのに対し、計算能力と計算アクセシビリティを異なる適応変数として明確に位置付けるものだ。
arXiv cs.LGは7月1日(現地時間)、研究論文「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」を発表した。この論文は、大規模言語モデル（LLM）の強化学習（RL）後学習において、Transformerモデルの単一の層のみを学習させることで、モデル全体の全パラメータを学習するのと同等か、それを上回る性能向上が得られる可能性を指摘している。既存のRLアプローチの前提に疑問を呈し、層ごとの学習効果を分析した点が特徴だ。
arXiv cs.LGは2026年6月9日(現地時間)、コード大規模言語モデル (LLM) の教師ありファインチューニング (SFT) における効率性課題を解決する、新たなスパース監視フレームワーク「コードブロック (CODEBLOCK)」に関する論文を公開した。従来の全トークンに対する一様な損失適用が非効率であるという問題に対し、CODEBLOCKは構造的に完全なコード要素のみを選択的に監視することで、少ない学習シグナルで効率的な性能向上を達成したと報告されている。
arXiv cs.LGは2026年6月4日(現地時間)、リカレントニューラルネットワーク (RNNs) の事前学習における新たな手法「Supervised Memory Training (SMT)」を発表した。SMTは、従来のバックプロパゲーション・スルー・タイム (BPTT) が持つ、時間的な逐次処理による並列性制限や、勾配消失・勾配爆発による長距離の関連性学習の困難さを克服することを目的とする。リカレントな信用伝播を完全に回避し、RNNの訓練を1ステップのメモリー遷移ラベルに対する教師あり学習に還元することで、これらの課題に対処する。
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。