言語モデルの自己修復現象、新たなメカニズムを提唱
arXiv cs.LGは2026年10月1日(現地時間)、言語モデルがコンポーネントのアブレーション後に自己修復する現象に関する新たなメカニズムを提唱する研究論文を発表した。この論文は、アブレーション前から存在するゲインが要因となり、他のコンポーネントが「カウンターウェイト」として機能することで、一見して自己修復に見える調整・補償が行われると説明している。
Tag
#LLaMA
3 件の関連記事
MoE向け新アーキテクチャ「UniPool」、グローバル共有エキスパートプール導入
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。
Practical AIがモデルの「オープンvsクローズド」論争と物理AIの台頭を議論
ポッドキャスト「Practical AI (Changelog)」は2026年5月7日(現地時間)付けで、オープンモデルとクローズドモデル間の「モデル戦争」の重要性が薄れている可能性について議論した。番組の共同ホストであるダニエル・ウィットナック氏とクリス・ベンソン氏は、物理AIとエッジデバイスの台頭、LLaMAのようなオープンソースモデルの状況変化、そしてエージェントシステム、ワークフロー、AI駆動型インフラストラクチャへの大きな変革について見解を示している。この議論は、現代のAIにおける主要な問いの一つに焦点を当てている。