Tag
7 件の関連記事
Fatema Siddika (ファテマ・シディカ) 氏らは2026年6月5日(現地時間)、大規模言語モデル (LLM) の継続学習における長年の課題である「可塑性-安定性のジレンマ」を解決する新しいフレームワーク「SETA (Mixture of Sparse Experts for Task Agnostic Continual Learning)」を発表した。このフレームワークは、知識をタスク固有のエキスパートモジュールに分離することで、既存の課題に対処し、モデルが新たな知識を獲得する際に以前の学習内容を忘却するのを防ぐとされている。
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
arXiv cs.LGは4月27日(現地時間)、ユエ・ミン氏らが大規模言語モデル（LLM）の事前学習データキュレーションを最適化する新フレームワーク「GEM（Geometric Entropy Mixing）」を発表した。データ量だけでなくデータ構成の質がLLMの性能を左右する中、GEMは既存手法の課題克服を目指す。このフレームワークは、ハイパースフィア上の変分問題としてデータキュレーションを再定義し、クラスタ崩壊を防ぎつつバランスの取れた意味構造の発見を目指すアプローチとして注目される。
Krishnakumar Balasubramanian氏は2026年5月21日(現地時間)、学術論文投稿サイトarXivを通じて、1ステップ生成モデリングにおける保守的および非保守的ドリフティングモデルの有限粒子収束率に関する研究結果を発表した。この研究では、従来のドリフティング速度をカーネル密度推定器（KDE）勾配速度に置き換えることで、一般的な変位ベースのドリフティングフィールドで指摘されていた非保守性の問題に対処する新たな保守的ドリフティング手法を提案している。
Cormac Cureton氏とNarges Armanfard氏は2026年5月16日(現地時間)、表形式データ向けのネイティブマルチタスクインコンテキスト学習器「TabPFN-MT」を提案した。このモデルは、既存の事前データ適合ネットワーク(PFNs)が持つシングルタスク推論の制約を克服し、複数のターゲット値に対する同時推論とタスク間情報共有を可能にする。主に1,000サンプル未満の小規模から中規模データセットに特化し、勾配ベースの訓練に代わるインコンテキスト学習を用いることで、複雑なマルチタスク課題への対応を目指す。
ML Nissen Gonzalez氏らの研究者グループは5月14日(現地時間)、機械学習モデルの機械的解釈性 (mechanistic interpretability) を高める新たな評価指標「テンソル類似性 (tensor similarity)」に関する研究論文をarXiv cs.LGで発表した。この指標は、モデルを意味のある部分に分解し、それらが同一の計算を実装しているかを検証する目的で開発された。従来の類似性測定が抱える、分布外メカニズムへの対応不足や重み空間対称性の無視といった課題の解決を目指すものとされている。
Rishabh Tiwari氏らの研究チームは2026年5月12日(現地時間)、大規模言語モデル (LLM) における「高速・低速学習」フレームワークを発表した。この新手法は、モデルパラメータを「低速」ウェイト、最適化されたコンテキストを「高速」ウェイトとして利用し、タスク固有の学習と汎用的な推論能力の維持を両立させる。従来のパラメータ更新に起因する壊滅的忘却や可塑性の喪失といった課題に対処する。