リサーチ・論文

MuonとAdamW、事前学習データ規模で微調整性能に逆転現象

Catherine Li らは2026年11月2日(現地時間)、大規模言語モデルの事前学習における最適化アルゴリズムの性能に関する研究結果をarXiv cs.LGに発表した。同研究は、Muonが事前学習損失の最小化においてAdamWよりも高速である一方で、微調整後のダウンストリーム性能においては、十分な規模の事前学習データが存在する場合にAdamWがMuonを上回るという傾向を明らかにした。

リサーチ・論文

LLMのLoRA統合課題、新手法READで克服

Zeyan Liらは9月25日(現地時間)、大規模言語モデル(LLM)の微調整に用いられる低ランクアダプター(LoRA)の結合における課題を解決する新手法「READ (Read-only Expansion of Adapter Deltas)」を発表した。同手法は、複数のLoRAアダプターを単一のモデルに統合する際の問題に対処し、アダプターの更新をバランスの取れた正規形に書き換える。新しいスキルが既存のスキルの入力部分を参照し、その出力には干渉しない一方向の結合を確立することで、性能低下を防ぎつつ効率的な統合を実現する。

ベンダー・製品

NVIDIA、Vision AIエージェント向け新ワークフローを発表

NVIDIAは6月30日(現地時間)、合成データ生成とモデル微調整を通じてVision AIエージェントの精度を向上させる新たなワークフローを公開しました。NVIDIA OmniverseおよびNVIDIA Metropolisを基盤とするこの開発手法は、工場やスマートシティなど多様な環境でのAIエージェントの展開と最適化を加速させ、開発サイクルの課題解決に寄与します。