Tag
3 件の関連記事
University of Central Florida（ユニバーシティ・オブ・セントラルフロリダ）の研究者らは2026年10月1日(現地時間)、大規模言語モデル（LLM）のフルパラメータファインチューニングにおけるメモリオーバーヘッドを大幅に削減する新しいオプティマイザ「TACO (Ternary Absolute-max Column-wise One-sparse Optimizer)」を発表した。この新手法は、既存のAdamW8bitと比較して、永続オプティマイザ状態を最大174分の1に、ピークトレーニングメモリを約2.9分の1に削減しつつ、同等の精度と実行時間を維持すると報告されている。
Together AIは9月10日(現地時間)、AIモデルのファインチューニングサービスを大幅に拡張したと発表した。今回のリリースでは、最新のオープンウェイトモデルへのサポートを拡大したほか、トレーニング過程をリアルタイムで監視できるライブ実験追跡機能、トレーニングおよびデータ処理におけるきめ細かな制御機能が導入された。また、一部モデルのトレーニング価格引き下げも実施され、利用者の費用負担軽減を図る。
Apple ML Research は2026年7月7日(現地時間)、大規模言語モデル（LLM）のマルチドメインファインチューニングを効率化する新たな手法「DynaMiCS（ダイナミクス）」を発表した。本手法は、特定のターゲットドメインで性能を向上させつつ、一般知識、指示追従、安全性評価といった制約付きドメインでの性能を維持することを目的としている。これにより、既存手法では難しかった多角的な能力の維持を可能にし、モデル開発の安定化に貢献すると考えられる。