LLMファインチューニング向け新オプティマイザTACOを発表
University of Central Florida（ユニバーシティ・オブ・セントラルフロリダ）の研究者らは2026年10月1日(現地時間)、大規模言語モデル（LLM）のフルパラメータファインチューニングにおけるメモリオーバーヘッドを大幅に削減する新しいオプティマイザ「TACO (Ternary Absolute-max Column-wise One-sparse Optimizer)」を発表した。この新手法は、既存のAdamW8bitと比較して、永続オプティマイザ状態を最大174分の1に、ピークトレーニングメモリを約2.9分の1に削減しつつ、同等の精度と実行時間を維持すると報告されている。