Dharma-AIは2026年11月18日(現地時間)、大規模言語モデル (Generative Language Models) のエンドツーエンドのファインチューニング時間予測に関する論文プレビューをHugging Face Blogで公開した。同プレビュー記事では、共有GPUクラスターでの272件の生産実行データに基づく予測モデルについて説明しており、従来のFLOPsベースの推定が抱える課題を指摘している。

従来のファインチューニング時間推定にはFLOPs(浮動小数点演算数)に基づく計算が用いられてきたが、これは実際の所要時間と大きく乖離することが多かった。Dharma-AIチームは、NVIDIA H200 GPU上で実行された272件の教師ありファインチューニング (SFT) ジョブ、合計約7,382 GPU時間の実測データを用いて、分析的推定と学習済み予測モデルを比較した。その結果、従来のFLOPsベースの推定モデルはR²値0.31、平均絶対誤差 (MAE) 12.41時間と低い精度であった。

これに対し、CatBoostレグレッサを用いた予測モデルは、ジョブがディスパッチされる前に利用可能な情報のみに基づき、R²値0.98、MAE 1.71時間、中央値誤差0.51時間という高い精度を達成した。このモデルは、評価頻度、チェックポイントポリシー、GPUごとの負荷、ファインチューニング体制など、より多くのトレーニング固有のシグナルを考慮し、過去の実行データからそれらの非線形な相互作用を学習する。CatBoostモデルは24の特徴量を使用し、最も重要度の高い特徴量としてnum_eval_data、num_trainable_paramsなどを挙げている。

また、事前の研究から得られた分析的性能モデルであるCalculonをLoRAやbfloat16に対応させ拡張したベースラインも検証したが、観測された実測時間の中央値の11%にしか対応しないことが判明した。


参考: Hugging Face Blog (アーカイブ) — 2026年11月19日 03:53 (JST)

原文ハイライト

"Predicting end-to-end fine-tuning time on shared GPU clusters, from 272 production runs."

この記事をシェア
X はてブ LinkedIn