#ファインチューニング関連記事

Together AI、GPUクラスターの自動ノード修復を提供

Together AIは2026年6月24日(現地時間)、GPUクラスター向けにパッシブヘルスチェックと自動ノード修復機能の提供を開始した。この新機能により、ノードレベルの問題が検出された際にシステムが修復推奨を生成し、ユーザーが承認することで、ノードの隔離、ドレイン、修復、再結合プロセスを自動で処理する。また、同日にはファインチューニングジョブの推定コストをAPI経由で取得できる新エンドポイント「POST /fine-tunes/estimate-price」も追加された。

リサーチ・論文 5月9日 20:16

大規模言語モデル、事前学習と同一オプティマイザで忘却を抑制

arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。