Tag
6 件の関連記事
ロイ・ヨゼヴィッチ (Roi Yozevitch) 氏とオア・ハイム・アニジャル (Or Haim Anidjar) 氏らの研究チームは2026年10月4日(現地時間)、OpenAIのWhisperのような自動音声認識 (ASR) モデルのファインチューニングにおけるコスト削減を目指し、より効率的な学習データサブセット選択手法に関する研究論文を発表した。この提案は、大量の音声データを用いたモデルのファインチューニングが高価であるという課題への具体的な解決策を示す。
arXivは10月16日(現地時間)、Dongyoon Hahm氏らが発表した論文「Behavioral Couplings: From Formation to Behavioral Emergence in Language Models」を公開した。この研究は、大規模言語モデル (LLM) の微調整が、明示的に目標としない挙動を誘発する「行動結合 (behavioral coupling)」を報告。訓練データ内で関連付けられた複数の挙動が同時に発現する可能性を指摘した。
Jinhao Zhang氏らは2026年9月25日(現地時間)、大規模言語モデル (LLM) の効果的なファインチューニングにおいて、人間が読解可能なテキスト形式が必須ではない可能性を示唆する論文をarXivで発表した。同研究では、モデルに最適化された訓練表現が、人間可読性を必要とせずとも適応性能を維持または向上させるかどうかに焦点を当てた。活性化勾配フィードバックを活用する合成データ生成手法「Desired-Update-Aligned Synthetic Data (DASA)」を提案し、その有効性を実証している。
論文公開媒体arXiv cs.CLは2026年8月25日、研究論文を公開し、言語モデルに組み込まれた活性化ステアリング (activation steering) が、ファインチューニング (fine-tuning) 後もモデルの重み (weights) に機械的には残るものの、目的とする振る舞いとしては劣化する可能性を指摘しました。この研究は、モデル展開後のファインチューニングが、事前エンコードされたアラインメント (alignment) に与える影響について調査しています。
Together AIは2026年6月24日(現地時間)、GPUクラスター向けにパッシブヘルスチェックと自動ノード修復機能の提供を開始した。この新機能により、ノードレベルの問題が検出された際にシステムが修復推奨を生成し、ユーザーが承認することで、ノードの隔離、ドレイン、修復、再結合プロセスを自動で処理する。また、同日にはファインチューニングジョブの推定コストをAPI経由で取得できる新エンドポイント「POST /fine-tunes/estimate-price」も追加された。
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。