Tag
3 件の関連記事
Apple ML Researchは2026年9月(現地時間)、大規模言語モデル（LLM）の出力制御における有効性と流暢さのトレードオフに関する体系的な研究結果を発表した。この研究は、ターゲット概念の注入または除去に焦点を当てた既存手法の有効性評価において、生成品質が軽視されがちである現状を指摘。効率的な誘導手法が流暢さを著しく犠牲にする一方で、訓練パラダイムとの間に重要な相互作用があることを明らかにした。
ウェイハン・メン (Weihan Meng) 氏らの研究チームは8月13日(現地時間)、大規模言語モデル (LLM) から抽出されるスパースオートエンコーダー (SAE) 特徴を自然言語で説明するフレームワーク「SAEVerbalizer」を発表した。従来のSAE特徴は外部観測に依存し、解釈が表面的で計算効率も低いという課題があった。SAEVerbalizerは、SAEデコーダーの方向をLLMの表現に注入し、下流層をファインチューニングすることで、特徴の自然言語による説明を直接生成するアプローチを採用しており、SAE特徴の解釈性向上に寄与すると期待されている。
Chih-Han Yangらは7月1日(現地時間)、arXivに論文「Language-Critique Imitation Learning from Suboptimal Demonstrations」を発表した。同論文は、最適ではないデモンストレーションから効率的に模倣学習 (Imitation Learning) を行うための新しい言語批評フレームワークを提案。従来の模倣学習が抱える、限定的なスカラー信号によるフィードバックの限界克服を目指す。