Hugging Face Blogは8月10日(現地時間)、Multiverse Computingのチームが大規模言語モデル (LLM) の知識蒸留 (Knowledge Distillation) プロセスを効率化する二つのシステム変更に関する論文を発表したと報じました。この技術は、教師モデルと生徒モデルを同時にメモリに保持する従来の課題を解決し、大規模な実験を現実的なコストで実施可能にします。
知識蒸留は、大規模な教師モデルの性能をより小さな生徒モデルに転移させる機械学習の技術です。gpt-oss、Qwen、GLM、KimiといったオープンソースLLMの普及に伴い、この技術は再び注目を集めています。Kimi-K3モデルのような2.8兆パラメータを持つモデルの展開には、約3TBのVRAMが必要となるなど高コストであり、NvidiaのNemotron 3 Puzzle 75BやMultiverse ComputingのHypernova 60Bのような圧縮モデルがリリースされています。
蒸留ステップはモデルの最終的な品質を決定する主要因ですが、パイプライン内で最もコストがかかる部分でもあります。教師モデルと生徒モデルを同時に読み込み、トークンごとに全語彙に対する確率分布を生成するには、膨大なVRAMとGPUが必要とされます。この課題に対し、Multiverse Computingのチームは論文Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Lossで二つのシステム変更を提示しました。
一つは、教師モデルのトップKロジットを一度だけキャッシュし、学習中に教師モデルをメモリに保持しない「オフライン蒸留」です。もう一つは、全語彙サイズ×シーケンス長の行列を生成しない、メモリ効率の高いフューズドチャンク型KL損失 (Fused Chunked KL Loss) です。これらの変更により、単一のGPUで長コンテキストの処理が可能となり、大規模な実験が現実的なコストで実施できるようになるとしています。
例えば、gpt-oss-120bモデルの場合、従来のオンライン蒸留では単一のトレーニング反復でピーク時約250GBのVRAMが必要となりますが、フューズドチャンク型KL損失を用いることで約128GBに抑えられます。単一のH200 GPU上でのベンチマークでは、Llama 3.1 8B Instructを教師モデル、a 3.2B Llama modelを生徒モデルとし、8Kトークンコンテキストで検証が行われました。フューズドチャンク型KL損失は58.3GBのピークメモリと20.2秒のイテレーション時間を示しています。この効率性は特にコンテキスト長が長くなるにつれて顕著になり、32Kトークンの設定では、従来の高密度損失が85.2GiBであったのに対し、フューズドチャンク型は5.45GiBと15.6倍の削減効果を達成しました。このチャンク型損失の実装はオープンソース化されています。
参考: Hugging Face Blog (アーカイブ) — 2026年8月7日 14:04 (JST)
原文ハイライト"caching the teacher's top-K logits once so the teacher never has to sit"