Apple ML Researchは2026年7月15日(現地時間)、大規模言語モデル (LLM) のコード生成能力を向上させる「Simple Self-Distillation (SSD)」と呼ぶ手法を発表した。この手法は、検証器や教師モデル、強化学習を使用せず、モデル自身の出力のみを用いて改善を図る。Qwen3-30B-Instructモデルにおいて、LiveCodeBench v6でのpass@1スコアを42.4%から55.3%に向上させる効果が確認された。
この研究は、特定の温度とtruncation設定でモデルから解決策のサンプルを生成し、それらのサンプルに対して標準的な教師ありファインチューニングを行うことで、LLMの能力を向上させる。SSDはQwenおよびLlamaモデルの4B、8B、30Bスケールで適用可能であり、instruct variantとthinking variantの両方で汎用性を示す。
SSDのメカニズムは、LLMのデコードプロセスにおける精度と探索の競合を解決することにあると説明されている。この手法は、精度が重要となる場面では不要なトークン列を抑制し、探索が重要となる場面では有用な多様性を維持するようにトークン分布を文脈に応じて再形成する。これにより、LLMのコード生成における post-training の新たな方向性を提供する。
関連研究として、BISCUIT: Scaffolding LLM-Generated Code with Ephemeral UIs in Computational Notebooksが2024年8月3日に発表され、IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC) 2024で採択された。また、Applying RLAIF for Code Generation with API-usage in Lightweight LLMsは2024年7月1日に発表され、Natural Language Reasoning and Structured Explanations workshop at ACL 2024で採択されている。
参考: Apple ML Research — 2026年7月16日 09:00 (JST)
原文ハイライト"sample solutions from the model with certain temperature and truncation configurations, then fine-tune"