ヤシュ・シャー氏、アビジット・チャクラボルティ氏、ヴィヴェク・グプタ氏らの研究チームは2026年6月4日(現地時間)、マスクト・ディフュージョン・ランゲージ・モデル (MDLM) の評価プロトコル「CaRE (Compute-aware Remasking Evaluation Protocol)」を発表した。このプロトコルは、MDLMの進展を正確に評価するため、互換性のない設定で評価が行われてきた既存の課題解決を目指す。
研究チームは、MDLMがオートレグレッシブ・ランゲージ・モデル (Autoregressive Language Models) に匹敵する性能に達しているにもかかわらず、7つの再マスキングに関する論文が互換性のない評価設定で行われていると指摘する。これらの研究では、公称ステップ数、メトリック、サンプリング温度が個別に制御されず、戦略ランキングの比較が困難であり、報告された性能向上がアルゴリズムの改善によるものか、評価上のアーティファクトによるものかが不明瞭であると述べた。
CaREは、MDLMの再マスキング戦略を監査するための計算量考慮型評価フレームワークとして開発された。実際の関数評価回数 (NFE) を標準化し、複数メトリックでの報告を義務付け、確率性を明示的に制御する。LLaDA-8B-BaseとDream-7B-Baseモデルに7つの再マスキング戦略を適用し、OpenWebTextおよびLM1Bデータセットで4つの確率レベルと3つのステップ予算で評価した結果、CaREは以下の点を明らかにした。
第一に、MAUVEの分散の大部分は温度で説明される。第二に、計算量を一致させた比較では、いくつかの公開済み戦略ランキングが逆転する。第三に、情報に基づいた再マスキングと確率的アンマスキングの間にはトレードオフが存在し、高エントロピー再マスキングはunmask_temp=0.25において256ステップでMAUVEを0.296低下させる (p=0.020)。さらに、12のオープンウェイトMDLM（150Mから8Bパラメータ）をカバーするCaREリーダーボードは、この相互作用の方向性がアーキテクチャとスケールを越えて維持されることを示している。これらの結果は、現在のMDLM評価がアルゴリズムの改善と計算量および確率性の隠れた選択を系統的に混同している可能性を示す。
参考: arXiv cs.AI (アーカイブ) — 2026年7月29日 13:00 (JST)