George Lingら研究チームは2026年11月5日(現地時間)、huggingface.coで論文『Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand』を発表した。この論文は、モデル評価における高コストなフルベンチマークの課題に対し、ランダムサンプリングの有効性と不安定性を理論的に分析し、安定性と低コストを実現する新しいベンチマーク圧縮手法「BestRand」を提案している。
BestRandは、70以上のベンチマークでその性能が検証された。その結果、高誤差リスクを50.2%削減し、推定誤差を16.4%低減することが示されている。また、BestRandの構築にかかるコストは、競合する手法のわずか51.3%に抑えられる。
論文では、フルベンチマークでのモデル評価が高額になることが多い現状を指摘。ベンチマーク圧縮は、小さなサブセットを利用してフルベンチマークの結果を近似することで、このコストを削減することを目的としている。ランダムサンプリングはベンチマーク圧縮において驚くほど効果を発揮する一方で、不安定になる可能性があるという課題があった。BestRandはこの課題に対し、シンプルかつ安定した低コストな解決策を提供する。
参考: huggingface.co (アーカイブ) — 2026年11月6日 03:36 (JST)
原文ハイライト"BestRand, a simple, stable, and low-cost solution."
この記事をシェア