Hugging Faceは11月1日(現地時間)、大規模言語モデル（LLM）の推論におけるエネルギー消費量を予測する新しい分析モデル「SIMPLE Inference Model to Predict LLMs Energy (SIMPLE)」を提唱しました。このモデルは、LLMのアーキテクチャや入出力トークン数に基づき、生成されるトークンあたりのエネルギー消費量（Etok）を予測します。既存手法に比べ高精度な予測を可能にし、特に長文入力やエージェント的な利用でのエネルギー特性を明らかにしました。
発表されたSIMPLE Lawは、推論プロセスをプリフィルとデコードに、さらにデコードをKVキャッシュコストと次トークン計算に分解する四つのパラメータを持つ法則です。既存の最先端モデルがLLMごとにフィッティングを必要とするのに対し、この法則はアーキテクチャのハイパーパラメータに基づいて計算およびメモリアクセスの複雑さを表現します。
NVIDIA H100 GPU上で13の密なLLM（6つのファミリー）を対象とした検証では、R2値が0.969、平均絶対パーセント誤差（MAPE）が11.97%を達成しました。これは既存の最先端モデルを3.1〜3.5倍下回る精度で、LLMごとのキャリブレーションなしで実現されています。
SIMPLE Lawの分析によると、プリフィル時のエネルギーは隠れ次元（hidden dimension）に対して二次関数的に増加するため、大規模なLLMは長い入力において特に大きな影響を受けます。また、よりアグレッシブなGQA（Group-Query Attention）のKVグルーピングは、標準的なMHA（Multi-Head Attention）と比較して、トークンあたりのエネルギーを最大3倍削減します。推論トークンのバジェットを増やすと、解析的に導出されたエネルギー最小値を超えて出力長が伸び、超線形的なエネルギー増加を引き起こすことが示されました。精度はバジェットの増加とともに向上するものの、エネルギーはそれよりも速く増加するため、Intelligence per Jouleは中間バジェットでピークを迎え、4.0倍の推論バジェット範囲で最大3.14倍低下します。
エージェント的なサービングは、非エージェント的なリクエストと比較して、リクエストあたりのエネルギーを13.0倍増加させます。これは、入力長とともにプリフィルおよびKVキャッシュ項が増加することによるものです。プリフィックスキャッシングにより、プリフィルコストの大部分（-93%）は削減されますが、KVキャッシュ項は影響を受けないため、キャッシュされたエージェント的なリクエストでも4.8倍多くのコストがかかることが判明しました。
参考: huggingface.co — 2026年11月5日 16:42 (JST)
原文ハイライト"The SIMPLE Law for Energy Cost of LLM Inference"