huggingface.coは2026年11月18日(現地時間)、事前学習済み大規模言語モデル (LLM) の重みに正確な回路を直接コンパイルする新しい手法に関する論文が発表されたと報じた。この手法は、勾配を用いたファインチューニングや外部ツールなしに、多桁算術演算におけるLLMの信頼性向上を目指す。研究では、決定論的な計算をトレーニング例やランタイムフックなしで事前学習済みLLMの重みに直接組み込む、閉形式のゼロ勾配回路移植プリミティブを導入している。

この新しい手法はA CPU Inside an LLM: Zero-Gradient Compilation of Exact Circuits into Pretrained Weightsと題された論文で詳細が示された。

提案された構築は、(1) バイアスフリーのSwiGLU/GeGLU層を用いた2層Mellin-GLU直交、(2) 符号付きChebyshev Indefinite-RoPE自己シンクアテンションとメモリーレスSiLU-antisymmetric GatedDeltaNetシフトを介したクロスデザイントークンスケールキャンセル、(3) d/(d+K)ノルム補償、Base-1000正準BPEエミッション、差動 (+254,-256) 結合アンエンベディングを備えた軸整列幅拡張 (dからd+K) という3つの分析メカニズムを組み合わせている。

自動化された5段階コンパイラは、一定のTC^0深度で4〜8桁の符号付き {+,-,times} 回路を合成する。さらに、3リテラルブール (100%、N=1,728; 42層のGemma 4 E4B監査を含む) および5ビット多数決/パリティ (100%) 回路も生成される。

6桁算術演算 (N=1,200, BF16) において、IBM Granite 4.2 3Bは99.17%、Alibaba Qwen 3.5 4Bは100.00%のALUプレフィックス精度を達成した (FP32サイドカー使用で100%)。これらは、12.8KサンプルのLoRA (42.2% / 61.7%、0%インライン継続) を上回る性能を示した。


参考: huggingface.co (アーカイブ) — 2026年11月20日 09:00 (JST)

原文ハイライト

"A CPU Inside an LLM: Zero-Gradient Compilation of Exact Circuits into Pretrained Weights"

この記事をシェア
X はてブ LinkedIn