arXiv cs.CLは2026年9月3日(現地時間)、Yuntian Deng、Pengyu Nie、Stuart Shieberの3氏が、自然言語の仕様を再利用可能なニューラル関数に変換する新手法「Compile by Training」を発表した。この技術は、既存の大規模リモートモデルが抱えるコスト、レイテンシ、プロバイダへの依存といった課題に対処することを目的としている。これにより、より効率的で自律的なAIアプリケーションの開発に貢献する可能性を秘めている。
大規模言語モデル（LLM）の普及は、AIアプリケーション開発に大きな進歩をもたらしたが、同時にリモートAPIへの依存による運用コストの増大、応答の遅延、特定のプロバイダへのロックインといった課題を露呈させている。こうした背景に対し、Compile by Trainingは、自然言語で定義されたタスクの仕様を、ローカルで実行可能なコンパクトなニューラル関数へと「コンパイル」する新たなアプローチを提案する。
Compile by Trainingのプロセスでは、まずコンパイル時に、教師となる大規模モデルが特定のタスクに特化した多様な学習例を大量に生成する。これらの生成された例は、ターゲットデバイス上で動作する小型のインタープリタと連携する、より小さなアダプター（ニューラルネットワークの一部）を訓練するために利用される。この仕組みにより、最終的に生成されるニューラル関数は、元の教師モデルに依存することなく単独で実行可能となる。その結果、通常のソフトウェアアプリケーションと同様に、関数を保存し、バージョン管理を行い、特定の環境に合わせて柔軟に構成することが可能となる。
研究チームは、この手法の有効性を評価するため、既存のProgram-as-Weights高速コンパイラが正確な結果を生成できなかった特定のサブセットである「FuzzyBench-Hard」データセットを用いて性能測定を行った。その結果、Compile by Trainingは83.6%という高いセマンティック精度を達成したと報告している。セマンティック精度とは、プログラムが意図した機能的意味を正しく実現できているかを示す指標であり、この高い数値は、既存手法が苦手とする複雑なシナリオにおいても本手法が有効であることを示唆している。ただし、この高い精度は、高速コンパイラの数秒と比較して約1分というコンパイル時間の増加を伴う。これは、より高品質なローカル実行型関数を得るための、一度きりの投資と位置付けられる。
さらに、このコンパイラは公開インタラクティブサービスにデプロイされ、いくつかの応用例が提示された。これらには、異なるウェブサイト間で機能する汎用的なウェブサイトヘルパー、自然言語コマンドによって制御される3Dアバター、さらには特定の仮想言語（Claudish）と英語との間で双方向の翻訳を行う翻訳器が含まれる。これらの応用例は、ローカルで動作するニューラル関数が、汎用性、インタラクティブ性、および特定のニッチなユースケースへの適応性において、いかに強力なツールとなり得るかを示している。
本研究は、EMNLP 2026 System Demonstrationsでも発表されており、AIモデルのデプロイメントと管理に新たなパラダイムをもたらし、エッジコンピューティングやプライバシー重視のアプリケーション開発における可能性を広げることが期待される。
参考: arXiv cs.CL — 2026年9月4日 02:59 (JST)