Apple ML Researchは11月4日(現地時間)、機械学習に関する研究で、Retrieval-Augmented Generation (RAG) の基盤技術であるMaximum inner product search (MIPS) の効率化に向けた新手法を公開した。同社は、ICML 2026での論文発表で、より高速で効率的なMIPSを実現するため、オフラインで訓練された小型ニューラルネットワーク (NNs) を用いたクエリルーティングの学習アプローチを提案。MIPSの計算コストを大幅に削減し、RAGなどの性能向上に寄与すると期待される。
MIPSは、数百万規模の候補キーベクトルデータベースから、与えられたクエリベクトルに最適なキーを検索するシステムである。キーの数が増大し、ベクトル次元が数千に達すると、クエリと全キーの網羅的な比較による計算コストが大幅に増加する。従来の近似手法は精度と速度のトレードオフを伴い、クラスタリングや量子化を利用してきた。
これらの手法はクエリの特性を考慮せず、RAGにおける短いユーザー生成クエリと長く情報量の多いキーとの違いに対応が困難な点を抱えていた。また、多くのMIPS実運用では安定したクエリ分布が存在するにもかかわらず、汎用的な手法ではこの信号が活用されていなかった。
Appleの研究者らは、MIPSを凸解析における「サポート関数」として捉える新たな視点を導入した。サポート関数は凸関数であり、その勾配が最良マッチングキーを返すという特性を持つ。この知見に基づき、同研究では、学習されたサポート関数を用いてMIPSの計算コストを大幅に削減する手法を開発した。具体的には、SupportNetとKeyNetという二つのニューラルネットワークモデルを提案している。
SupportNetはサポート関数を直接学習し、Input Convex Neural Networks (ICNNs) を使用することで、クラスタごとのサポート関数を計算しルーティング品質を向上させる。KeyNetはクエリから最良マッチングキーベクトルを直接出力するように学習される。両モデルは、MIPSの解集合を捉える教師ありデータセットを用いて訓練され、クエリ分布に特化した効率的な検索を可能にする。
参考: Apple ML Research — 2026年11月5日 09:00 (JST)
原文ハイライト"Faster Retrieval for Better, More Efficient RAG"