Appleは2026年7月(現地時間)、機械学習の重要なサブルーチンである最大内積探索（Maximum inner product search, MIPS）を効率化する「amortized MIPS」手法を発表した。この回帰ベースのアプローチは、ニューラルネットワークの訓練を通じてMIPSの解を直接予測することで、既知の分布から引き出されるクエリに対するMIPSの繰り返し実行コストを償却することを目指す。
MIPSは、データベース内のキーの中から、与えられたクエリと最もよく一致するベクトルを特定することを要求する。Appleは、MIPSの価値関数がキーの集合のサポート関数であるという知見に基づき、2つの補完的なamortizedモデルを提案する。
提案されたモデルは、サポート関数を回帰するように訓練された入力凸ニューラルネットワーク「SupportNet」と、最適なキーを直接回帰するベクトル値ネットワーク「KeyNet」である。SupportNetは、クエリを関連するデータベースパーティションに誘導するクラスタールーターとして機能する。一方、KeyNetは元のクエリの代替として、既存のインデックスパイプラインに直接組み込むことが可能である。
BEIRベンチマークにおける文書埋め込みに関する実験では、学習済みのSupportNetとKeyNetが、演算量（FLOPs、プローブ数、実時間）を考慮した場合に、IVFマッチ率を大幅に向上させることが示されている。関連コードはGitHubで公開されている。
参考: Apple ML Research (アーカイブ) — 2026年7月2日 09:00 (JST)
この記事をシェア