Appleは7月15日(現地時間)、機械学習研究において、検索拡張生成 (RAG) を強化する新しい統一フレームワーク「CLaRa (Continuous Latent Reasoning)」を発表した。CLaRaは、大規模言語モデル (LLM) が抱える長いコンテキストの問題や、検索と生成の最適化における不整合の解消を目指し、埋め込みベースの圧縮と共有連続空間での共同最適化を実行する。
CLaRa (Continuous Latent Reasoning) は、セマンティックに豊かな、取得可能な圧縮ベクトルを得るために、質問応答と言い換え監視に基づくキー保存データ合成フレームワーク「SCP」を導入する。これにより、生成器に供給される文書の長さを削減し、処理効率を向上させる。
CLaRaは、微分可能なトップK推定器を用いて、単一の言語モデリング損失を介してリランカーとジェネレーターをエンドツーエンドでトレーニングする。この統一された最適化により、検索の関連性と回答の品質が整合するとされる。複数のQAベンチマーク全体での実験により、CLaRaはテキスト圧縮率16倍でも最先端の圧縮およびリランキング性能を達成し、テキストベースのファインチューニングされたベースラインを上回る結果を示した。
この研究は、Jie He氏、Richard He Bai氏、Sinead Williamson氏、Jeff Z. Pan氏、Navdeep Jaitly氏、Yizhe Zhang氏によって行われた。Jie He氏とJeff Z. Pan氏はUniversity of Edinburghに所属しており、Jie He氏の研究はApple在籍中に行われた。
CLaRaの発表は、既存のRAGパイプライン構築者や開発者にとって、複数の示唆を与える。まず、長いコンテキスト処理に起因する計算リソースと応答時間の課題に対し、16倍のテキスト圧縮能力は解決策の一つとなりうる。これにより、より大規模なデータセットからの情報取得が現実的になり、ユーザーへの応答速度も改善される可能性がある。
また、検索と生成を単一の損失関数でエンドツーエンドに最適化するアプローチは、RAGシステム全体の精度と信頼性の向上に寄与する。これは、独立したコンポーネントの最適化では達成しにくい、検索結果の関連性と生成される回答の整合を可能にする。RAGパイプラインの設計者は、CLaRaが特定のアプリケーションドメインやデータ特性に対してどれほどの汎用性を持つか、既存のシステムへの統合がどの程度容易か、そしてその運用コストをどのように評価すべきかといった観点から、この技術を注視する必要がある。
CLaRaのフレームワークは、複雑な質問応答システム、高度な文書要約、あるいはリアルタイムでの情報更新が求められるアプリケーションなど、幅広い分野でのRAGの応用拡大につながる可能性がある。特に、セマンティックに豊かな圧縮ベクトルを生成する能力は、マルチモーダル情報検索など、将来的な技術進化の基礎となりうる。
参考: Apple ML Research — 2026年7月15日 09:00 (JST)
原文ハイライト"Bridging Retrieval and Generation with Continuous Latent Reasoning"