Appleは2026年8月(現地時間)、機械学習研究ブログ「Apple ML Research」を通じて、オープン・ドメイン質問応答（QA）システムにおける回答品質向上を目的とした新しい報酬フレームワークを発表した。同フレームワークは、取得したエビデンスに基づいてクエリ固有のルーブリックを生成し、これを複数の品質次元に分解することで、後段トレーニングにおけるきめ細かい監視を提供する。この革新的なアプローチは、複雑な質問に対する回答の精度と関連性を高めることを目指しており、評価では既存の命令チューニングされたベースラインと比較して6.5%の改善を示した。
このルーブリックベースの報酬フレームワークは、オープン・ドメイン質問応答（QA）の分野が直面する主要な課題に対応するものです。高品質な回答は、事実に基づいた「根拠 (grounding)」、一貫性、適切な構成、そしてクエリ要件への正確な順守といった複数の品質次元を同時に満たす必要があります。従来の評価手法では、これらの多次元的な側面を単一のスカラー目的で包括的に捉え、きめ細かなモデル改善に繋げることが困難でした。
From Preferences to Principles: Rubric-Based Alignment for Grounded Knowledge Answersと題されたこの研究では、アマン・サイニ (Aman Saini) 氏、プリヤンシュ・クマール (Priyanshu Kumar) 氏らが中心となり、新しいアプローチの詳細を解説しています。同フレームワークでは、まずクエリと取得されたエビデンスに基づいて、そのクエリに特化したルーブリックを生成します。次に、このルーブリックを構成 (composition)、「根拠 (grounding)」、指示への追従 (instruction-following)といった品質固有の複数の次元に分解することで、各側面に対する詳細な評価とフィードバックを可能にします。このプロセスにより、後続のトレーニング段階でより精密な監視を提供し、モデルの微調整を促進します。
実験と評価は、複数のデータセットを用いて実施されました。結果として、このルーブリックベースのアラインメント（RBA）フレームワークは、最先端の命令チューニングされたベースラインと比較して、人間の評価で平均6.5%の改善を達成しました。さらに、従来の単一的なルーブリックバリアントと比較しても、RBAは4%の改善を示しており、その有効性が裏付けられています。これらの成果は、全ての評価データセットで一貫した向上が確認されており、特に複雑な質問に対する回答品質の安定的な向上に貢献しています。
具体的には、取得したエビデンスに基づいてルーブリックを条件付けることで、回答の事実に基づいたサポートが大幅に向上することが示されました。また、ルーブリックを品質固有の次元に分解するアプローチは、回答の一貫性、構造的な構成、そしてクエリが求める要件への準拠を強化する上で効果的であることが明らかになりました。これらの結果は、根拠に基づいた多次元ルーブリックが、複雑なオープン・ドメイン質問応答システムにおいて、より効果的な報酬監視を提供し、最終的な回答品質の向上に寄与することを示唆しています。
Apple ML Researchは、この研究に関連する過去の取り組みも紹介しています。例えば、2022年2月28日公開のCan Open Domain Question Answering Models Answer Visual Knowledge Questions?や、2020年7月30日公開の多言語オープン・ドメイン質問応答評価セットであるMKQA: A Linguistically Diverse Benchmark for Multilingual Open Domain Question Answeringなどが挙げられています。これらの研究は、Appleが長年にわたりQAシステムの課題に取り組んできた経緯を示しています。
参考: Apple ML Research — 2026年8月27日 09:00 (JST)
原文ハイライト"From Preferences to Principles: Rubric-Based Alignment for Grounded Knowledge Answers"