Appleは2026年8月(現地時間)、マルチモーダル大規模言語モデル（MLLM）におけるアラインメントに関する包括的な研究を発表した。大規模言語モデル（LLM）の性能向上に不可欠な選好アラインメントについて、MLLMでの影響はこれまで十分に探求されてこなかった。本研究は、MLLMが画像理解タスクで直面するハルシネーション（誤った情報の生成）などの課題に対し、モデルの応答を画像情報により正確に一致させることを目的とする。特に、追加のアノテーションや外部モデルを必要としない新しいマルチモーダル選好データ作成手法「Bias-Driven Hallucination Sampling (BDHS)」を導入し、エッジデバイスでのMLLM実用化への道を拓く可能性を示唆している。
本研究は、MLLMの選好アラインメントの各側面を独立して分析した。アラインメントアルゴリズムをオフライン（Direct Preference Optimization、DPOなど）とオンライン（オンラインDPOなど）の二つのグループに分類し、オフラインとオンラインの手法を組み合わせることで特定のシナリオでモデル性能が向上することを示す。また、公開されている多様なマルチモーダル選好データセットをレビューし、その構築詳細がモデル性能に与える影響について議論した。
これらの知見に基づき、追加のアノテーションや外部モデルを必要としない、マルチモーダル選好データ作成の新しい手法Bias-Driven Hallucination Sampling (バイアス駆動ハルシネーションサンプリング、BDHS)を導入する。このBDHSは、幅広いベンチマークにおいて、これまでに発表されたマルチモーダルモデルのアラインメント研究と同等の性能を達成する。
Appleが提示するBDHSの最大の特長は、追加のアノテーションや外部の高度なAIモデルに依存することなく、高品質なアラインメントデータを生成できる点にある。従来の選好アラインメントでは、人間による手作業でのデータラベリングや、高性能な教師モデルを使ったデータ拡張が一般的であり、これらは多大なコストと計算資源を必要とするボトルネックとなっていた。BDHSは、このコストを大幅に削減し、特にリソースが限られるエッジデバイス上でのモデル学習やファインチューニングの道を拓く可能性を秘めていると見られる。
MLLMが生成するハルシネーションは、画像理解能力を搭載したAIエージェントの実用化において大きな課題となっている。例えば、医療画像診断支援や自動運転システムなど、誤情報の生成が致命的な結果を招く分野では、高精度なアラインメントが不可欠だ。BDHSによる効率的なデータ生成は、これらの分野でのMLLMの実用性を高める上で重要な一歩となるだろう。
Apple製品への応用を考えた場合、iPhoneやiPadといった端末上でのパーソナルアシスタント機能（Siriなど）や、写真・ビデオ編集アプリにおける高度な画像認識機能の精度向上に寄与する可能性がある。例えば、ユーザーが撮影した写真の内容をより正確に理解し、文脈に応じた適切な情報提供やコンテンツ生成が行えるようになることも期待される。端末内での処理能力向上は、プライバシー保護の観点からもメリットが大きく、ユーザーデータの外部送信を減らしつつ、よりパーソナライズされたAI体験を提供する基盤となる可能性がある。
参考: Apple ML Research (アーカイブ) — 2026年8月3日 09:00 (JST)