Appleは2026年10月11日(現地時間)、大規模言語モデル（LLM）を用いた機械翻訳（MT）品質評価に関する研究論文を発表した。同論文は、LLMがMT評価において人間による判断の代替手段となる可能性を検証。Multidimensional Quality Metrics（MQM）とError Span Annotation（ESA）の二つの評価スキームを用いて人間アノテーターとの合意度を比較した結果、LLMは特定のタスクで人間同士の合意度を上回る一方、アノテーションスキーム、言語ペア、ドメインによって信頼性が大きく変動すると指摘した。
Appleの研究論文Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challengedは、LLMが近年急速に進化し、多岐にわたるタスクで高度な性能を示す中で、その応用範囲が機械翻訳の品質評価にまで広がることへの関心が高まっている背景を提示している。MTの品質評価は、システムの改善やユーザー体験向上に不可欠であり、従来は時間とコストがかかる人間によるアノテーションに大きく依存してきた。LLMがこのプロセスを効率化し、費用対効果の高い代替手段となり得るかどうかが、本研究の主要な検証テーマである。
同研究では、広範な言語ペアとドメインにおけるスコアおよびエラー範囲のアノテーション合意度を調査するため、70の言語ペアからなる長文コンテキストテストセット、さらに公開されているWMT23およびWMT25のデータセットを多角的に活用した。評価スキームには、翻訳品質を多次元的に評価するMQMと、特定のエラー箇所を指摘するESAの二つを採用。これらのスキームの下で、LLMと人間アノテーター間の合意度、そして人間アノテーター同士の合意度を詳細に比較分析した。
実験の結果、LLMは一部の評価タスク、特にエラーの種類や重大度を判断する場面で、人間同士の合意度を上回る精度を示すことが判明した。しかし、その信頼性はアノテーションスキーム、評価対象の言語ペア、そして翻訳されたテキストのドメインによって大きく変動し、多くの設定において一貫性に欠ける傾向が見られたという。これは、LLMが万能な評価ツールとして機能するには、まだ課題が残されていることを示唆している。
研究では、人間とLLM双方のアノテーターが直面する固有の課題も浮き彫りになった。人間アノテーターは、特に粒度の細かいMQMアノテーションや、リソースの少ない言語ペアでの評価において、主観性や一貫性の維持に困難を抱えることが指摘された。一方、LLMは、軽微なエラーの見落とし、言語バリアントの誤解釈、およびエラー範囲アノテーションにおける不正確さといった課題を抱えていることが判明した。例えば、文脈から判断されるべきニュアンスの違いや、特定の言語文化に根ざした表現の誤訳に対する検出精度に限界がある点が挙げられている。
これらの結果は、現在のLLMがMT品質評価の全面的な代替手段として確立されるには、さらなる性能改善が必要であることを示している。論文は、人間とLLM双方のアノテーション性能には改善の余地があり、特に両者の協調的なアノテーションパイプラインを構築することで、本研究で特定された信頼性の問題に対処できる可能性を示唆している。人間が強みとする高度な言語理解と判断力、LLMが強みとする速度とデータ処理能力を組み合わせることで、より高精度で効率的なMT品質評価システムが実現できるとの見方もできる。研究チームは、今後もこの分野の研究を進め、より実用的な解決策の探求を続けるものと見られる。
参考: Apple ML Research (アーカイブ) — 2026年10月12日 09:00 (JST)