Apple ML Researchは2026年11月(現地時間)、パーソナライズされた文章スタイルの評価における大規模言語モデル (LLM) 判定の有効性を調査する研究論文を発表した。同論文は「Can We Trust AI Evaluation? Workshop at NeurIPS 2026」で採択され、ユーザーが指定する書き方(例えば「明るい」調子)に、生成されたテキストがどの程度従っているかをLLM判定が評価する際の性能について検証している。

本研究は、文章作成タスク、生成と判定に用いるLLMの組み合わせ、評価目的、および一般的な常識と推論能力が、LLM判定の性能に与える影響を調査した。研究チームは、4つのLLMを用いて3つの長文作成タスクでテキストを生成し、人間の評価者による2つの応答のうちどちらが優れているかのラベルを収集した。

また、判定LLMによるペアワイズランキングの注釈を収集し、これらを人間による注釈と比較した。その結果、判定の品質はMMLUによって測定される一般的なLLM能力とは弱い相関(ピアソン相関係数 ρ ≤ 0.2)しか示さず、文章作成タスクと評価基準(一般的な有用性かスタイルパーソナライゼーションか)によって変動することが判明した。

さらに、LLM評価者は、応答を個別に評価するよりも、ペア比較を使用した場合の方が一貫性があり、より高い性能を発揮した。最終的に、研究チームは「最強の」LLMが人間の評価を最も確実に再現するわけではないことを発見した。これは、人間の注釈者や能力の低いLLMが見過ごすような微妙な細部に対する過剰な感度が関係していると仮説を立てている。

この研究は、Natalie Mackraz氏、Andrew Silva氏、Aini Putkonen氏、Brihi Joshi氏、Joelle Alcaidinho氏、Arnav Arora氏、Barry-John Theobald氏、Katherine Metcalf氏によって執筆された。Brihi Joshi氏およびArnav Arora氏の作業はApple在籍中に行われたものである。


参考: Apple ML Research (アーカイブ) — 2026年11月10日 09:00 (JST)

この記事をシェア
X はてブ LinkedIn