arXiv cs.CLは9月10日(現地時間)、ヴァルン・テジャ・チュンドゥル氏らの研究チームが、大規模言語モデル (LLM) が生成する誤情報「ハルシネーション」を検出する新たなマルチシグナル検出パイプラインを発表した。このパイプラインは、HaluEvalベンチマークの一般ドメインタスクで、F1スコア0.915、AUROC (Area Under the Receiver Operating Characteristic curve) 0.977を達成したと報告されている。
研究チームが開発した検出パイプラインは、ファインチューニングされたDeBERTa-v3分類、モンテカルロ (MC) ドロップアウトによる不確実性定量化、温度スケールキャリブレーションを組み合わせたものだ。この手法は、質問応答 (QA) タスクでF1スコア0.97、要約 (Summarization) で0.96、対話 (Dialogue) で0.82を記録した。MCドロップアウト推論を適用することで、全体の精度は93.2%に向上したという。
コンテキストアブレーション研究では、知識コンテキストが削除された場合、要約タスクのF1スコアが24%低下した。これは、モデルが表層的なパターンを利用するのではなく、真の含意推論を実行していることを示唆している。また、学習曲線分析からは、訓練データの25%を使用するだけで、全データ性能の77%を捕捉できることが明らかになった。
検出機能に加えて、研究チームはDirect Preference Optimization (DPO) をQwen2.5-0.5Bジェネレーターに適用した。その結果、ハルシネーション率は85.5%から37.7%へ、相対的に55.9%削減されたと報告されている。
クロスドメイン評価として、SciFactバイオメディカルベンチマークを用いた実験も実施された。一般ドメインでの訓練が他のドメインへはF1スコア0.52と転移性能が低いことが判明し、ドメイン特化型ファインチューニングの重要性が浮き彫りになった。SciFactでファインチューニングされたPubMedBERTは、F1スコア0.63、AUROC0.81を達成しており、ドメインに合致した事前訓練が最も強力な適応戦略であると結論付けられている。
参考: arXiv cs.CL — 2026年9月11日 02:45 (JST)