arXiv cs.AI は2026年10月29日(現地時間)、論文「Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models」を公開した。この研究は、音声対話型の大規模言語モデル（Audio Large Language Models）において、話者の発言内容と発言様式が一致しない「incongruence（不一致）」が音声感情認識の精度を低下させる可能性を示唆。テキストと音声の不一致が感情認識エラーに与える影響を検証するため、新しい「incongruence score（不一致スコア）」を開発・適用した。
研究者であるFengji Jing（フェンジ・ジン）氏とGuy Laban（ガイ・ラバン）氏による論文は、話者の発言内容と話し方という二つの情報経路が常に一致するとは限らない点に着目した。
論文では、テキストと音声を共通のvalence-arousal-dominance空間にマッピングし、両者間の距離を連続的かつ閾値フリーの不一致スコアに変換する手法が提示された。このスコアは人間の判断に基づいて検証された。評価にはeNTERFACE’05、MELD、CMU-MOSEIの三つのデータセットが使用され、演技された発話、会話、自然発話における三つの音声対応モデルが分析された。
その結果、モデルのモダリティが一定である場合、音声が存在するすべてのコーパスにおいて、不一致がエラーの可能性を高めることが明らかになった。これは、感情のグラウンドトゥルースや特徴空間内の距離を制御した後でも確認された。一方で、同じ特徴で訓練された教師あり分類器は逆の挙動を示しており、この困難がモデルが未加工の証拠を組み合わせる方法にある可能性が示唆された。
テキストのみの効果は信頼性に乏しく、トランスクリプトを読み取るモデルだけを交換すると、あるコーパスではその符号が反転した。感情語彙なしでスコアを再構築しても中心的な結果は再現され、六つのより単純な代替案の中で、すべての三つのコーパスでエラーを予測する唯一のラベルフリースコアであった。研究成果として、コード、データテーブル、プロンプトが公開されている。
参考: arXiv cs.AI — 2026年11月2日 14:00 (JST)
原文ハイライト"Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models"