イー・ジェン・シー (Yi-Jen Shih) 氏らは2026年9月11日(現地時間)、複数人での会話に特化した音声エージェント評価ベンチマーク「MP-Bench」を発表した。このベンチマークは、既存の評価手法が二者間対話や受動的な音声理解に偏り、現実世界の多人数会話シナリオを見過ごしている課題に対応するため開発された。MP-Benchは、音声エージェントが多人数環境で能動的な参加者として機能する能力を客観的に評価することを目指す。
MP-Benchは、音声エージェントの振る舞いをターンアラウンド認識 (turn-taking awareness)と応答の適切性 (response appropriateness)という二つの主要な側面から評価する。さらに、理解度に基づく質問応答タスクも補完的な評価として組み込んでいる。
既存の対話型音声エージェントは、カスケード型およびエンドツーエンド型アーキテクチャを通じて、より自然な人間と機械の対話を実現してきた。しかし、複数人での会話におけるエージェントの評価は、会話の複雑性が飛躍的に高まるため、二者間対話と比較して本質的に困難であると指摘されている。
研究チームは12種類のリアルタイム音声エージェントをMP-Benchで評価した。その結果、これらのエージェントは複数人での理解度において22%以下に留まり、複数人でのターンアラウンド認識については偶然のレベルに近かったことが判明した。この結果は、複数人会話シナリオにおけるリアルタイム音声エージェントにとって、未解決の課題が依然として存在することを示している。
本研究はEMNLP 2026 Findingsに採択されている。
参考: arXiv eess.AS — 2026年9月12日 02:11 (JST)