フーアン・チャオ (Fu-An Chao) 氏、ビーチェン・ヤン (Bi-Cheng Yan) 氏、ベルリン・チェン (Berlin Chen) 氏らは2026年10月9日(現地時間)、「OpenPA」と題した新たな自動発音評価 (APA) フレームワークを発表した。このシステムはWhisperのクロスアテンション機構を活用し、強制アライメントなしで単語および発話レベルの発音スコアを同時に予測する。混合トランスクリプト適応により、クローズドおよびオープンレスポンス設定の多様なトランスクリプトに対応する。
既存の自動発音評価 (APA) 手法は、スクリプト化された評価から自由形式の評価へと移行が進む中で、多くが強制アライメントや個別の特徴抽出器を用いる多段階パイプラインに依存していた。これにより、さまざまな応答設定での実用性が制限されるという課題があった。
OpenPAは、この課題に対応するため、Whisperのクロスアテンション機構を利用し、単一モデル内で強制アライメントなしに単語レベルと発話レベルの発音スコアを同時に予測する。さらに、混合トランスクリプト適応と適応的置換重み付けを用いることで、クローズドおよびオープンレスポンス設定における異なるトランスクリプトを単一のモデルで処理可能としている。
speechocean762データセットのみで学習されたOpenPAは、評価されたシステムの中で、in-domainのクローズドおよびシミュレートされたオープンレスポンス条件下で最も強力な総合性能を示した。また、MultiPAデータセットにおいてもゼロショットで性能を維持している。口腔がんスピーチに対する追加のクロス評価では、OpenPAが非母語話者の発音評価以外にも適用できる可能性が示唆された。本研究は、ICASSP 2027に提出されたとコメントされている。
参考: arXiv eess.AS — 2026年10月10日 01:35 (JST)
原文ハイライト"jointly predict word- and utterance-level pronunciation scores without forced alignment."