Apple ML Researchは2026年10月14日、多言語音声に頻出するコードスイッチング(発話内で言語が切り替わる現象、CS)を音声から直接検出する軽量手法を発表した。事前学習済み音声エンコーダのフレームレベル言語情報を活用し、単言語録音から言語選択的な隠れ状態次元を特定する手法で、より代表性の高い多言語コーパス構築への応用が期待される。
提案手法は、単言語録音データを用いて言語選択的な隠れ状態次元を特定し、そのフレームレベルの活性化をコードスイッチング予測に集約するという構成を取る。少量のコードスイッチングデータで決定ルールを調整した結果、Whisper-smallエンコーダはCS-FLEURSデータセットの14言語ペアにおいて平均F1スコア0.798を達成した。比較対象としたCNNベースライン(0.776)、および単言語識別用に訓練したHuBERT線形ベースライン(0.751)をいずれも上回る結果となった。
研究チームはこの結果について、事前学習済み音声エンコーダが既にコードスイッチング発話を識別するために必要な情報をエンコードしていることを示唆すると説明している。正確な多言語書き起こしに依存せず、大量の音声コレクションの中からコードスイッチングを含む発話を見つけ出せる軽量なツールとなる可能性がある。
この研究は、Apple ML Researchが2026年8月20日に発表した関連研究「Progressive Refinement: An Iterative Pseudo-Labeling Approach for Mandarin-English Code-Switching ASR」や、2022年5月公開の「End-to-End Speech Translation for Code Switched Speech」とも関連する取り組みとなる。これらの研究はいずれも、コードスイッチングが自動音声認識(ASR)や自然言語処理(NLP)にもたらす課題への対処を目的としており、訓練データの不足やシステムの単言語的な性質に起因する精度低下の解決策を模索してきた経緯がある。
今回の手法は追加の大規模アノテーションを必要とせず、既存の事前学習済みエンコーダから言語選択的な次元を抽出する点が特徴で、コードスイッチングデータの収集コストを抑えられる可能性がある。多言語音声データセットの構築において、コードスイッチングを含む発話を効率的に選別する前処理ステップとしての活用が見込まれる。
参考: Apple ML Research — 2026年10月14日 09:00 (JST)
原文ハイライト"Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models"