Mustafa Talha İlerisoy氏らは2026年8月30日(現地時間)、arXiv cs.CLに掲載された論文で、大規模言語モデル（LLM）を活用し、呼吸音のゼロショット分類性能を向上させる新たなフレームワークを発表した。自己教師あり学習（SSL）ベースの呼吸音エンコーダが持つ臨床ドメインにおける意味的接地（Semantic Grounding）の不足を、医療用LLMによる構造化レポート生成で補完。タスク固有のラベル付きデータなしで高い分類精度を達成した。
研究者らは、タスク固有のラベル付きデータがない場合に利用が制限されていた自己教師あり呼吸音エンコーダについて、ゼロショット推論能力を持たせるためのフレームワークを提案した。
このフレームワークは、医療用大規模言語モデル（LLM）を用いてメタデータから構造化レポートを合成し、対照学習（Contrastive Learning）のための意味的アンカー（Semantic Anchor）を生成する。これにより、エンコーダを医療用語と共有潜在空間で整合させ、ゼロショット対応の基盤モデルへと変換する。
提案された学習手法は、シグモイドベースの対照損失とエンコーダのネイティブな自己教師あり学習（SSL）目的、さらに類似度考慮型ネガティブサンプリングを組み合わせることで、病理的境界を鮮明化する。この手法は、6つのデータセットにおける9つのタスクで平均61.3%のゼロショットAUC（Area Under the Curve）を達成し、CLAPの51.4%およびQwen2-Audioの54.9%を上回った。また、線形プロービング（Linear Probing）AUCでは71.6%に達し、これはフルスケールのベースラインが使用するデータ量のわずか43%で達成された。
研究結果は、構造化された意味的整合が、大規模で汎用的なモデルと比較して臨床診断において優れていることを示している。この研究は、INTERSPEECH 2026で採択された。
参考: arXiv cs.CL (アーカイブ) — 2026年9月2日 13:00 (JST)
原文ハイライト"Zero-Shot Respiratory Sound Classification through LLM-Augmented Audio-Text Alignment"