arXiv cs.CLは2026年11月17日(現地時間)、ニ・ホアイ・ドアン氏らが、自然言語推論 (NLI) における言語モデルの否定処理メカニズムを詳細に分析する研究論文を公開した。本研究は、言語モデルが否定表現をどのように解釈し、推論に利用しているかを特性化するため、高レベルの因果モデル「Polarity Composition Hypothesis」を提案。行動評価を通じて、言語モデルの予測がこの仮説と概ね合致することを確認した。
本研究論文では、自然言語推論 (NLI) タスクにおける言語モデルの否定処理メカニズムを詳細に記述する目的で、Polarity Composition Hypothesisと名付けられた高レベルの因果モデルを提案している。この仮説は、言語モデルが否定表現をどのように構成的に処理し、その極性を推論に組み込むかを説明しようと試みるものであり、言語モデルの内部動作の理解を深める上で重要な知見を提供する。研究チームは、この仮説の妥当性を検証するため、広範な行動評価を実施。その結果、既存の言語モデルによる予測が、提案されたPolarity Composition Hypothesisと概ね一致することが確認された。
さらに、研究ではDistributed Alignment Search (DAS)という手法を活用し、Polarity Composition Hypothesisの変数と整合する、因果的に効果的な部分空間を特定した。これらの特定された表現は、言語モデルが否定処理を行う際に内部的に利用する、意味的に重要なニューラル表現を反映していると考えられる。研究チームは、これらの表現が異なる否定形式間で高い転移性を示すことを実証。加えて、これらの表現がMulti-Genre Natural Language Inference (MNLI) データセットの一部に対しても部分的に転移することが示され、提案された因果モデルの汎用性と適用範囲の広さを示唆している。
本研究は、言語モデルが否定処理をどのように行っているかという、これまで不明瞭だった側面を因果的な視点から解明することに貢献する。特定された因果的に効果的な部分空間は、将来的に言語モデルの解釈可能性と制御性を向上させるための基盤となる可能性がある。研究に関連するデータセットとコードは公開されており、これにより他の研究者が結果を再現し、さらなる研究を進めることが可能となっている。本論文は、自然言語処理分野の主要な会議の一つであるEACL 2027のメイン会議で採択されたことが明記されている。
論文の共著者には、ニ・ホアイ・ドアン (Nhi Hoai Doan) 氏、平岡達也 (Tatsuya Hiraoka) 氏、ムナチソ・サミュエル・ヌワディケ (Munachiso Samuel Nwadike) 氏、乾健太郎 (Kentaro Inui) 氏が名を連ねている。
参考: arXiv cs.CL (アーカイブ) — 2026年11月18日 03:30 (JST)