arXiv cs.CLは10月9日(現地時間)、Xiao Zhang氏らが執筆した論文「Structural Automata for Neural Semantic Parsing」を公開した。同論文は、ニューラル意味解析における意味表現の生成精度向上に向け、構造オートマタの導入を提唱している。提案手法である受容パスデコーディング（APD）は、従来の制約付きデコーディングが抱えていた、固定長制限内での有効なプレフィックス完了保証の困難さを解消。トークンの巻き戻しなしに有効な出力を保証し、DRSおよびAMR解析においてSmatch++スコアの大幅な改善を達成した。
ニューラル意味解析器は、自然言語からコンピュータが理解できる形式的な意味表現を生成するが、この過程で参照関係やスコープ、グラフ構造などの複雑な要素が展開されるため、出力される表現の形式的な妥当性を保つことが課題となっていた。従来の制約付きデコーディング手法では、局所的に無効なトークンの生成を防ぐことはできたものの、固定された出力長制限内で有効なプレフィックスが必ずしも完了することを保証するものではなかった。
今回の論文では、Xiao Zhang氏らが、この課題を解決するため、構造オートマタの適用を検証している。特に、DRS（動的意味論表現）解析におけるデコーディング、後処理、そして学習の3段階での効果を検証したほか、AMR（抽象意味表現）解析におけるデコーディングの評価も実施した。
デコーディング段階においては、受容パスデコーディング（APD: accepting-path decoding）が新たに導入された。この手法は、残りの長さ制限内で検証済みの完了パスを維持し、モデルが推奨するトークンが完了可能である限り、それに従うというものだ。APDは、トークンを巻き戻す（撤回する）ことなく、受け入れ可能な出力が保証される点が特長だ。論文によれば、厳密な長さ制限下において、APDは局所的なマスキングと比較して、DRS解析で5.1ポイントおよび2.4ポイント、AMR解析で6.4ポイントおよび3.2ポイントのSmatch++スコア向上を達成したという。これは、トークンを撤回するロールバック戦略と同等の改善効果があると報告されている。
後処理に関する検証では、無効な出力が特定の入力に集中する傾向が明らかになった。限定的な学習データを用いた場合、オートマタによる制約がないサンプルでは入力全体の10.2パーセントで有効な出力が得られなかったと論文は指摘する。これに対し、完全なデータセットを用いた場合は0.4パーセントに留まり、この状況下ではフィルタリングによる効果はAPDから0.2 Smatch++ポイント以内の差であったとされている。
学習段階では、構造オートマタによって拒否されたトークンに対してペナルティを課すことで、学習開始から10パーセント経過した時点で、開発用データセットのSmatch++スコアを3.6ポイントから11.0ポイント改善したと報告されている。しかし、この利点は持続的なものではなく、限定的なデータを用いた学習の最初の6分の1の期間中に、交差エントロピー損失のみで拒否トークンに割り当てられる確率が14パーセントから2パーセント未満に減少するにつれて薄れることが示唆されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月10日 02:42 (JST)