アンシ・モイシオ (Anssi Moisio) 氏らは2026年9月11日(現地時間)、トランスフォーマーモデルの合成的汎化 (Compositional generalisation) に関する研究論文をarXiv cs.CLで発表した。同研究は、以前の研究で指摘された構造的汎化の困難さが、モデル固有の性質ではなくデータセットのタイプ多様性に起因する可能性を提示。タイプ多様性が合成的汎化に与える影響を検証した。
研究者らは、これまでの研究においてトランスフォーマーモデルが語彙的汎化に比べて構造的汎化でより困難を示すとされてきた点に注目した。彼らは、この違いはトランスフォーマーモデル本来の特性ではなく、先行研究で使用されたデータセットにおける語彙的タイプの高い多様性と構造的タイプの低い多様性が原因であるとの仮説を提唱した。
タイプ多様性 (type diversity)は、特定の構造を構成する具体的な単語の組み合わせではなく、そのタイプを構成する異なるコンストラクタの数を指す。この仮説を検証するため、研究者らは既存のCOGSおよびSLOGデータセットの語彙的タイプと構造的タイプのタイプ多様性の量を変更した。グラマティカル・フレームワーク (Grammatical Framework) を使用して、言語的に多様なデータセットのバリアントが作成された。
その結果、タイプ多様性が語彙的テストケースと構造的テストケースの両方において合成的汎化と均等に相関することが明らかとなり、研究者らの仮説を支持する形となった。この知見は、先行研究で提唱されていたcompound divergenceが合成的汎化タスクの困難さを説明するという見解と矛盾すると指摘されている。また、研究では新規テスト構造以外のタイプの多様性や、論理的意味フォーマットの表面特性など、他のデータセット特性が合成的汎化に与える影響についてもさらに調査された。
参考: arXiv cs.CL — 2026年9月12日 02:59 (JST)
原文ハイライト"Type Diversity Enables Transformers to Generalise Compositionally"