arXiv cs.IRは2026年11月10日(現地時間)、Text-to-SQLシステム向けのテーブル検索手法「FERN (Feature-Engineered Ranking with No generative LLM)」に関する論文を発表した。この手法は、3つの凍結されたリトリーバーを統合し、LightGBMランカーを用いて候補の再順位付けを行うことで、質問に必要なテーブルを効率的に検索する。Arjun Rao氏とNishant Gopinath氏らが本研究を執筆した。
この研究は、大規模なプール型カタログに対応するText-to-SQLシステムが、質問に合致するテーブルを検索する際の課題に対処することを目的としている。FERNは、Claude 3.5モデルを使用しキーワードを抽出してテーブルを選択する既存のベースライン手法「RASL」と比較検証された。
FERNのプロセスでは、まず3つの凍結されたリトリーバーから100の候補テーブルを生成する。これらの各候補は最大120の特徴量で記述される。その後、BIRDトレーニングセットの質問で一度適合させたLightGBMランカーを使用して、これらの候補を再順位付けする。
適合させていないSpiderベンチマークでの評価では、FERNが生成した候補プール単体で、15テーブルにおいてRASLの公開されているリコール値98.0%に達した。さらに、ランカーを適用することで、上位5件にすべての正解テーブルが含まれる質問の割合 (complete@5) が83.9%から95.6%へと向上した。Spiderベンチマークにおける5テーブルの場合、FERNのリコール値は96.7%で、RASLの97.0%とは1ポイント差以内に収まった。
BIRDベンチマークでは、証拠ヒントが存在する場合、FERNのリコール値は96.6%でRASLの97.5%と1ポイント差以内だった。しかし、ヒントなしの条件下では、FERNのリコール値は89.3%となり、RASLよりも8.2ポイント低い結果を示した。
BEAVERベンチマークの実際の質問121件を用いた評価では、FERNは適合させていないにもかかわらず、15テーブルでのリコール値が82.1%を記録した。これはBEAVERに適合させた2つのリトリーバー（80.8%、84.5%）の中間的な性能である。ただし、complete@15では49.6%にとどまり、これら2つのリトリーバー（54.5%、62.0%）を下回った。
Fibenベンチマークにおける15テーブルでのリコール値は54.2%で、69.2%には遠く及ばなかった（これは異なる質問セットによる影響が指摘されている）。しかし、50テーブルでのリコール値は80.7%であり、RASLの質問のみのリトリーバル結果である79.4%に数値的に近い性能を示した。BIRD開発セットで証拠ヒントを用いると、非リトリーバル特徴量がリトリーバルシグナル単体と比較してcomplete@5を7.7ポイント向上させることが確認された。BIRD開発セットにおける中央レイテンシは、A100 GPU 1基あたり質問1件につき208ミリ秒だった。
参考: arXiv cs.IR (アーカイブ) — 2026年11月11日 03:39 (JST)