arXivが2026年10月7日(現地時間)に発表した論文「Your Prompt Should Do More: Effects of Retrieval Instructions in Embedding Models」は、プロンプト付き埋め込みモデルが検索タスクにおいて詳細な指示に信頼性を持って従うことが困難である現状を報告した。この研究では、非対称検索タスクにおける指示が検索クエリの表現に与える影響のメカニズムを分析し、訓練設定の改善が大幅な性能向上につながる可能性を示している。
この論文は、近年注目を集めるプロンプト付き埋め込みモデル、特に検索（retrieval）において詳細な検索指示がプロンプトの一部として提供される設定に焦点を当てている。これまでの研究やデータセットは、現在の埋め込みモデルがこうした指示に確実に従うのに苦慮していることを示していた。本研究は、指示が非対称検索タスクにおける検索クエリの表現にどのように影響するか、そのメカニズムを詳細に調査した。
研究チームは、評価にクエリ側の邪魔な要素（query-side distractors）が含まれる場合、モデルが単純なタスク指示さえも実行できないことがあると指摘した。この挙動は、現在の埋め込みモデルの訓練設定とその評価方法に起因するものであると仮説を立てている。
論文の著者であるアマンダ・ミンティ (Amanda Myntti) 氏、ジェンナ・カネルヴァ (Jenna Kanerva) 氏、ヴェロニカ・ライッパラ (Veronika Laippala) 氏、フィリップ・ギンター (Filip Ginter) 氏は、クエリ側の邪魔な要素を追加してファインチューニングを行うことで、大幅な性能改善が得られることを実証した。この改善は、他のタスクには最小限の影響しか与えないとしている。この研究結果は、プロンプト付き埋め込みモデルがより信頼性高く指示に従うための訓練アプローチの重要性を示唆する。
参考: arXiv cs.CL (アーカイブ) — 2026年10月8日 02:51 (JST)
原文ハイライト"models can fail to follow even simple task instructions when query-side distractors are included"