arXiv cs.AIは2026年10月7日(現地時間)、論文「Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents」で、視覚言語ナビゲーション (Vision-and-Language Navigation、VLN) エージェントが直面する指示ギャップを解消する新手法「TGIT (Trajectory-Grounded Instruction Translator)」を発表した。ユーザーからの簡潔な指示と、エージェントの訓練に用いられる詳細なコマンドとの乖離が課題とされており、既存のOpenFlyナビゲーターではこの乖離により成功率が31.03%から11.33%に低下する。TGITは、ナビゲーターを固定したまま簡素化された入力指示をエージェントが実行可能なコマンドに変換し、成功率の大幅な向上を実現する。
視覚言語ナビゲーション (VLN) エージェントは通常、詳細かつ軌跡に合わせたコマンドで訓練される。しかし、ユーザーが発する指示は短く意図駆動型であるため、この間に「instruction gap」として知られる乖離が生じることが指摘されている。このギャップは、凍結されたOpenFlyナビゲーターにおいて、成功率 (SR) を31.03%から11.33%まで低下させることが確認されている。
研究者らはこの乖離に対処するため、言語モデルを活用し、人間が書いたスタイルの例でプロンプトを与えて元の詳細なコマンドを、より意図中心の「Weakコマンド」に変換する手法を開発した。このWeakコマンドを用いることで、成功率は15.27%に達した。
次に、TGIT (Trajectory-Grounded Instruction Translator) をフロントエンドとして導入した。TGITは、ナビゲーターを凍結したまま、軌跡の成果から学習することでWeak入力をエージェントが実行可能なコマンドに変換する。これにより、Weakコマンドで訓練されたTGITは、Weak入力の成功率を37.93%まで向上させることに成功した。
さらにTGITは、ゼロショットで実際の人間による指示にも適用可能であることが実証された。この適用により、成功率は元の11.33%から32.51%へと大幅に改善した。また、ホールドアウトされたOpenFlyの性能も4.95%から20.79%に向上させ、CityNavやAirVLNといった他のデータセットにおいても回復効果をもたらすことが示されている。
参考: arXiv cs.AI (アーカイブ) — 2026年10月9日 13:00 (JST)