arXivは2026年9月10日(現地時間)、火災により物理的に変形したオブジェクトを理解するための新たな研究成果を発表した。この研究では、火災後のオブジェクト認識能力を評価する変換認識型ベンチマーク「TRACE」と、既存モデルの性能低下を改善するプラグアンドプレイモジュール「FRM」を導入している。既存の視覚モデルは深刻な劣化条件下で著しい性能低下を示す点が課題となっていた。
火災後の環境に存在するオブジェクトは、多くの場合、形状、材料の状態、視覚的側面が不可逆的に変化する物理的変形を受ける。これらの残存物を検出・識別することは、危険箇所の特定、火災前の内容物の再構築、損失の棚卸しにとって極めて重要となる。標準的な画像劣化とは異なり、これらの劣化はオブジェクト自体の物理構造に影響を及ぼす。
この設定を研究するため、研究チームは火災後のオブジェクト理解のための変換認識型ベンチマーク「TRACE」を導入した。TRACEは、21.4Kの現実画像に基づいた合成シーンと、189カテゴリにわたる499のオブジェクトIDをカバーする、オブジェクトレベルでの元の状態から劣化への進行ペアデータを含んでいる。このベンチマークでは、劣化オブジェクト検出、元の状態の回復と検索、元の材料回復、元の状態の説明生成、機能的推論という5つのタスクが定義されている。
既存のモデルは、劣化の度合いが増すにつれて性能が著しく低下することが確認された。RF-DETRのmAP（mean Average Precision）は、最も軽度なレベルから最も重度なレベルへと移行するにつれて相対的に71%減少し、InternVL3.5の検索R@1（Recall@1）は93.85から28.11に低下する。この課題に対処するため、研究チームはFeature Recovery Module（FRM）を提案した。
FRMは、ホストモデルを凍結したまま、劣化したエンコーダー特徴を元の状態に整合した表現にマッピングするプラグアンドプレイモジュールである。ペア化された特徴監視のみで訓練されたFRMは、シーンレベルの検出、CLIPおよびSigLIP2の特徴回復、そして4つのオブジェクトレベルVisual-Language Model（VLM）タスク全てにおいて性能を向上させた。特に、劣化がより深刻な状況下で、より大きなゲインを示している。VLMホストと劣化レベル全体で、相対的ゲインは検索で平均12.5%、材料回復で20.1%、説明生成で13.2%、機能的推論で12.4%となった。
参考: arXiv cs.CV — 2026年9月14日 13:00 (JST)