SceneBind、視覚・聴覚・言語を統合するオムニモーダル表現を提示
Mingfei Chen(ミンフェイ・チェン)氏らは7月16日(現地時間)、視覚、聴覚、言語を横断する現実世界のシーンに対し、意味的および3D空間的理解を統合する新しいオムニモーダル表現「SceneBind(シーンバインド)」を提示した。この表現は、従来のオムニモーダルエンコーダーが欠いていた明示的な空間構造を捕捉し、グローバルな意味埋め込みとオブジェクト中心の意味空間スロットを組み合わせることで、シーンを意味空間エンティティとして表現する。