arXiv cs.AIは2026年11月6日(現地時間)、衛星画像を用いた土地変化分析のための新たなベンチマーク「アースレコード (EarthRecord)」を発表した。このベンチマークは、マルチモーダルエージェントが過去40年間にわたる多様な衛星画像から信頼性の高い土地変化分析を行う能力を測定し、その性能向上を促すことを目的としている。これにより、既存のベンチマークが抱えていた、整理された画像や前処理済みの入力への過度な依存といった課題に対応する。
新たなベンチマークであるアースレコード (EarthRecord) は、地球上の56の異なる地点において、約40年間にわたるLandsat、MODIS、VIIRS、およびSentinel-2の生データに基づいて構築された。この設計の特筆すべき点は、クラウドマスキング（雲による画像の遮蔽を識別し除去する処理）やクロスセンサー間の調和（異なる種類の衛星センサーで取得された画像の特性を統一する処理）といった複雑なデータ前処理タスクを、マルチモーダルエージェント自身が実行するように設計されている点にある。これにより、エージェントは現実世界に即した未加工のデータから直接分析を行う能力が試される。
アースレコードは、10の多岐にわたる分析タスクにわたる238の土地変化に関する質問を提起する。これらの質問への回答は、グローバルな製品データから得られた非公開の参照データ、複数の分析手法間での一致度、および専門家による目視解釈を基準として厳格にスコア付けされる。この包括的な評価フレームワークにより、エージェントの分析精度と信頼性が多角的に検証される。
研究チームは、12の主要なマルチモーダルエージェントに対してベンチマークを用いた評価を実施した。その結果、多くのエージェントがほとんどの分析プロセスをエンドツーエンドで（つまり、生データ入力から最終結果出力まで一貫して）完了できることが示された。しかし、画像データから具体的な地理的特徴や変化を正確にマッピングする必要があるタスクにおいて、顕著な課題が浮上した。
詳細な分析からは、エージェントが事前の知識や学習済みパターンからピクセルレベルの回答を導き出す能力は高いものの、地上の実際の物理的変化を正確に捉え、反映する能力には依然として限界があることが明らかになった。具体的には、ある衛星のデータに意図的な改変が加えられた際、評価対象エージェントの正しい回答の約半数が、その改変されたデータに追随してしまうという結果が示された。これは、エージェントがデータそのものの真偽を識別する能力や、物理的な現実とデータ上の表現との乖離を認識する能力がまだ不十分であることを示唆している。
アースレコードは、研究者たちがピクセルデータから土地変化の検出に至るまで、マルチモーダルエージェントの性能を測定し、その進歩を促進するための基礎的なプラットフォームを提供すると位置づけられている。この研究論文は、Haoran Zhang氏をはじめとする6名の研究者によって提出された。
参考: arXiv cs.AI (アーカイブ) — 2026年11月11日 14:00 (JST)
原文ハイライト"From Pixels to Land Change with Multimodal Agents over Four Decades of Satellite Imagery"