arXiv cs.LGは10月7日(現地時間)、事前学習済みの地理空間基盤モデル（GeoFMs）「Prithvi-EO-2.0」の運用性能評価に関する論文を公開しました。この評価では、米国、欧州を含む3大陸12カ国の37イベントにおいて、訓練データ外でのモデル性能を検証。その結果、平均全体精度（OA）が米国での0.65から欧州では0.40に低下することが示されました。
この研究は、大規模な衛星アーカイブで事前学習され、作物分類精度と地理的転移可能性が向上するとされるGeoFMsの運用性能を評価したものです。特に、訓練データの分布外での性能については、これまで十分に特性評価がされていなかった点が指摘されていました。
論文の著者であるVenkatesh Kolluru氏ら10名は、精度指標に加え、モデルの確信度がシグナル故障を示すか、観測窓への感度、クラススキームの粗密化の影響、バンド損失および雲や影による汚染に対するロバスト性という5つの主要な側面を評価しました。観測窓が地域の作物生育期と一致しない場合、精度は著しく低下し、それにもかかわらず決定論的な確信度は高いままであることが判明しました。8つの比較対象イベントのうち7つで期待されるキャリブレーションエラーが増加し、影響を受けた各シーンの12〜51%がほぼゼロの精度で確信的に誤分類されていました。
Monte Carlo dropout entropyは、これら8つのイベント全てでシフトを検知し、大陸をまたぐ明らかな精度低下の多くが空間的転移ではなく、生育期のアラインメントのずれに起因することを示しました。再学習なしで精度を回復させるための2つの調整方法が特定されています。一つは、モデルの主な混同に基づいて13のクラスを10に統合することで、平均OAが8.4パーセンテージポイント上昇しました。もう一つは、観測窓を準リアルタイム利用に向けて圧縮することで、45日から90日の期間で精度が維持され、約75日でピークに達しましたが、30日より短い窓ではその水準から約0.11低下しました。この結果に基づき、GeoFMsは観測窓が地域の生育期間と一致する場所でのみ、有用に転移利用できるという運用ガイダンスが示されています。
参考: arXiv cs.LG — 2026年10月8日 13:00 (JST)