arXiv cs.CRは2026年10月18日(現地時間)付けで、大規模言語モデル (LLM) によって生成されたAndroidモバイルフォレンジック報告書の証拠に基づく評価フレームワークを発表しました。この研究は、LLMの流暢な出力が証拠としての信頼性を保証しないという課題に対応。提案されたフレームワークは、原子レベルの主張に基づき、生成された報告書を評価し、根拠のない内容の検出や、主張と証拠の系譜維持に貢献すると期待されています。
この研究では、Gemini、Llama、Qwenの各LLMを用いて、2つの管理されたケースで報告書を生成しました。具体的には、公開されているAndroid 13データセットと、報告可能な事実がゼロである物理的なLGデバイスを用いています。受理された6つの報告書は612の主張に分解され、内容のラベリング、引用の検証、事実想起分析、独立した再確認、および紛争解決といった厳密なプロセスを経て評価されました。
最終的なコーパスには、支持された主張が424件、根拠のない主張が163件、矛盾する主張が4件、誇張または不完全な主張が4件、そして除外された主張が17件含まれていました。公開データセットのケースでは、これら3つのモデル全てが27件の承認された報告レベルの事実全てを回復したものの、引用の妥当性には大きな差が見られました。Geminiは189件の必須引用のうち168件が有効、Qwenは189件のうち145件が有効であったのに対し、Llamaは135件の必須引用のうち有効なものが0件でした。また、報告すべき事実がゼロである物理デバイスのケースでは、モデルは65件の主張を生成し、その中には38件の根拠のない主張と1件の矛盾する主張が含まれていました。
これらの結果は、証拠の制限や完全な事実想起が、必ずしも主張の裏付けや証拠への妥当な帰属を保証しないことを示唆しています。本フレームワークは、根拠のない内容の検出、主張から証拠への系譜の維持、そして最終的なフォレンジック報告書に対する捜査官の権限保持を可能にする、監査可能な方法を提供します。この研究は、IEEE International Conference on Trust, Privacy and Security in Intelligent Systems, and Applications (IEEE TPS 2026) で受理されています。
参考: arXiv cs.CR (アーカイブ) — 2026年10月21日 13:00 (JST)