arxiv.orgは7月6日(現地時間)、大規模言語モデル（LLM）エージェントの永続メモリに保存される推論履歴が新たな攻撃面となる可能性を指摘する研究論文を発表した。Neeraj Karamchandani氏らが手掛けたこの論文は、エージェントの偽造された推論を悪用する攻撃「Forged Amplifying Rationale Memory Attack（FARMA）」を提案し実証。同時に、この攻撃を阻止する5層の防御パイプライン「SENTINEL」も提示している。
現代のLLMエージェントは、複雑な多段階タスクの実行において永続メモリへの依存度を高めています。このメモリは事実だけでなく、過去の観測、中間的な推論、ツールの使用情報などを保存し、将来の計画と行動を導きます。これにより機能性とタスク間の継続性が向上する一方で、エージェント自身の記憶された推論の整合性が新たな攻撃面として浮上しました。
FARMAは、エージェントの記憶された推論に偽造された痕跡を注入する二段階攻撃です。第一段階の注入フェーズでは、攻撃者はprior validation has already been completed by upstream components.といった巧妙な言い回しを用いて偽の推論エントリを挿入します。これにより、キーワードベースの防御を回避します。第二段階の増幅フェーズでは、攻撃者は以前の偽造エントリを参照する追加の偽造エントリを付加し、それらが一貫性のある確立されたものとして認識されるように増幅します。これは、偽造コンテンツの検索確率を高め、A-MemGuardのような合意ベースの防御を突破することを目的としています。
一例として、患者データを臨床データベースにインポートする電子カルテ（EHR）エージェントがFARMAの標的となる場合を挙げます。FARMAは医療事実を改ざんするのではなく、ソースレベルの検証がすでに完了していると主張するエントリをメモリに植え付けます。これによりエージェントは、検証をスキップするように指示されたわけではなく、自身のメモリが「既に発生した」と示すため、直接インポートを確立された事前慣行として扱ってしまいます。
FARMAに対処するため、研究者らは5層の防御パイプライン「SENTINEL」を提案しました。その中心コンポーネントであるReasoning Guardは、候補となるエントリを構造的に分析し、偽造の兆候を検出します。この防御策は、キーワードフィルタリングや合意ベースの防御を含む既存のメカニズムを最大100%の攻撃成功率で破るFARMAに対して、攻撃成功率を0%にまで低減できることを示しています。また、326の良性エージェントトレースにおいて偽陽性は観測されませんでした。この研究は、エージェントが取得するコンテンツだけでなく、推論履歴の整合性を保護する必要性を示唆しています。
この研究は、LLMエージェントが自律的に複雑なタスクを実行する際に、その記憶が攻撃の対象となりうることを示した点で重要性が高いです。永続メモリに依存するエージェントシステムが普及するにつれて、企業や組織はエージェントの意思決定プロセス全体に対する新たな脅威に直面する可能性があります。特に、機密情報を取り扱うシステムや自動意思決定システムでは、偽造された推論によって誤った行動が誘発されるリスクがあるため、SENTINELのような防御機構の導入が不可欠となるでしょう。
原文ハイライト"Your Agent’s Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory"