チージン・チャン (Qijin Zhang) 氏ら複数の研究者は2026年10月22日(現地時間)、大規模言語モデル (LLM) エージェントにおける証拠不足時の安全性と証拠回復能力を評価する実行可能なベンチマーク「EpiSEM-Bench (エピセム・ベンチ)」を発表した。ツールを使用するLLMエージェントは、環境的事実に依存して行動の許可を判断するため、ツール応答から安全関連の事実が省略されると、ユーザーの要求が安全であっても禁止された行動を実行する可能性がある。EpiSEM-Benchはこの課題に対応する。
EpiSEM-Benchは、6つのドメインにわたる300の対になった安全/危険なタスクペアで構成される。このベンチマークは、重要な事実を体系的に抑制することで、証拠の欠落下での安全でない実行を測定し、観察された最小の失敗数（完全な証拠がある場合の失敗や、徹底的なテスト後に失敗が観察されない場合を含む）を特定する。
また、独立した監査ツールは、エージェントが不足している事実を求めるか、そして許容されるタスクを完了しながら禁止された行動を控えるかをテストする。
このベンチマークによる評価の結果、10のモデル間で欠落への堅牢性、証拠取得、および適切な行動においてかなりのばらつきがあることが明らかになった。証拠の欠落に対する耐性が必ずしも有用な回復能力につながるわけではないことも示された。回復アクセスは、10のモデルすべてで安全でない実行を減少させるが、エージェントが不足している事実を積極的に取得し、それらを適切に行動するために使用するかどうかで異なることが判明した。
参考: arXiv cs.AI (アーカイブ) — 2026年10月23日 02:57 (JST)
原文ハイライト"evaluating unsafe execution, safety boundaries, and evidence recovery in LLM agents"