arXivは2026年8月12日(現地時間)、Albus W. Ng (アルバス・W・ン) 氏らが執筆した論文「Agent Safety Should Be a Runtime Contract」を公開した。同論文は、現在のAI安全性確保の主流な考え方であるモデルトレーニング時のアプローチが、コード実行やファイル変更を行う自律型エージェントには構造的に不十分であると指摘している。エージェントの安全性は、ハーネスによって強制されるランタイム契約であるべきだと提言した。
現在の支配的なパラダイムでは、AIの安全性はRLHF、DPO、またはConstitutional AIといった手法を通じてモデルのトレーニング時に確立されるものと見なされている。しかし、この論文は、コード実行、ファイルの変更、メッセージ送信、データベース修正を行う自律型エージェントに対しては、このアプローチが構造的に不十分であると主張している。
論文では、エージェントの安全性は二つの補完的な側面を持つランタイム契約によって実施されるべきだとしている。一つは予防的側面 (preventive face) で、サンドボックス、パーミッションゲート、出力フィルター、軌道モニターを通じて危険な行動が起こる前に阻止する。もう一つは証拠的側面 (evidential face) で、テスト実行、ログキャプチャ、ファイル差分、引用根拠といった確実な証拠を通じて、適切な行動が実際に行われたという検証可能な証明を要求する。
この立場を裏付ける四つの公開証拠が示された。文書化されたAIエージェントおよびLLMの安全インシデント52件の調査、31件の異議なしコアケースと1件の議論のある例を含む偽完了監査、12の公開エージェントシステムとハーネスの軌道スキーマ監査、そしてNeurIPS、ICML、ICLR 2023-2025で採択された全28,560本の論文のタイトルレベル監査である。この監査では、トレーニング時とデプロイ時に関する発表論文の間に8〜12倍の不均衡が確認された。
コンピュータセキュリティと実験科学という、過去に安全性の強制を必要とした二つの分野が、予防的要素と証拠的要素の両方を持つランタイム契約に収斂してきたことを挙げ、エージェントAIも同様の状況にあると結論付けている。論文は、エージェントAIにおける安全性の適切な単位は、モデルではなく検証可能な証拠を伴う軌道 (trajectory-with-checkable-evidence)であると述べている。
参考: arXiv cs.CR (アーカイブ) — 2026年8月13日 13:00 (JST)
原文ハイライト"Agent safety should be a runtime contract enforced by the harness"