ジーフェイ・フー (Zhifei Hu) 氏らは10月29日(現地時間)、ウェブワールドモデル (Web World Models) における予測の妥当性だけでは、安全な意思決定には不十分であるとする研究論文「Beyond Plausible Prediction: Safety Sufficiency in Web World Models」をarXivで発表した。既存モデルが示す偏った権限付与行動に対処するため、安全性評価ベンチマーク「セーフウェブワールド (SafeWebWorld)」と、潜在的な権限構造を回復する手法「レイテント・オーソライゼーション・リカバリー (Latent Authorisation Recovery、LAR)」を提案している。
同論文は、多くのウェブワールドモデルがエージェントの行動前に結果を予測する際、妥当な予測を示す一方で、ユーザーへの権限付与判断において偏った挙動を示すと指摘する。
論文によると、10のオープンモデルからの3,000件の予測に対する人間による評価では、86.1%が意味的に妥当と判断された。しかし、複数のモデルは低い誤安全実行と、問い合わせが必要なASKケースのリコール不足、そしてブロック (BLOCK) を強く推奨するという非対称な権限付与行動を示した。
これらの課題を背景に、論文は安全性十分性 (safety sufficiency) という概念を導入した。これは、予測インターフェースが、実行可能 (EXECUTED)、問い合わせが必要 (ASK)、またはブロックすべき (BLOCKED) な行動を区別するために必要な、ポリシー決定に不可欠な情報を保存し、公開しているかどうかを指す。
提案されたセーフウェブワールドは、5つのウェブ安全性ドメインにわたる安全性十分性を評価するためのベンチマークである。これは行動条件付きの将来、ポリシー決定に不可欠な証拠、ポリシー条件付きの決定を用いて評価する。セキュリティアラインド教師付きファインチューニング (Security-Aligned Supervised Fine-Tuning) プロトコル下では、証拠の保持は大幅に改善するものの、権限付与に敏感な決定は悪化することが判明した。
この悪化が、権限付与に敏感なスコア構造の損失か、決定読み出しの失敗かを判断するため、レイテント・オーソライゼーション・リカバリーを導入した。フローズンスコア再キャリブレーション (Frozen-score re-calibration) により大幅な回復が見られるが、これはバックボーンに依存する。しかし、家族内および一致した権限付与評価は依然として芳しくなく、集約的な回復が堅牢なきめ細かい権限付与行動を意味するわけではないことが示された。最終的に、妥当な予測、証拠の保持、および集約的な回復はそれぞれ単独では堅牢な権限付与を確立するには不十分であると結論付けている。
参考: arXiv cs.AI (アーカイブ) — 2026年11月2日 14:00 (JST)
原文ハイライト"Beyond Plausible Prediction: Safety Sufficiency in Web World Models"