ジュンハオ・ワン (Junhao Wang) 氏らは10月21日(現地時間)、多様なモダリティに対応する大規模言語モデル（OLLM）に基づくガードレールの安全性、有用性、信頼性を評価するための新たな包括的フレームワーク「Omni-UBench」を発表した。この研究は、論文「Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability」として、学術リポジトリarXiv cs.CRを通じて詳細が公開されている。
Omni-modal Large Language Models (OLLMs) は、テキスト、画像、音声、動画といった複数のモダリティを統合的に処理することで、人間とAIのインタラクションの可能性を大きく広げている。しかし、その一方で、この多様なデータ処理能力が悪意のあるユーザーによって悪用され、安全対策が回避されるリスクも増大している。攻撃対象領域が拡大することで、巧妙な手口で安全対策を突破される懸念が高まっている。
こうした多岐にわたるリスクに対抗するため、あらゆるモダリティにおいて不適切なクエリを検出し、フィルタリングする「オムニモーダル・ガードレール」の開発が進められてきた。しかし、これまでその能力と限界を客観的かつ包括的に評価するための標準的なベンチマークが存在せず、その実態が十分に把握されていなかった。
今回発表された「Omni-UBench」は、オムニモーダルな安全評価を目的とした初の包括的フレームワークとして位置付けられる。このベンチマークは、ガードレールモデルを安全性、有用性、信頼性という3つの主要な側面から多角的に評価する。テキスト、画像、音声、動画、さらにはそれらの組み合わせであるクロスモーダルな入力にわたる35以上の多様なソースから、18万3000を超えるサンプルが厳選され、統一されたリスク分類法に基づいて詳細な安全ラベルが付与されている。
Omni-UBenchを用いて、15の代表的なOLLMおよびオムニモーダル・ガードレールに対しベンチマーク評価が実施され、いくつかの重要な知見が明らかになった。まず、現代のOLLMは、ガードレールに特化した追加チューニングなしでも、高いレベルのコンテンツモデレーション能力を発揮する可能性を秘めていることが示された。次に、既存のガードレールは、有害な意図を巧妙に隠蔽するクロスモーダルなクエリや、高度なジェイルブレイク（安全対策の迂回）を特定する点で、依然として課題を抱えていることが判明した。さらに、ガードレールが不正確な安全情報を提示する安全性の幻覚 (safety hallucination)を大幅に示し、特にテキストパターンに対して過敏に反応することが確認された。これは、ガードレールがクロスモーダルな安全セマンティクスを十分に理解していないことを示唆している。これらの知見は、将来的にOLLMと連携するガードレールの研究開発において、より堅牢で信頼性の高いシステムを構築するための貴重な洞察を提供するものだ。
参考: arXiv cs.CR (アーカイブ) — 2026年10月26日 13:00 (JST)
原文ハイライト"Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability"