arXiv stat.MLは2026年10月22日(現地時間)、論文「Reliable AI-Assisted Decisions via Selective Auditing」を公開し、AIシステムのオンライン意思決定を監視する新たな手法を提案した。この研究は、提案されたAIの決定と信頼度スコアに基づき、自動受諾か、人間監査員への相談かを判断する。専門家による監査を最小限に抑えながら、未監査AIエラーの割合をユーザー定義の閾値以下に保証する最適化問題が定式化され、実証可能なエラー制御保証を持つアルゴリズム群が導出された。
この研究は、AIシステムが生成する一連の決定をオンラインで監視することに焦点を当てている。各ラウンドにおいて、システムは提案された決定とともに、その信頼性を示す自信度スコアを出力する。決定と自信度スコアは、必ずしも同一のモデルによって生成される必要はなく、例えば、あるエージェントが決定を提案し、別の検証エージェントがそれを評価して正確性や安全性スコアを出力する形式も考えられる。
この課題はオンラインの制約付き最適化問題として定式化される。目標は、専門家による監査の頻度を最小限に抑えつつ、AIエラーが未監査で進む割合をユーザー定義の閾値以下に保つことにある。研究チームは、いかなる仮定も置かずに実証可能なエラー制御保証を持つアルゴリズム群を開発した。これには、最適な効率性を持つ手法が含まれ、敵対的および独立同分布のデータストリームの両方において、達成可能な最高の監査率を漸近的に達成するとされる。
大規模言語モデルに対する有害なリクエストのスクリーニング、定性的なテキストアノテーション、およびデータラベリングに関して実験が行われた。実験結果は、提案された手法が実際に有効なエラー制御を実現し、ベースラインと比較して人間の監査の必要性を大幅に削減することを示している。本論文の著者は、アイザック・ギブス (Isaac Gibbs) 氏、エリス・L・ハン (Elise L. Han) 氏、ライアン・J・ティビシラニ (Ryan J. Tibshirani) 氏、ティヤナ・ザーニック (Tijana Zrnic) 氏である。
参考: arXiv stat.ML (アーカイブ) — 2026年10月23日 02:59 (JST)
原文ハイライト"Reliable AI-Assisted Decisions via Selective Auditing"