arXivが2026年7月30日(現地時間)付けで報じたところによると、AIアプリケーションに利用されるシステムプロンプトをユーザー視点で体系的に監査するフレームワーク「Artificial Intelligence System Prompt Assurance (AISPA)」（エイスパ）が発表された。本フレームワークは、AIシステムの広範な展開における信頼性と説明責任のギャップに対処することを目的としている。
論文AISPA: User-Centric System Prompt Auditing for Large Language Model Applicationsでは、開発者がAIアプリケーションの基盤モデルの挙動を管理するために設定するシステムプロンプトが商用AI製品で広く使用されている一方で、その詳細が一般や規制当局に開示されることが少ない現状を指摘している。
本研究では、ユーザーにとって重要な8つの側面に基づいてシステムプロンプトの特定部分を評価するAISPAフレームワークを導入。このフレームワークを用いて、88の商用AI製品から抽出された3,249の指示を分析し、各指示をユーザーを保護するものか、あるいは問題があるものかに分類した。
監査の結果、四つの主要な発見が示された。第一に、システムプロンプトの設計は製品や開発者によって大きく異なり、一部の組織は製品あたり平均60以上の保護的指示を持つ一方で、5未満の組織も存在した。第二に、保護的指示は98.9%の製品に少なくとも一つ含まれるものの、AISPAの8つの側面の全てをカバーするものは24%にとどまり、その範囲が浅いことが判明した。第三に、システムプロンプトは着実に長くなり、よりユーザーを保護する傾向が見られ、商用プロンプト設計においてユーザー保護がより顕著な懸念事項となっていることが示唆された。第四に、これらの進展にもかかわらず、問題のある指示が依然として広範に存在し、約40%の製品にユーザーの利益に反する指示が少なくとも一つ含まれ、保護的指示と問題のある指示が同じプロンプト内に共存する例も多く確認された。
これらの調査結果は、商用AI製品におけるシステムプロンプトの透明性、標準化、および独立した監視の必要性を強調している。
参考: arXiv cs.AI — 2026年7月31日 02:58 (JST)
原文ハイライト"creating a serious trust and accountability gap in the wide deployment of AI systems."