arXiv cs.CVが2026年9月13日(現地時間)付けで報じたところによると、エムディー・カリード・サイフラ (Md Khalid Syfullah) 氏とアルヴィ・アタウル・ハリル (Alvi Ataur Khalil) 氏は、画像と自然言語クエリを統合解釈するVisual Question Answering (VQA) システム向けのプライバシー保護型U字型スプリット学習フレームワーク「USPLIT-VQA」を提案した。このフレームワークは、ユーザーデータのプライバシー保持と計算効率の向上を目指している。
USPLIT-VQAは、各クライアントが初期層と分類ヘッドを保持し、サーバーが計算負荷の高い中間層をホストする方式を採用している。これにより、生入力とラベルはクライアントデバイス上に保持される。
さらに、提案されたコントリビューション・アウェア・ウェイテッド・アグリゲーション (CAWA)は、勾配類似度に基づいたクライアントスコアリングメカニズムであり、悪意ある更新の影響を軽減することを目的としている。
研究では、VQA-RAD、SLAKE、PathVQA、VizWizの4つのVQAデータセットと、Custom model、BiomedCLIPの2つのバックボーンを用いて実験を行った。結果として、Custom modelにおいてはフェデレーテッド学習 (Federated Learning) に対し精度向上を示したものの、BiomedCLIPでは評価された固定スプリットにおいて精度低下が確認された。
また、USPLIT-VQAは、クライアントメモリを最大5.8倍、通信量を最大10.8倍削減する効果も報告されている。1つの悪意あるクライアントが存在する場合、CAWAは攻撃者の影響を98%以上削減することが示されたが、より高い汚染レベルでの限界も指摘されている。再構築実験では、評価された攻撃下での反転品質が低いことも示されている。
参考: arXiv cs.CV (アーカイブ) — 2026年9月14日 13:00 (JST)
原文ハイライト"We propose USPLIT-VQA, a U-shaped split learning framework for privacy-preserving VQA"