Google Researchは2026年11月4日(現地時間)、人間がAI画像分類器の主観的なカテゴリーを定義するプロセスを支援するフレームワーク「アジャイル・デリベレーション (Agile Deliberation)」を発表した。このフレームワークは、従来のAIシステムが抱える概念の進化への対応不足を解消し、ユーザーが曖昧な概念を反復的な対話を通じて明確化することで、より効果的で堅牢なAIシステムを構築することを目的としている。関連するコードとアルゴリズムはGitHubで公開された。
従来の機械学習モデルは、明確で安定したカテゴリー定義を前提として学習する。しかし、「健康的な食品」や「感動的なアートワーク」のような主観的なカテゴリーでは、その境界線が文化的背景や個人的哲学、あるいは進化する運用ポリシーによって変動する可能性がある。人間も主観的な概念について常に完全な仕様を持つわけではなく、現実世界の具体例に遭遇する中で概念の真の境界や例外、ニュアンスを発見することが多い。従来のAIトレーニングワークフローは、このような概念の進化に対応していなかった。
アジャイル・デリベレーション (Agile Deliberation) は、主観的なAI分類器の作成を反復的な対話として捉え、AIシステムをユーザーが自身の定義を研ぎ澄ます協調的なパートナーと位置付ける。このフレームワークは、複雑な概念定義のタスクをコンセプト・スコーピング (concept scoping)とコンセプト・イテレーション (concept iteration)の2つの段階に分割する。コンセプト・スコーピング段階では、システムがユーザーを導き、広範な概念を「サラダ」や「加工食品」のような構造化されたサブコンセプトや明示的な除外項目に分解させる。コンセプト・イテレーション段階では、LLMを活用して意味的に境界線が曖昧な画像を提示し、ユーザーに自身の隠れた仮定を再考させ、ポリシー規則を更新させる。この人間のフィードバックは、LLM駆動型最適化ループ (LLM-driven optimization loop) に直接送られる。
研究チームは、静的なAIベンチマークでは主観的な概念の動的な変化を捉えられないため、ライブユーザーセッションを通じてアジャイル・デリベレーション (Agile Deliberation) の評価を実施した。各1.5時間のセッションを18回行い、参加者はシステムと対話した。評価は、健康的な食品 (Healthy Food) とペイ・トゥ・プレイ・ゲーム (Pay-to-Play games) という2つの複雑で主観的なドメインで行われた。結果として、アジャイル・デリベレーション (Agile Deliberation) は手動プロンプトエンジニアリングを、境界線に位置する画像への直接フィードバックに置き換えることで、ユーザーの疲労と不安を大幅に軽減することが示された。これにより、標準的なベースラインを上回る、より一貫性があり高性能なAIモデルが生成された。
参考: Google Research Blog (アーカイブ) — 2026年11月5日 03:07 (JST)
原文ハイライト"Agile Deliberation: How AI helps humans define the gray areas"