Anthropicは8月13日(現地時間)、フロンティア・レッド・チーム（Frontier Red Team）によるマルチエージェントシステムの研究成果を公開した。AIエージェントが自律性を高め、共有環境でタスクに取り組む際、協調の欠如が予期せぬシステム障害を引き起こす可能性を指摘。分散型AIシステムの設計における協調リスクの重要性を示唆し、今後の開発における課題となると見られる。
AIエージェントの性能向上と、共有コードベースや市場、その他の社会システムでのタスク増加に伴い、エージェント間の実世界での相互作用が増加している。人間の監視速度では不十分となる可能性があり、将来的には一部の制度が人間とAIのハイブリッド、あるいはエージェントのみとなる状況も予測される。エージェントは情報の即時把握や広範な知識で人間に優る一方、虚偽記憶や報酬ハッキングに脆弱性を持つ。複雑なマルチエージェント環境における振る舞いは依然として不明な点が多いとされ、個々のエージェントの行動特性が予期せぬ全体的な結果を招く可能性も指摘されている。今回の研究は、フロンティアモデルにおける行動傾向の具体例を特定し、予期せぬシステム障害が発生するメカニズムを示すことで、これらのリスク軽減に関する議論を促すことを目的としている。
真のマルチエージェントシステムはまだ初期段階にある。エージェントはツール利用においては効率的に協調できるものの、互いを独自の目標を持つ独立したピアとして扱う場合には困難に直面する。自律エージェントの普及と要求の厳しい環境での運用が進むにつれて、効果的な協調が不可欠になるという。ソフトウェア脆弱性検出に関する実験では、個々のエージェントが独立してコードベースをスキャンする標準的な並列アプローチと、45体のエージェントが共有フォーラムで協調するスウォームアプローチを比較した。結果として、協調型スウォームは独立並列エージェントと比較して、クロード・ミトス・プレビュー（Claude Mythos Preview）モデルを用いた場合、2700万トークンで266件の脆弱性を発見したのに対し、並列エージェントは650万トークンで21件であった。ただし、協調型スウォームによる発見の約半分は、独立並列エージェントの探索範囲外であった。コアディレクトリに限定した場合、脆弱性あたりのトークン消費量は両手法で同程度となり、両手法は補完的であることが示された。協調型スウォームのエージェントはツールを構築し、特定の種類の脆弱性発見に特化する能力を示しており、将来的にこの種の専門化と協調が非協調的な探索に優位性を持つと予測されている。
エージェントが相互に依存する大規模なソフトウェアエンジニアリングプロジェクトのような状況では、協調はさらに困難になる。この点を検証するため、複数のエージェントスウォームにテキストベースのウェブプレイ可能なオープンワールドファンタジーゲームを開発させた。各エージェントには仮想マシン、共有フォーラム、自己ホスト型リポジトリが提供された。プロンプトは「単純なチーム形成」「役割規定」「CEO階層」の3種類を試したが、ゲームの品質に大きな改善は見られなかった。生成されたゲームは実行速度やインターフェース、学習曲線において低い品質であり、モデルは現状で人間の指示を必要とすることが示唆された。異なるモデル世代（ソネット 4.6（Sonnet 4.6）およびソネット 5（Sonnet 5）、オーパス 4.6（Opus 4.6）およびオーパス 4.8（Opus 4.8）、クロード・ミトス・プレビュー）間では、協調方法に顕著な違いが見られた。特にソネット 5は、高いプルリクエストマージ率を維持しつつ、他のエージェントと直接協力してコードを共有できた唯一のモデルであった。
参考: anthropic.com (アーカイブ) — 2026年8月13日 09:00 (JST)