Tag
3 件の関連記事
arXiv cs.CLは2026年10月29日(現地時間)、大規模言語モデル (LLM) の自動レッドチームにおいて、攻撃の多様性を大幅に向上させる新手法「CoFiBreak」に関する研究論文を公開した。この手法は、攻撃の成功率を維持しつつ、これまで単一的になりがちだった攻撃パターンを広げることを目的としている。強化学習ベースのレッドチーム攻撃では、成功報酬のみに依存すると特定のプロンプトに攻撃が集中し、安全評価に偏りを生むという課題が指摘されており、CoFiBreakはこの課題解決を目指す。
OpenAIは10月23日(現地時間)、フロンティアモデルのトレーニングおよび評価環境における封じ込めを強化したと発表した。同社は最も強力なモデルを活用したレッドチーム演習を実施し、境界の脆弱性を特定。モデルの能力向上に伴うリスク増大に対応するため、インターネットアクセスを遮断したオフライン環境の構築や、多層防御の導入を進めた。
マイクロソフトリサーチは2026年4月30日(現地時間)、大規模に相互作用するAIエージェントのネットワークで生じる新たなリスクについて、その調査結果を発表した。単一のエージェントが安全であっても、相互接続されたエコシステム全体が安全であるとは限らないとし、ネットワークレベルのリスクには新たなアプローチが必要であると指摘。同社は100以上のエージェントが稼働する内部プラットフォームをレッドチーム手法で検証した。