UK Artificial Intelligence Security Institute (UK AISI)とU.S. Center for AI Standards and Innovation (CAISI)は7月23日(現地時間)、Moonshot AIの最新モデル「Kimi K3」のサイバー能力に関する共同評価の結果を発表した。この評価でKimi K3は、先行する最先端のサイバー対応モデルと比較して、予備的なサイバー評価において著しく低い性能を示した。エクスプロイト開発ベンチマーク「ExploitBench」では32%の成功率を記録したが、これは最先端モデルの性能を大幅に下回る。また、モデルのセーフガードはサイバーエクスプロイト開発や攻撃的なサイバーオペレーションの試みを阻止しなかったと報告された。
今回の共同評価は、2026年7月16日にリリースされ、同年7月27日までにオープンウェイトリリースが予定されているKimi K3を対象に実施された。
エクスプロイト開発ベンチマーク「ExploitBench」におけるKimi K3の性能は32%で、同じ評価を行ったGLM-5.2の24%を上回った。しかし、最先端のサイバー対応モデルと比較すると著しく低く、特に任意コード実行 (ACE) を達成するエクスプロイトの開発には失敗した。Kimi K3は41サンプル中0件のACEを達成したのに対し、最先端モデルは平均で20件を達成している。ExploitBenchは、Carnegie Mellon Universityが開発した公開ベンチマークで、V8エンジンにおける2023年以降の41件の脆弱性を対象としている。
また、32ステップからなる模擬企業ネットワーク攻撃シナリオ「The Last Ones」での評価では、Kimi K3は平均17ステップに到達した。これは最先端の米国のサイバー対応モデルの平均28.5ステップを大幅に下回る。今回の評価結果は、初期ネットワークアクセスが与えられ指示された場合、Kimi K3が小規模で防御の弱い脆弱な企業システムを自律的に攻撃する能力があることを示唆している。
Kimi K3のセーフガードは、エージェント的なサイバーエクスプロイト開発を支援することを許可し、評価期間中にサイバーエクスプロイト開発や攻撃的なサイバーオペレーションの試みを阻止しなかった。今回の結果は、少数の公開および非公開ベンチマークに基づいた予備的な評価であり、Kimi K3のホスティング設定の特性により、UK AISI / CAISIは限定的なサイバー評価セットを実施したと説明されている。