ChinaTalkは2026年8月11日(現地時間)、AIモデルの国家安全保障および戦略的決定支援能力を評価するエッセイ・評価プロジェクトコンテストの開催を発表した。政策立案者や国家指導者がAIモデルを政策決定に利用する動きが見られる中、ChinaTalkはこの分野の研究を促進する意図がある。提出期限は9月1日とされている。
ChinaTalkによると、近年、政策立案者や国家指導者がAIモデルを戦術的・運用的タスクだけでなく、広範な戦略的意思決定に利用する事例が増加している。これに伴い、外国政策や国家安全保障に関する重要な意思決定において、AIモデルがどのように機能するかを理解する必要性が高まっている。
AIモデルの評価（AI eval）は、その能力を測定するために行われる。かつては多肢選択式の知識問題が主流だったが、現在はより複雑なエージェントの能力評価に焦点が移っている。評価の構築は専門化し複雑化しており、モデルが専門家の間違いを指摘する事例も確認されている。
研究エンジニアのフロリアン・ブランド (Florian Brand) 氏とジョン・チェン (John Chen) 教授は、AI評価の重要性と現在の課題について議論した。彼らは、AIモデルが「Civ V」のような戦略ゲームで核戦争を開始する行動や、特定の地政学的シナリオに対する異なる反応を示す事例を挙げ、戦略的思考の盲点や個性的な振る舞いを指摘した。
ChinaTalkのジョーダン・シュナイダー (Jordan Schneider) 氏が作成した「PresidentBench」評価では、ある中国語モデルが台湾侵攻に対し無関心な態度を示した一方、Claudeは台湾の自由と独立維持を支持したという。このコンテストは、こうしたモデルの振る舞いを理解し、より良いAI評価を設計するための新たな手法を探求することを目的としている。
参考: ChinaTalk (Jordan Schneider) (アーカイブ) — 2026年8月11日 19:48 (JST)