arXiv cs.AIは2026年10月8日(現地時間)、大規模言語モデル（LLM）の長期的戦略的プレイを評価する新たなベンチマーク「SpireBench」を発表した。人気デジタルデッキ構築ゲーム「Slay the Spire（StS）」を用いた評価では、20種類のLLMがゲームの最高難易度で試された。その結果、最先端のモデル群は平均的な人間プレイヤーと同等のパフォーマンスを示したものの、専門家レベルには達しないことが判明した。
SpireBenchは、エージェント型の大規模言語モデル（LLM）が複雑なタスクに取り組む際の長期的戦略的推論の評価不足に対応するために導入された。従来の多くのエージェントモデル向けベンチマークが短期的かつエピソード的な評価に留まっていたのに対し、SpireBenchは初期の決定が長期的な成功を左右する商用デッキ構築ゲームSlay the Spire（StS）をモデルにプレイさせることで、より深い戦略性を探る。
研究では、同ゲームの最高難易度において20種類のLLMを評価した。その結果、最先端のモデル群はヒューリスティックなベースラインを上回るパフォーマンスを示し、平均的な人間プレイヤーと同等のレベルに到達した。だが、エキスパートプレイヤーと比較すると依然として大きな隔たりがあり、この性能差はゲームの進行フェーズが進むにつれて拡大する傾向が見られた。最も性能の高いモデルでさえ、ゲーム最初の「アクト」ではエキスパートとほぼ同等の勝率を記録するものの、以降の進行で劣勢に転じる傾向が観察された。
強いモデルと弱いモデルを分ける要因は、個々の戦闘におけるプレイ戦略にあると指摘されている。全てのモデルに共通して、ゲーム全体を通じたリスク判断の誤りが指摘されており、特に成長のための体力消費よりも温存を優先しすぎる傾向が見られた。また、ゲーム用語を包括的かつ自己整合的な形で再命名する実験を通じて、モデルのパフォーマンスの一部がゲームに対する事前知識に依存していることが示唆された。さらに、モデルが複数のプレイを通じて「記憶」として書き込む情報からの改善は見られず、これらの記憶はしばしば誤りを含み、過度に慎重な内容であったことも明らかになった。
今回の評価ハーネスは、モデルに対して完全なオリジナルゲーム環境を提供した初の試みであり、既存の評価ハーネスとも詳細に比較検討された。SpireBenchは、飽和していない長期的ベンチマークとして、エージェントがどこで、なぜ失敗するのかを特定するためのツールを提供している。
参考: arXiv cs.AI (アーカイブ) — 2026年10月12日 13:00 (JST)
原文ハイライト"Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire"