arXiv cs.CLは8月4日(現地時間)、大規模言語モデル (LLM) の社会イベント予測能力を評価する新たなベンチマーク「SocietyBench」を導入する研究論文を発表しました。このベンチマークは、現実世界のニュースやソーシャルメディアの投稿から事実と世論を分離した時系列データを生成し、モデルに反事実的な社会世界の進化を予測させます。既存のLLMは一般的なタスク遂行能力では高い評価を得ていますが、社会イベントの深い理解と将来予測に関する能力はこれまで十分に測定されていませんでした。
SocietyBenchは、ウェブニュースと5つのプラットフォームからのソーシャルメディア投稿を収集し、日付索引付きのタイムラインに変換します。このタイムラインでは、事実とパブリック・オピニオンのレイヤーが明確に区別されます。その後、タイムラインの各区切り日を基準に、予測に関する質問が生成される仕組みです。生成された予測質問は、確率キャリブレーションと時間的正確性という2つの独立した100点満点軸を用いて評価されます。
モデルが事前学習の記憶に依存しないよう、SocietyBenchは3段階の手順を採用しています。これにより、全ての固有名詞を置き換え、日付をイベントごとに定数でシフトすることで、実際のイベント構造を維持しながらも、表面的なラベルが除去された反事実的な社会世界が構築されます。テストは中国語版と英語版の両方で実施され、5つの異なるイベントと合計125の予測ポイントに対して評価が行われました。
テストの結果、評価された6つの最先端LLMのうち、最も強力なモデルでも100点中75.0点に留まり、ベースラインの50点をわずかに上回る程度でした。モデルによっては、確率キャリブレーションに優れる一方で時間的正確性が低い、またはその逆の傾向が見られました。共通のベースモデル上に構築された3つのエージェントフレームワークは、ベースモデルからの有意な改善は見られず、2つのモデルフリーヒューリスティクスは全てのLLMのパフォーマンスを下回る結果となりました。SocietyBenchのプロジェクトページでは、匿名化された全てのタイムライン、質問バンク、正解データ、そして採点コードが公開されています。
参考: arXiv cs.CL (アーカイブ) — 2026年8月5日 02:59 (JST)
原文ハイライト"Forecasting Counterfactual Social-World Evolution"