arXiv cs.CLは2026年10月14日(現地時間)、大規模言語モデル (Large Language Model、LLM) の社会的知能を実世界における説得シナリオで評価する新たなベンチマーク「パーソ (PerSo)」の導入を発表した。社会的知能は、他者の精神状態を推論する認知的知能と、その推論に基づく適切な社会的行動選択の行動的知能の2側面からなる。従来のベンチマークが合成シナリオでこれらを個別に評価していたのに対し、パーソはRedditの「ChangeMyView」コミュニティからの実世界対話を用いて、これら両側面を同時に評価する。
新たなベンチマークであるパーソ (PerSo) は、他者の信念や感情を理解する認知的側面と、その理解に基づいて効果的に行動する行動的側面の双方を包含する、LLMの包括的な社会的知能評価を目的としている。研究者らは、このベンチマークが、複雑な人間関係やコミュニケーションにおけるLLMの能力をより現実的な状況で測定することを可能にすると強調している。
パーソの構築にあたっては、LLM-in-the-loopパイプラインと呼ばれる独自の手法が採用された。これは、人間によるアノテーションと検証を組み合わせることで、評価タスクの質と有効性を保証するものである。具体的には、Redditの「ChangeMyView」コミュニティから収集された実世界の対話データが活用され、多様な説得シナリオが生成された。このコミュニティは、ユーザーが特定の視点を提示し、他のユーザーがそれを変えようと説得する構造を持つため、LLMの社会的知能の評価に理想的なデータソースとなった。
ベンチマークの評価プロセスでは、既存の多岐にわたる大規模言語モデルが対象とされた。その結果、モデルの性能は一般的にその規模、すなわちパラメーター数に相関する傾向があることが確認された。しかしながら、評価される特定の側面によって性能に顕著な差異が見られたという。これは、単にモデルサイズを大きくするだけでは、すべての社会的知能の側面が均等に向上するわけではないことを示唆している。
詳細な分析では、行動的知能を測るタスクにおいて、最も高性能なLLMが最高の人間参加者の性能をわずかに上回る結果を示した。これは、特定の社会的行動の選択や実行において、LLMが人間と同等かそれ以上の能力を発揮しうることを示している。しかし、他者の精神状態を推論する認知的知能を評価するタスクでは、最高の人間参加者がLLMを依然として上回る結果となった。この非対称性は、LLMが人間の信念や意図を深く理解する能力において、まだ限界があることを浮き彫りにしている。
この研究は、アリ・ザマーニ氏らが執筆した。研究チームは、パーソベンチマークが、今後のLLM開発において、社会的知能の向上に向けた具体的な指針を提供すると期待を寄せている。特に、認知的側面におけるLLMのさらなる能力向上は、人間とLLMのより自然で効果的なインタラクションを実現する上で不可欠な課題となる。
参考: arXiv cs.CL (アーカイブ) — 2026年10月15日 02:39 (JST)
原文ハイライト"Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios"