チーハオ・シュー (Chih-Hao Hsu) 氏らは2026年11月6日(現地時間)、大規模言語モデルが心理学的構成概念を内部で表現するのか、あるいは心理測定構造に似た出力のみを生成するのかを調査した研究論文を発表したとarXivが報じた。同研究では、Metaが開発した大規模言語モデル「Llama 3」と、アリババクラウドの言語モデル「Qwen 2.5」を含む14モデルバリアントを用い、台湾の大学生272人から得られた心理尺度回答データと比較分析を行った。大規模なモデルバリアントが人間の尺度間相関を再現し、増幅する行動レベルの結果を示している。
この研究は、クロスパーソナパラダイムを採用し、0.5Bから14Bのパラメーターを持つ計14種類のベースモデルおよびインストラクトモデルのバリアントで分析を実施した。実際の人間である台湾の大学生272人から得られた1つの心理尺度に対する回答に基づき、モデルは他の6つの心理尺度に対する回答を予測するよう設計された。このアプローチにより、モデルの行動が人間の心理測定構造とどの程度一致するかを評価した。
行動レベルの分析では、より大規模なモデルバリアントが人間の尺度間相関を再現し、それを増幅する傾向が明確に見られた。この増幅効果は、7つの尺度における人間の相関を測定誤差減衰について補正した後も持続することが確認された。研究チームは次に、この行動レベルで観察された構造がモデル内部でどのように反映されているかを検証するため、内部構造分析へと焦点を移した。
内部構造の分析には、Contrastive direction analysisが用いられた。その結果、より大規模なインストラクトバリアントにおいて、人間の行列と整合するジオメトリが確認された一方で、ベースバリアントではその整合性が低いことが示された。モデル全体を通して、ジオメトリの強度は行動の増幅と強く関連しており、相関係数rは0.68 (p = 0.008) であった。モデルのログサイズを制御した場合の部分相関係数も0.69を示し、この関連性の頑健性を裏付けた。
さらに、内部構造を出力行動と関連付けるため、activation-probing paradigmが適用された。この分析から、プローブの傾きが行動の傾きと異なることが判明した。合成コントロールを用いた追加分析では、リッジプロービングがこれらの傾きを過大評価する可能性が示唆された。別の分析に基づく信頼性指標を用いたベースラインを差し引いた後でも、調整された傾きは行動と有意な関連性を示し、相関係数は0.88であった。このプローブと行動の間のギャップは、研究者によってreadout attenuationと定義されている。これらの結果は、テストされたアッセイの下でデコード可能性と幾何学的な整合性を確立するものの、測定された方向がクロスパーソナ回答を直接仲介することを必ずしも示すものではないことを示唆している。本研究は、2026年のNeurIPSで受理された論文として発表された。
参考: arXiv cs.AI (アーカイブ) — 2026年11月11日 14:00 (JST)