Yuqi Wuらは10月3日(現地時間)、arXiv cs.CLを通じて公開された論文で、言語モデルに割り当てられた信念がその認知をどのように組織するかを測定する新しい手法「Schema Coherence Inventory (SCI)」を提案した。この研究は、ペルソナ条件付け言語モデルにおける特定の信念による行動組織化を評価する現在の手段の課題に対応するもの。SCIはBeckの認知モデルに基づき、96の強制選択項目で構成されている。
SCIは、Beckの認知モデルにおける8つのレベルにわたる96の強制選択項目で設計されている。各項目では、3つのネガティブな自己スキーマとそれに対応するポジティブな概念に紐付けられた6つの回答が提示される。スコアリングは、長さ正規化された対数尤度に基づいて実施され、生成や解析は行われない。
感情がモデルをデフォルトの信念に移行させる可能性があるため、この手法ではターゲット特異性を判別基準とする。特定の信念のために構築された条件が、その極にある他の信念のために構築された条件よりも、その信念を選択する頻度が高いことが基準となる。
1.7Bから14Bパラメータの範囲の5つのバックボーン上で、107の条件を用いた6つの検証研究が実施された。9人の臨床訓練を受けた評価者は、キーとなる信念を79.5%の確率で回復させ、これは偶然の確率16.7%を大きく上回る結果を示した。信念アダプターはすべてのバックボーンにおいてターゲット特異性を示し、30/30の信念セルでポジティブな結果（+17.7ポイント）が得られた。また、条件のSCIプロファイルは、30ケース中24ケースで自身の自由生成を特定し、これは偶然に期待される5ケースを大きく上回る。
48項目の短縮版SCIも開発され、残りの48項目とr = 0.73の相関を示した。6つの公開されている患者シミュレーターにSCIを適用した結果、その定式化の中核となる信念を1文のステートメントよりも良く伝えているシミュレーターは存在しないことが判明した。この検証ルートは、構成要素をそれに付随する感情から分離し、モデルの判断を臨床医と比較することで、言語モデルにおける情動測定のテンプレートを提供する。研究チームは、この手法のタスクタイプ、評価者、サイト、および言語を横断する拡張を概説しており、項目、スコアリングコード、および短縮版を公開している。
参考: arXiv cs.CL (アーカイブ) — 2026年10月26日 13:00 (JST)
原文ハイライト"Measuring Whether an Assigned Belief Organizes a Language Model's Cognition"