arXivは11月5日(現地時間)、大規模言語モデル（LLM）の内部構造における感情表現に関する新たな研究論文を発表した。本研究は、LLMが感情を識別し、感情的な言語を生成する能力を持つ一方で、その出力予測のみでは微細な感情区別が内部でどのように組織されているか不明瞭である点を指摘。Laya Iyer氏らが7つのLLMを対象に、27の感情カテゴリと中立を含む「GoEmotions」データセットを詳細に分析した。
大規模言語モデル（LLM）は、テキスト内の感情を認識し、感情を帯びたテキストを生成する能力において目覚ましい進歩を遂げています。しかし、感情理解の深層メカニズム、特にモデルの内部表現が微細な感情のニュアンスをどのように処理しているかについては、これまで詳細な研究が不足していました。
今回発表されたCompression of Emotion in Language Model Representationsと題された研究論文は、この領域に光を当てています。研究チームは、7種類のLLMを分析対象とし、Redditから収集された英語テキストで構成される「GoEmotions」データセットを活用しました。このデータセットは、27の微細な感情カテゴリと1つの中立カテゴリの計28カテゴリで感情が注釈付けされており、複雑な感情表現の分析を可能にしています。
分析では、各LLMの予測と、感情が促された最終トークンの隠れ表現が、GoEmotionsの28カテゴリに加え、より粗い感情ファミリーおよびセンチメントグループと比較されました。その結果、モデルの内部表現は、GoEmotionsが持つ微細な感情分類法に対して、一貫した過剰圧縮（overcompression）パターンを示すことが明らかになりました。これは、モデルが微細な感情の差異を、内部でより粗いカテゴリへと集約してしまう傾向があることを示唆しています。
具体的には、KMeansプロトコルを用いた分析では、感情ラベルを使用せずに隠れ表現をクラスタリングした際、最も明確な分離が、肯定的感情と否定的感情という大きく2つのグループに分かれることが確認されました。さらに、より粗い感情のグループ化も、28カテゴリの分類法よりも少ないクラスタで回復することが可能でした。この結果は、LLMの内部で、より一般的な感情の二分法が幾何学的に強く組織されていることを示唆しています。
しかし、この過剰圧縮の傾向があるにもかかわらず、線形プローブによる分析では、実質的な微細な予測情報が内部表現に保持されていることが判明しました。これは、広範な感情構造が教師なしの幾何学的構造をより強く組織している一方で、微細な感情情報自体はモデル内で依然としてアクセス可能な状態にあることを示唆しています。
本研究は、LLMが感情を表現・理解するメカニズムに関する重要な洞察を提供します。モデルの内部表現が微細な感情をどのように「圧縮」し、同時に「保持」しているかという理解は、将来的に感情的知能を持つAIシステムの設計、感情認識の精度向上、そしてより洗練された対話システムの開発に貢献する可能性があります。
参考: arXiv cs.CL (アーカイブ) — 2026年11月9日 14:00 (JST)
原文ハイライト"Compression of Emotion in Language Model Representations"