Li Zhang氏らは10月19日(現地時間)、arXiv cs.CL上で、大規模言語モデル（LLM）の内部表現に、専門家が定義した26種のCATO要因が線形的に解読可能であることを示す研究結果を発表した。法務分野におけるLLMの知識組織の追跡が困難であるという課題に対し、Qwen3-1.7B、Qwen3-8B、およびGemma-2 2Bの3つのオープンモデルで調査。全てのモデルで26の要因が線形的に解読可能と確認された。
ケースベースの法的推論において、法律専門家は新規の紛争における法的意味を持つ事実パターンを特定し、過去の判例と比較する。人工知能と法（AI & Law）の分野では、HYPOディメンション（HYPO dimensions）およびCATO要因（CATO factors）がこれらのパターンを象徴的に表現する。これらは、判例の記述から抽出された専門知識を、明確で構造化され、解釈可能で監査可能な法的概念および関係として整理する役割を果たす。
近年、LLMの法的タスクへの利用は増加しているものの、その内部における法的知識の組織化は追跡が困難であった。本研究は、LLMが26種のCATO要因に対応する内部表現を形成するかどうかを調査した。研究では、線形デコーダビリティ（linear decodability）とスパースローカリゼーション（sparse localization）の二つの研究課題を、スパースオートエンコーダー（sparse autoencoders）を用いて検証している。
実験の対象は、Qwen3-1.7B、Qwen3-8B、およびGemma-2 2Bの3つのオープンモデルだった。モデル間の比較に加え、制御された自然言語パッセージに対する人間の監査によって、結果の信頼性が裏付けられた。その結果、これら3モデルの全てにおいて、26種のCATO要因すべてが線形的にデコード可能であることが判明した。
具体的には、単一特徴のスパースリードアウト（single-feature sparse readouts）が完全な要因カタログをカバーし、最良層テストAUC（best-layer test AUCs）は0.86から1.00の範囲を示した。また、5つの選択された特徴は、フルベクトルリードアウトの性能に迫る結果を出している。
研究チームは、各モデルにおける各要因について、78のモデル固有の層特徴座標（model-specific layer-feature coordinates）を報告した。これらの結果は、専門家によって定義された法的要因に対応する情報が、法的な記述を処理するLLMの内部アクティベーション（internal activations）から読み取れることを示唆している。本研究は、これらのリードアウトを特定することで、法的言語とHYPOおよびCATOの象徴的な抽象化を、LLMが学習した内部表現に結びつける役割を果たすものとしている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月22日 13:00 (JST)
原文ハイライト"Where Do Legal Factors Live in LLMs?"