arXiv cs.CLは6月5日(現地時間)、大規模言語モデル (LLM) の行動一貫性を測定・改善する新たな手法「Cognitive Kernel Model (CKM)」に関する研究論文を公開した。CKMは、モデルが意思決定前に情報を「事実 (Fact)」「ヒューリスティック (Heuristic)」「感情 (Emotion)」の三つの認識役割に分離させ追跡するプロンプトレベルの状態強制レイヤー。この手法はモデルの重みを変更せず、繰り返し出力のばらつきを低減し、新しいモデルで意思決定の反転率を最大82%削減する効果が確認された。
Cognitive Kernel Model (CKM) は、モデルの能力自体に機能を追加するものではなく、モデルが行動を起こす前に使用する情報の種類を追跡することを強制する。具体的には、遷移関数によって更新される構造化された状態S_t = {F_t, H_t, E_t} を維持する。
研究チームは、このCKMの有効性を韓国語の意思決定シナリオ(曖昧さ、倫理的対立、資源配分、エラー処理)で評価した。評価は四つのベンダーから提供された26のLLMに対し、37,403回の観測を行い、四つの主要実験、4-arm ablation、5-arm sham-restriction ablation、および温度プローブを通じて実施された。
主要な発見として、CKMは繰り返し出力のばらつきを低減させ(ランダム効果ヘッジズのg=1.09、95%信頼区間[0.83, 1.35]、31モデルペア)、状態の持続性により新しいモデルでは意思決定の反転率を82%削減した(g=1.52)。研究チームは、この効果が単なるJSONフォーマットによるものではないとしている(値のみの再計算でg=2.24)。また、固定アンカー状態下での固有のランダム性は無視できるほど小さいことも示された。さらに、サンプリングの確率的変動下でこの優位性は増大する(温度0.7でg=2.87)。
また、sham ablationにより、利得の約45%は構造的な足場によるものであり、55%が事実/ヒューリスティック/感情の内容によるものとされている。CKMは一貫性を高めると同時に反転も減らす唯一のアームだった。ただし、CKMは推論の正確性を改善するものではない。この研究は、行動の一貫性が測定可能であり、モデル間で異なり、モデルに意思決定前に事実、仮定、評価信号を分離させることで部分的に改善可能であることを示唆している。
参考: arXiv cs.CL (アーカイブ) — 2026年7月29日 13:00 (JST)
原文ハイライト"We test the Cognitive Kernel Model (CKM), a prompt-level state-enforcement layer."