arXiv cs.AIは11月12日(現地時間)、AIモデルにおける「不透明な連続深度 (opaque serial depth)」の概念化に関する論文を公開しました。この研究では、AIモデルが言語化されない連続的な認知処理を実行できる量を示す新たな尺度として「NLS depth」を提唱しています。Chain-of-thought (CoT) がAIモデルの監視ツールとして有用である一方、一部のアーキテクチャ変更がCoTの監視可能性を著しく低下させる可能性が指摘されています。
NLS depthは、モデルのアーキテクチャ、トレーニングレシピ、展開構成からトレーニング前に評価可能であり、プロンプティング、蒸留、強化学習といった通常の事後トレーニングの影響を受けないとされています。この指標は、不透明な連続深度、すなわち解釈可能なボトルネックを通過しないモデルの計算経路における最長パスの長さを指します。論文では特に、自然言語に根ざした (NL-rooted) ノードをそのようなボトルネックとして定義しています。
NL-rootedノードとは、人間が理解可能な出力を生成するために事前トレーニング以前から初期化され、その出力空間が事前トレーニング以前から拡張されておらず、モデルがその出力を異なる種類のデータとして解釈するように変更されていないノードのことです。
オープンウェイトモデル全体では、NLS depthはレイヤー数と強い相関があるものの、例外も存在し、近年は緩やかに成長してきました。標準的なTransformerモデルの継続的なスケーリング下では緩やかな成長が続くと見られていますが、フル帯域幅Transformerのような潜在推論アーキテクチャはこれを大幅に増加させる可能性があると指摘されています。
論文の著者らは、Gemma3-1Bの深度を限定する実例を示し、AI開発者はCoTの監視可能性の直接的な測定を補完するものとして、モデルのNLS depthを追跡し報告すべきだと主張しています。
参考: arXiv cs.AI — 2026年11月16日 14:00 (JST)
原文ハイライト"An Operationalization of Opaque Serial Depth"