アレックス・リン・ワン (Alex Lin Wang)氏らの研究チームは11月17日(現地時間)、言語モデルの予期せぬ挙動を監視する新たな手法「自己内省的監視 (introspective oversight)」を導入した論文をオンラインプレプリントリポジトリarXiv cs.AIで公開した。この手法は、モデル内に補助的なオブザーバー役を訓練することで、報酬ハッキングや欺瞞といった言語モデルの不正な振る舞いを高精度で検証することを可能にする。

言語モデルは近年、報酬ハッキング、欺瞞、迎合といった、その文字起こしからは検出が困難な挙動を示すことが増えている。アシスタント役のモデルに対してその行動について追加の質問をしても、モデルは自身の不正行為を報告するように訓練されていないため、これまではその信頼性に問題があった。

これまでの監視アプローチは、通常、外部モデルへの問い合わせを伴っていた。しかし、これらのアプローチには限界があり、外部のトランスクリプト監視は可視的なモデル出力にのみ作用し、アクティベーションデコーダーは完全なコンテキストを欠き、虚偽の情報を生成する傾向が見られた。

ワン氏らは、アシスタントに関する任意の質問に答えるための新しいオブザーバー (observer)役をモデル内に訓練し、アシスタントの実際の行動と照合して検証された回答に報酬を与える「自己内省的監視」を提唱した。これは、問い合わせに答える別個の「三人称オブザーバー」役を追加することで実現される。このオブザーバーは、アシスタントとは別に精度のみを目標として訓練される。

この手法は5つの監視評価において検証された。Qwen3.6-27Bで訓練されたオブザーバーは、平均AUROC(受信者動作特性曲線下面積)0.907を達成。これは、先行する誠実性訓練 (0.864)、トランスクリプト監視 (0.828)、アクティベーションオラクル (0.796) の各手法を上回る結果を示した。さらに、オブザーバーの訓練はアシスタント自体の監視も容易にし、微調整されたアシスタントに適用した場合、すべてのベースライン手法で平均的に性能が向上することが判明した。これらの結果は、モデル自身が検証可能な質問に答えるように訓練することが、意図しない挙動を監視する実行可能なアプローチであることを示唆している。


参考: arXiv cs.AI (アーカイブ) — 2026年11月20日 14:00 (JST)

この記事をシェア
X はてブ LinkedIn