科学論文公開サイト arXiv cs.AI が2026年11月13日(現地時間)付けで報じたところによると、トーマス・ブレナン (Thomas Brennan) 氏、アンドリュー・W・ロー (Andrew W. Lo) 氏、チャオイー・チャオ (Chaoyi Zhao) 氏らは、人工知能 (AI) エージェントがタスクを完了しながら行動規範に従うという目的が競合する際の、進化選択によるトレードオフ学習について研究成果を発表した。

研究は、進化選択がAIエージェントの目的間の選択をどのように形成するか、および経験がその選択を人間の判断に反映させ、その後の圧力に耐えることができるか否かを調査したものです。

モデルでは、エージェントのコピーが共通の不確実な報酬状態に直面し、報酬された行動をとるものだけが繁殖します。各行動が環境によって報酬される頻度で取られるときに、長期的な成長が最大化されることが示されました。研究チームは3つのポリシーを比較しています。

一つ目の「タスクのみポリシー」は、完了のみを報酬するサンドボックス環境では成功するものの、行動規範が重要視される場合には失敗する結果となりました。二つ目の「固定線形ポリシー」は、人間が報酬を与えない場合でも、タスクの重要性が増すにつれてタスク完了を優先する傾向を示します。対照的に三つ目の「学習ポリシー」は、環境によって報酬されるトレードオフに収束し、人間が報酬を提供する場合、これを社会化 (socialization)と定義しています。

研究によれば、経験が蓄積されると、その後のタスクのみのトレーニング下でも社会化された行動は覆されにくくなることが示されました。ただし、優勢な傾向が変化する前に違反が発生する可能性があり、有限の記憶はその保護を弱める側面も指摘されています。単一の違反が展開を終了させる可能性がある場合、厳格な禁止はそれを防ぐ手段となりますが、誤った禁止はコストを伴う可能性もあります。小規模なニューラルネットワークを用いた実験では、トレーニングターゲットと記憶がこれらの結果をどのように形成するかが示されました。これらの結果は、エージェントの目標との整合性(アラインメント)が、エージェントに割り当てられた目標だけでなく、その行動を形成し維持する環境にも依存することを示唆しています。


参考: arXiv cs.AI — 2026年11月14日 03:43 (JST)

原文ハイライト

"Accumulated experience makes socialization harder to reverse under subsequent task-only training"

この記事をシェア
X はてブ LinkedIn