バーリント・ギェヴナール (Bálint Gyevnár)とサイモン・デデオ (Simon DeDeo)の両氏は2026年11月5日(現地時間)、arXiv cs.AIで、数理証明形式化においてAIエージェントが人間とは異なる選好を示すことを明らかにした研究論文を発表した。この研究は「シミュレーテッド・コラボレーション (simulated collaboration)」と称する手法を用い、AIエージェントの行動パターンと人間の選好との乖離を体系的に分析している。
この研究は、AIエージェントが数理証明作成のタスクをどのように遂行するか、その過程で人間と異なる行動を示す点に焦点を当てている。特に、AIエージェントが表面的な構文と根底にある意味論のどちらにより注意を払うか、そしてAIエージェントが次に何をすべきかについて、人間の選好とどこで、どのように乖離するかの2点に注目している。
分析は、Leanにおける大規模な人間の共同作業プロジェクト9件を対象に行われた。これには470万の定義と6000件以上のコミットが含まれる。その結果、証明構築の過程でAIエージェントが示す以下の特徴が判明した。
- 明示的にマークされたギャップに対し、人間よりもはるかに強く引き寄せられる傾向がある。
- 密接に接続された証明の中心部や、複雑または予期せぬ証明の目標に対し、相対的に忌避感を示す。
- 予期せぬ証明本体には相対的に強く引き寄せられ、それらをベースラインに向けて規則化しようとする傾向がある。
これらの結果は、数学分野における将来の人間とAIの共同作業において、重要な盲点と潜在的な介入の必要性を示唆している。
参考: arXiv cs.AI — 2026年11月6日 14:00 (JST)
原文ハイライト"AI agent preferences for what to do next diverge from human preferences."
この記事をシェア