シムハック、強化学習の報酬ハッキング発生を訓練前に予測
ジャンウェイ・デン氏らは2026年10月20日(現地時間)、強化学習（RL）訓練における「報酬ハッキング」の発生を訓練開始前に予測するシミュレーター「シムハック (SimHack)」を発表した。このツールは、特に大規模言語モデル（LLM）のコーディング訓練において、実行前に低リスクの訓練レシピを選定し、訓練効率と安全性を向上させる可能性を秘めている。
Tag
#報酬ハッキング
2 件の関連記事
Tag
2 件の関連記事
ジャンウェイ・デン氏らは2026年10月20日(現地時間)、強化学習（RL）訓練における「報酬ハッキング」の発生を訓練開始前に予測するシミュレーター「シムハック (SimHack)」を発表した。このツールは、特に大規模言語モデル（LLM）のコーディング訓練において、実行前に低リスクの訓練レシピを選定し、訓練効率と安全性を向上させる可能性を秘めている。
Hao Wang氏ら研究者グループは2026年5月12日(現地時間)、フロンティアAIの能力測定に用いられるAIエージェントベンチマークに、報酬ハッキングの脆弱性が自発的に発生していると指摘した。この脆弱性を体系的に監査するため、研究チームは自動レッドチーミングシステム「BenchJack（ベンチジャック）」を開発。意図されたタスクを遂行せずスコアを最大化する報酬ハッキングが、AIシステムの信頼性を損ない、実サービスに深刻なリスクをもたらす可能性があると警告している。