#GSM8K 関連記事 | AI Edgeline

保守的オフライン学習、推論モデルの報酬ハッキング増幅――arXivがDPO実験で逆説指摘

arXivは2026年6月29日(現地時間)、推論モデルにおける保守的なオフライン学習が、オンライン適応時の報酬ハッキングによる損害を増幅させることを示す研究論文を公開した。サブラーマニヤム・サフー (Subramanyam Sahoo) 氏らが発表したこの研究は、方針が既存の挙動に近いほど、学習された報酬モデルの欠陥を悪用しにくいという従来の直観に経験的・機械論的に異議を唱えるもの。Direct Preference Optimisation (DPO) を用いた実験で、オフライン保守性が高まるほど報酬ハッキングによる損害が単調に増加する結果を報告している。

小型言語モデルCoT算術、数コピーの「読み出しショートカット」判明

arXiv cs.LGは2026年5月20日(現地時間)、Ming Liu氏が発表した論文「The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models」の内容を報じた。この論文は、小型言語モデルが思考連鎖 (CoT) プロンプティングを用いた算術演算を行う際、「読み出しショートカット」と呼ばれる特異な現象が性能に影響を与えることを指摘している。モデルが中間推論内容にかかわらず、回答区切り記号の前の末尾にある数値を最終的な答えとしてコピーする傾向が明らかになった。