ヒエウ・トラン (Hieu Tran) 氏とホン・ユー (Hong Yu) 氏らは2026年10月21日(現地時間)、arXiv上で公開された研究論文において、大規模言語モデル (LLM) エージェントが市場で共謀行動を示す際に、強化学習 (RL) がその強制メカニズムにどのように影響するかを分析した。この研究は、競合他社が独占的利益を共有するカルテルが、メンバーの裏切りを罰する場合にのみ成立するという定義に基づき、LLMエージェントの行動を監査する新たな手法を導入した。
この監査手法は、仮想市場の反事実的コピーでメンバーに裏切りを強制することで、強制力をテストする。研究チームは、この手法を用いて、価格設定や取引における強化学習 (RL) がエージェントに何を教えるかを調査した。
調査結果によると、RLによって訓練された小型LLMは、訓練相手が報酬を与えるものを学習するが、それは彼らが容易に試すものに限られる。自己対戦では、彼らは相手を無視した固定ルールを学習する。罰を与える相手に対しては抑止され、裏切る相手に対しては同等の値下げで対抗するが、相手を抑止するための費用のかかる価格競争はめったに試みないため、学習されない。
訓練に価格競争が強制された場合、それは学習されるが、その強制された箇所においてのみであることが多い。自身のコピーに対しては、抑止されたエージェントと対抗するエージェントが同じカルテル利益を得ることができるが、それを強制できるのは対抗するエージェントのみであり、その強制力も限定的だ。それは副産物として、大規模な値下げに対してのみ発揮される。Q学習者 (Q-learners) は価格設定においてのみ共謀を強制する。
プロンプトによって動作するLLMは、市場を無視するルールを通じてカルテルに似た結果に到達することが多い。最終的な成果指標だけではこれらのケースを区別することはできないが、導入された監査手法によって識別が可能となる。
参考: arXiv cs.CL (アーカイブ) — 2026年10月22日 13:00 (JST)
原文ハイライト"Q-learners enforce collusion only in pricing."