Mohamed Aghzal 氏らは11月13日(現地時間)、大規模言語モデル(LLM)ベースのエージェントがウェブ要素の幻覚(web element hallucination)を起こすメカニズムとその課題に関する研究を発表した。Qwen2.5-7B-Instructを用いた事例研究を通じて、LLMの内部計算を説明するメカニスティック・インタープリタビリティ(Mechanistic Interpretability, MI)の手法が、エージェントの複雑な意思決定プロセスを解明するには限界があることを指摘している。
大規模言語モデル(LLM)を基盤とするエージェントが、ウェブサイトに存在しない要素やアクションを誤って「幻覚」する問題は、その信頼性と実用性を阻害する大きな課題となっている。この現象は、エージェントがウェブ環境で自律的にタスクを遂行する際に、誤った判断や行動につながる可能性があるため、その発生メカニズムの解明が急務とされている。
今回、Mohamed Aghzal 氏ら研究チームは、Qwen2.5-7B-Instructモデルを用いて、ライブウェブサイトとのインタラクションにおけるウェブ要素の幻覚発生メカニズムを詳細に分析した。研究の主な目的は、LLMの内部挙動を説明するMechanistic Interpretability(MI)手法が、エージェントの失敗、特に幻覚現象の根源的な原因をどの程度特定し、説明できるかを探ることだった。
分析の結果、研究チームは、最終プロンプトトークンで訓練された線形プローブが、LLMエージェントが生成を開始する前に幻覚の発生を高精度(AUC 0.80)で予測できることを発見した。さらに、このプローブの方向に沿ってモデルの内部状態をステアリング(操作)することで、幻覚の約85%を修正できる一方で、有効なアクションの7%が阻害されることが確認された。この発見は、幻覚がモデルの特定の内部表現に関連している可能性を示唆している。
しかしながら、研究チームはこれらの結果がエージェントが幻覚を起こす理由について、あくまで部分的な説明に留まることも強調している。プローブの方向性はプロンプトのフォーマットに非常に敏感であり、アクションが表現される方法のわずかな変更で、ステアリング効果が大幅に失われることが示された。これは、特定の挙動を司る「回路」の特定や操作が、入力形式に強く依存してしまうため、汎用的な説明や介入が困難であることを意味する。
さらに、LLMエージェントの計算が複数のコンポーネントと位置に分散していること、およびエージェントが依存する情報がタスクの例ごとに異なるため、幻覚の原因となる特定の回路の特定が困難であると指摘されている。これらの観察は、特定の計算経路や特徴を識別することを目的とする標準的なMI手法の根底にある仮定に疑問を投げかけるものだ。研究は、LLMベースエージェントの失敗をより適切に説明するためには、現在のMI手法を乗り越える新たなアプローチが必要であると結論付けており、今後の研究方向性について議論している。
参考: arXiv cs.AI (アーカイブ) — 2026年11月14日 03:30 (JST)