Muhan Gao らは2026年11月10日(現地時間)、学術論文公開サイトarXiv cs.AIで「Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game」と題する研究論文を公開した。この論文では、大規模言語モデル (LLM) の研究アイデア創出プロセスを評価するため、質問ゲーム形式の新しいフレームワーク「Re-Search」を導入。公開された論文の研究課題のみを手がかりに、LLMがイエス・ノー形式の質問を繰り返すことで論文の核心アイデアを再発見する手法を提案した。
研究者らは、研究アイデア創出がフィードバックに基づいて段階的に洗練される反復的なプロセスであると指摘。既存の評価方法ではこの探索プロセスが不明瞭であるため、LLMがどのように研究アイデアの空間を探索し、その進捗を何が制限しているのか理解が困難であるとした。Re-Searchは、国際機械学習会議 (ICML) 2026の論文200本を基に構築され、モデルが質問を投げかけ、二値のオラクルフィードバックを受け取る中で、モデルのアイデアがどのように進化するかを追跡する。これにより、アイデア創出と実行のプロセスを分離して分析することが可能となる。
6つのLLMを用いた評価では、進捗のほぼ全てが100の質問のうち最初の30問以内に発生し、この初期段階がゲームの結末を大きく左右することが判明した。その後、ほとんどのモデルは停滞した。候補となる質問と仮説空間への介入を制御した分析により、ボトルネックが生成能力 (generation) にあり、判断能力 (judgment) にはないことが示された。モデルは提示された良いアイデアや良い質問を認識できるものの、多くの場合、それらを自力で生成することはできなかった。
さらに、アイデア創出の軌跡を分析した結果、モデルは一方向を過度に探索しすぎるか、多くの方向を探索しすぎるかのいずれかのパターンで失敗することが明らかになった。これらの発見は、オートリサーチシステム (autoresearch systems) の具体的な設計原則を示唆している。研究者らは、モデルが自身では生成できない候補を判断できるため、外部ソースからのアイデアや質問で探索プロセスを豊かにすることが、個々のモデルの生成能力を向上させるよりも効果的である可能性を指摘している。
参考: arXiv cs.AI (アーカイブ) — 2026年11月11日 03:47 (JST)
原文ハイライト"enriching the search with externally sourced ideas and questions may be more effective"