Zhennan Wan氏とJianfei Chen氏らの研究者は10月21日(現地時間)、大規模言語モデル (LLM) の長文コンテキスト推論能力を外部データなしで強化する手法「LongZero」を提案した。この革新的なアプローチは、モデル自身がタスクを生成するゼロデータからの強化学習（RL）を基盤とし、従来の短文コンテキストに特化した手法が抱える課題を克服することを目指す。彼らは、同手法がLLMの性能向上における実現可能で有望な道筋を示すと結論付けている。
強化学習（RL）は、大規模言語モデル (LLM) の長文コンテキスト推論能力を向上させる上で有効な手段として注目されている。しかし、この種の学習には長く、多様で、難易度が高く、かつ検証可能な高品質な訓練データが不可欠だ。このようなデータの人間によるアノテーションはコストが非常に高く、また、自然に発生するデータだけではRLの訓練を維持するには量が不足しているのが現状である。
さらに、既存のデータ合成手法は、外部のコーパスや強力な教師モデルに依存することが多く、訓練されるモデルの性能が向上するにつれて、これらのリソースの取得がますます困難になるという課題を抱えている。
近年、モデルが自らタスクを提案する「ゼロデータからの強化学習」は、優れた性能を発揮し、様々な分野でその有効性が示されている。しかし、これまでのゼロデータRLアプローチは、主に短文コンテキストのタスクに焦点を当てており、長文コンテキスト推論の領域ではその適用が限定的であった。
これに対し、新たに提案されたLongZeroは、LLMが外部データに一切依存することなく、自身の長文コンテキスト推論能力を向上させることを可能にする。LongZeroは、既存の文書から質問と回答を作成する従来の手法とは異なり、まずモデル自身に質問、回答、およびその裏付けとなる証拠を、コンパクトな構造化形式で合成させる。その後、この合成された証拠を、複数の文書から構成される長いコンテキストへと個別に展開していくプロセスを採用している。
LongZeroは、これらの自己記述型の多段階推論タスクと、自己記述型の多段階検索タスクを組み合わせることで、強化学習アルゴリズムの一つであるGRPOを用いてモデルを訓練する。研究チームは、2つの異なるLLMに対し、5つの主要な長文コンテキスト推論ベンチマークを用いてLongZeroの評価を行った。この評価では、外部コーパスから合成されたデータを用いた従来のRL手法との比較も実施された。
実験結果は、LongZeroが実際のタスクに対しても高い汎化能力を持ち、比較対象となった両方のベースライン手法を上回る性能を発揮することを示している。この成果は、LLMの長文コンテキスト推論能力を改善するための、実現可能で非常に有望な新しい道筋を示唆するものとして評価されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月22日 02:59 (JST)