Daniel Lenton氏は2026年11月10日(現地時間)、arXiv cs.LGで論文「Continual-ARC: Measuring Skill Acquisition over a Working Lifetime」を公開し、継続学習のための新たなベンチマーク「Continual-ARC」を提案した。このベンチマークは、既存の継続学習評価が抱える複数の課題解決を目指す。現在のエージェントハーネスを用いた評価指標は、単一の応用領域に焦点を当て、各インスタンスを一度しか提供せず、学習者の種類が限定されるなどの限界があった。
従来の継続学習ベンチマークでは、メモリベースと重みベースのシステムが同じ基準で比較されることがほとんどなかった。Continual-ARCはこれらの課題に対応するため、ARC-AGIの3つのエディションから構成される「生涯ストリーム」として設計されている。このストリーム内のタスクは、特定のドメイン知識を必要としない。
Continual-ARCの設計では、同じタスクが休止期間を経て新しいインスタンスとして再登場する一方、新規のタスクも継続的に追加される。学習者は各インスタンスにおいて、デモンストレーションの取得、回答の提出、またはハーネス内での行動を選択できる。不正解の提出時には再試行が許可されるが、それらにも費用が発生する。各インスタンスのスコアは、消費されたフィードバック予算の割合に基づいて算出される。学習者がインスタンス間で保持する情報により、メモリベースと重みベースの両システムが公平に評価される仕組みだ。
ストリーム完了後、学習者はフリーズ（固定）され、既知のタスクの新しいインスタンス（記憶力の測定）と、未見のタスク（汎化能力の測定）の両方でテストされる。Daniel Lenton氏は、Qwen3.5-9BやGLM-5.3 Flashといったモデルを用いて、ハーネスに持続性がある場合とない場合のエージェントハーネスでの実験を実施した。この実験の結果、ハーネスにおける持続性は、明示的な専門家ガイダンスが提供されない限り、記憶力の向上には寄与しない傾向が示された。また、ほとんどのハーネスベースの手法は、単純に各タスクのデモンストレーションをキャッシュする「フロア」よりも学習量が少なく、未見のタスクでの改善は見られなかった。
一方で、重みベースの学習は未見タスクにおいて大幅な向上を示した。この発見は、モデルが新たなドメインでハーネスを駆動することを学習できるようになる、将来の重みベースの継続学習における大きな可能性を示唆している。
参考: arXiv cs.LG (アーカイブ) — 2026年11月11日 03:55 (JST)
原文ハイライト"Continual-ARC: Measuring Skill Acquisition over a Working Lifetime"