Suhwan Choi氏らは2026年8月30日(現地時間)、ロボット制御のためのエピソードコンテキストエンジンとして事前学習済みマルチモーダル大規模言語モデル（MLLM）を再利用する手法「PonderPounce」を発表した。本手法は、専用の記憶モジュールなしで、MLLMのネイティブな因果コンテキストをロボットの記憶として活用する。
PonderPounceは、マルチモーダル大規模言語モデル（MLLM）が持つ、長い視覚履歴を統合し、部分的な観測下で推論を行い、少数の例から行動を推測する能力を活用する。従来のビジョン・言語・行動（VLA）モデルが事前学習済み表現を継承する際、エピソード記憶としてこの文脈容量を使用していなかった点に対し、PonderPounceはMLLMのネイティブな因果コンテキストをロボットの記憶として再利用する。
PonderPounceは二つのコンポーネントで構成される。一つは「Ponder」と呼ばれるSystem2 MLLMで、エピソードの観測、デモンストレーション、および事前の認知をそのネイティブな因果コンテキストに蓄積し、内部使用のためにサブゴールテキストとデモンストレーション推論を生成する。もう一つは「Pounce」と呼ばれるSystem1 VLAで、現在の観測、指示、自己受容感覚を直接受け取る。PonderとPounceはインターフェースを介して非同期的に連携し、Pounceは最新の連続的な認知トークンとその経過時間のみを受け取る。
これらのモジュールは、専用の記憶モジュールや個別のブリッジ事前学習なしに、エンドツーエンドで共同訓練される。最適化された提供により、認知更新で78ms、行動モデル呼び出しで25msのp50遅延を達成し、20Hzの行動再生をサポートする。「RoboMME」データセットにおいて、ベーススケールの訓練データでPonderPounceは60.83%（9Bモデル）および50.04%（0.8Bモデル）の性能を記録した。これはFrameSamp+Modulの44.51%や、現在の観測に基づくモデルの17.93%を上回る。また、9倍のデータ量では75.54%に達し、FrameSamp+Modulの57.88%を凌駕する。「RoboCasa-DC」データセットでは、行動教師あり学習のみで12.5%の性能を示し、最も強力な公開済みデモンストレーション条件付きベースラインの11.6%を上回った。認知を学習されたnull状態に置き換えると8.6%に低下した。
参考: huggingface.co (アーカイブ) — 2026年8月31日 09:00 (JST)
原文ハイライト"PonderPounce instead reuses an MLLM's native causal context as robot memory."