寧馨・パン (Ningxin Pan) 氏らの研究チームは、10月14日(現地時間)、論文「The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock」を発表した。同論文は、継続的に変化するリアルタイム環境で、大規模言語モデル (LLM) エージェントが推論やツール利用に時間を要する課題に対し、その評価手法と改善策を提案。評価ベンチマーク「リアルタイムベンチ (RealtimeBench)」と、二つの時間スケールを用いる学習手法「Two-Timescale Offline Recursive Self-Improvement (TORSI)」を導入した。
リアルタイムベンチ (RealtimeBench) は、6種類のゲームタイプにわたる180のタスクで構成されている。このベンチマークを用いた評価では、ゲームが一時停止している状態ではGPT-6.1-solがより高速なJevを上回る性能を示した。しかし、ゲームが進行中のリアルタイム環境下では、その高速性からJevがGPT-6.1-solを上回る結果となった。これは、リアルタイム環境における推論速度の重要性を示唆している。
提案された学習手法Two-Timescale Offline Recursive Self-Improvement (TORSI)は、遅い「教師」エージェントが失敗を分析し、一時停止したゲーム環境で修正策をテストする。その後、高速な「生徒」エージェント向けに再利用可能な指示を作成する仕組みだ。生徒エージェントはゲームプレイ中に教師からの明示的な呼び出しなしで行動し、その妥当性評価スコアによって更新が採用されるかどうかが決定される。
Jevを用いた二回のTORSI適用ラウンドにより、平均テストスコアは0から100の進捗スケールで13.51から24.19に向上した。この改善は、6種類の全てのゲームタイプで確認された。さらに、この学習によって得られた指示は、再調整なしで他の3つのモデルの平均スコアも向上させる効果を示した。これらの研究成果は、熟考、学習、および行動を異なる時間スケールで組織することにより、強力な大規模言語モデルエージェントが継続的に変化する世界で効果的であり続けるという「リアルタイムインテリジェンス」の実現に向けた重要な一歩と位置づけられている。
参考: arXiv cs.AI — 2026年10月16日 13:00 (JST)
原文ハイライト"The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock"