Tag
16 件の関連記事
Microsoft Researchは2026年7月30日(現地時間)、コンピュータ利用エージェントのトレーニング向けに「Echoverse (エコバース)」と呼ぶ新しい環境を発表した。これは、メールや顧客サポートといった多段階ワークフローでエージェントが直面する課題に対処するために設計された。既存のアプリケーションの振る舞いを忠実に再現し、現実的なデータで初期設定された深層学習環境を提供することで、エージェントの能力向上を目指す。
arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。
Cognitionは2026年7月7日(現地時間)、同社がこれまでに開発した中で最も高性能なモデル「SWE-1.7」を発表し、自社開発のDevinに提供を開始した。このモデルは、Kimi K2.7を基盤に強化学習 (RL) 後学習を重ねて開発され、フロンティアレベルの知能をより低コストで実現し、コストパフォーマンスのパレート曲線を向上させるとしている。
Apple ML Researchは7月7日(現地時間)、視覚ウェブエージェント向けのスケーラブルで再現可能な訓練環境を構築するフレームワーク「Weblica」を発表しました。同フレームワークは、複雑かつ変化の激しいウェブ環境における訓練データのスケーリングの難しさという長年の課題に対応します。Weblicaは、再現性と拡張性を両立したウェブ環境を提供することで、エージェントの訓練効率と性能向上を目指すものです。
Apple ML Researchは2026年7月(現地時間)、大規模言語モデル（LLM）における複雑な推論パターンの学習を促す新たなフレームワーク「Ctrl-R」を発表した。標準的な強化学習（RL）が抱える、多様な推論行動の獲得が困難であるという課題に対し、本手法は構造化推論を通じて特定の推論パターンを系統的に発見・強化する。Ctrl-Rはロールアウトプロセスを能動的にガイドし、複雑な問題解決に不可欠な多様な推論パターンを効率的に探索することを奨励する。
Yingyu Lin らは2026年6月25日(現地時間)、大規模言語モデル (LLM) をグランドトゥルース解なしで訓練できる強化学習フレームワーク「Ranking-induced Verifiable framework (RiVER)」に関する論文を発表した。RiVERはスコアベースの最適化タスクに適用され、従来の強化学習が抱える「scale dominance」と「frequency dominance」の課題に対処する。本手法はQwen3-8BとGLM-Z1-9B-0414のALEレーティングランクを8.9%と9.4%向上させたほか、厳密解ベンチマークでも平均2.4%と3.5%の改善を示した。
arXivは6月22日(現地時間)、ジーハオ・グオ（Zihao Guo）氏らが、階層的マルチエージェント強化学習における新たなフレームワークを提案したと報じた。これは、安全性に厳格な制約が求められるアプリケーション向けに、理論的な安全保証を提供するもので、経験的性能と安全性を両立させる。既存の学習ベース手法が安全保証に欠け、制御理論ベース手法が非効率であるという課題に対し、この研究は新たな解決策を提示する。
Epoch AIは2026年2月16日(現地時間)、研究者ジャン＝スタニスラス・ドゥナン氏の見解として、AIモデルの推論コストが特定の能力レベルにおいて急速に低下していると発表した。ドゥナン氏は、トビー・オード氏が以前示した「強化学習（RL）スケーリングによる推論コスト増大リスク」が、一部で過大評価されている可能性を指摘している。同氏によると、特定の能力に到達するまでの推論コストは年間で約5～10倍の速さで削減される傾向にあり、その負担は持続的ではないとの見方を示した。
Ankita Samaddar らは6月16日(現地時間)、強化学習（RL）で訓練されたインテリジェントな自律型サイバー防御エージェントに関する研究論文をarXiv cs.CRで発表しました。本研究は、高度化するサイバー攻撃に対処するため、攻撃者（レッドエージェント）の行動が観測不能なシステムにおいて、ネットワークの観測と防御者の行動からレッドエージェントの行動を予測する新たなポリシー学習手法を提案。これにより、自律型サイバー防御の進化に貢献すると見られています。
Byung-Kwan Lee氏らの研究チームは6月16日(現地時間)、大規模言語モデル (LLM) の知識蒸留における新たな手法「Zone of Proximal Policy Optimization (ZPPO)」を発表した。この手法は、教師モデルをポリシー勾配ではなくプロンプト内に維持することで、小規模な学生モデルの汎化能力を改善する。特に困難な問題に対して二つの異なるプロンプトを生成し、学生モデルの効率的な学習を促し、既存の蒸留手法を上回る性能を示したという。
科学論文リポジトリのarXivは6月11日(現地時間)、Zilin Xiao氏らの研究チームが、言語モデルに類推による推論能力を付与する新しい学習フレームワーク「Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT)」を提案したと発表した。この手法は、従来のRetrieval-augmented generation (RAG) が持つ課題を克服し、文脈の類似性ではなく推論への寄与度に基づいて情報を選択することで、複雑な推論タスクにおける言語モデルの性能向上を目指す。
Latent Spaceは6月5日(現地時間)、Geminiで強化学習 (RL) に携わった経験を持つAuriel W氏が、低品質なRL環境、通称「ハーネス」がAIモデルの性能を著しく低下させている現状に警鐘を鳴らしたと報じた。同氏は、不安定なハーネスがモデルに誤った学習を強いることでトレーニングの失敗を招き、プロダクショングレードのモデル構築を阻害していると指摘。この深刻な課題に対し、具体的な修正方法と従来のソフトウェアエンジニアリング手法の適用を提言した。
科学論文リポジトリのarXivが2026年5月29日(現地時間)付けで、大規模言語モデル (LLM) の長文コンテキスト推論能力向上を目指す新手法「LongTraceRL」に関する論文を発表した。この研究は、Nianyi Lin、Jiajie Zhang、Lei Hou、Juanzi Liの4氏によってまとめられた。LongTraceRLは、既存の検証可能な報酬による強化学習 (RLVR) 手法が抱える、低混同性のディストラクターと、疎で結果のみの報酬信号という課題に対応することを目指す。
arXiv cs.LGは2026年5月21日(現地時間)、大規模言語モデル (LLMs) における「壊滅的忘却 (catastrophic forgetting)」のメカニズムを解明する研究を発表した。この研究は、強化学習 (RL) が教師ありファインチューニング (SFT) よりも以前の能力を効果的に保持する理由として、内部計算回路の保存が主要な要因である可能性を示唆している。
arXiv cs.LGは2026年5月21日(現地時間)、Vector Policy Optimization (VPO) と呼ばれる強化学習 (RL) アルゴリズムが、大規模言語モデル (LLM) のテスト時検索における多様性の課題を解決する可能性を提示したと発表した。従来のLLMのポストトレーニングはスカラー報酬に最適化されており、多様な応答の生成に限界があった。VPOは、多様な下流の報酬関数を予測し、多様なソリューションを出力するようポリシーを明示的に訓練する。
arXivは2026年5月7日(現地時間)、Xiangyuan Xue氏らの研究チームが、大規模言語モデル（LLM）をインタラクティブエージェントとして最適化する新フレームワーク「Strategic Trajectory Abstraction (StraTA)」を発表したと報じた。StraTAは、エージェント型強化学習に軌道レベルの戦略を導入することで、既存手法が抱える長期的意思決定における探索とクレジット割り当ての課題解決を目指す。ALFWorld、WebShop、SciWorldでの実験では、サンプル効率と最終性能の向上を示した。