SOCアラート選別で強化学習が有効性、制約認識評価が示唆
arXivは2026年11月3日(現地時間)、セキュリティ運用センター（SOC）におけるアラート選別の評価に関する研究論文を公開した。この研究は、限られたアナリスト能力や非対称なエラーコストといった実運用の制約下でのアラート選別を、制約付き意思決定問題として定式化。オフライン強化学習ポリシー、Isolation Forestモデル、オートエンコーダの3つの異なるアプローチを比較評価し、その有効性を示している。
Tag
#強化学習
38 件の関連記事
LLMレッドチーム攻撃、CoFiBreakで多様化 実効性維持し安全評価の偏り是正
arXiv cs.CLは2026年10月29日(現地時間)、大規模言語モデル (LLM) の自動レッドチームにおいて、攻撃の多様性を大幅に向上させる新手法「CoFiBreak」に関する研究論文を公開した。この手法は、攻撃の成功率を維持しつつ、これまで単一的になりがちだった攻撃パターンを広げることを目的としている。強化学習ベースのレッドチーム攻撃では、成功報酬のみに依存すると特定のプロンプトに攻撃が集中し、安全評価に偏りを生むという課題が指摘されており、CoFiBreakはこの課題解決を目指す。
ThinkWorld：世界想像力でロボット汎化能力を強化
arXiv cs.ROは10月27日(現地時間)、ビジョン・言語・アクション（Vision-Language-Action、VLA）モデルのロボット操作における汎化能力を強化する新たな学習フレームワーク「ThinkWorld」に関する論文を公開した。同フレームワークは、アクション推論を世界のダイナミクスに基礎付け、「世界の想像力（world imagination）」を用いた強化学習で能力を高める。ThinkWorldは、現在から未来の状態への中間的なダイナミクスを「Chain-of-Dynamics（CoD）」として表現し、異なるロボット間で共通のアクション表現を可能にする。
AI21ラボ、指示追従ベンチマーク「LIFT-Bench」を公開
AI21ラボ (AI21 Labs) は2026年10月25日(現地時間)、強化学習 (RL) における報酬ハッキング (reward hacking) を抑制することを目的とした指示追従ベンチマーク「LIFT-Bench」を公開した。このベンチマークは、文書内の各制約を特定のセクションに限定して適用する点で特徴がある。
arXiv、多エージェントシステムのレッドチーミング手法「ReMAS」発表
論文公開プラットフォームのarXivは2026年10月21日(現地時間)付けで、強化学習を用いてマルチエージェントシステム（MAS）の脆弱性を特定する新しいレッドチーミングフレームワーク「ReMAS」に関する論文を発表した。この研究は、大規模言語モデル（LLM）エージェントが利用される多エージェント環境における、既存のブラックボックス型攻撃手法の有効性不足を指摘。ReMASは、特にサブエージェントがユーザーと直接対話しないシステムにおいて、より効果的な敵対的プロンプトを生成し、システムプロンプトの抽出成功率を大幅に向上させる。
LLMエージェントの市場における共謀行動と強化学習による強制メカニズム
ヒエウ・トラン (Hieu Tran) 氏とホン・ユー (Hong Yu) 氏らは2026年10月21日(現地時間)、arXiv上で公開された研究論文において、大規模言語モデル (LLM) エージェントが市場で共謀行動を示す際に、強化学習 (RL) がその強制メカニズムにどのように影響するかを分析した。この研究は、競合他社が独占的利益を共有するカルテルが、メンバーの裏切りを罰する場合にのみ成立するという定義に基づき、LLMエージェントの行動を監査する新たな手法を導入した。
シムハック、強化学習の報酬ハッキング発生を訓練前に予測
ジャンウェイ・デン氏らは2026年10月20日(現地時間)、強化学習（RL）訓練における「報酬ハッキング」の発生を訓練開始前に予測するシミュレーター「シムハック (SimHack)」を発表した。このツールは、特に大規模言語モデル（LLM）のコーディング訓練において、実行前に低リスクの訓練レシピを選定し、訓練効率と安全性を向上させる可能性を秘めている。
LongZero、外部データなしでLLM長文推論能力を強化
Zhennan Wan氏とJianfei Chen氏らの研究者は10月21日(現地時間)、大規模言語モデル (LLM) の長文コンテキスト推論能力を外部データなしで強化する手法「LongZero」を提案した。この革新的なアプローチは、モデル自身がタスクを生成するゼロデータからの強化学習（RL）を基盤とし、従来の短文コンテキストに特化した手法が抱える課題を克服することを目指す。彼らは、同手法がLLMの性能向上における実現可能で有望な道筋を示すと結論付けている。
非検証ドメイン強化学習、専門家ルーブリックで密な報酬信号を生成
arXivは2026年10月17日(現地時間)、非検証可能ドメインにおける強化学習（RL）の課題解決に向けた新しいアプローチを提案する論文を発表した。この研究は、大規模言語モデル（LLMs）が金融サービスのようなドメインで自律エージェントとして展開される際、ユーザー意図の解釈やドメイン固有の制約下での情報検索に直面する課題に対応する。従来のRLが自動計算される二値報酬に大きく依存する検証可能タスクで成功する一方、非検証可能タスクでは希少な専門家（SME）の判断を段階的な報酬として活用する手法を提示した。
arXivに「大規模言語モデルと強化学習による自律建設手法」発表
arXivは2026年10月20日(現地時間)、大規模言語モデル (Large language model) と強化学習 (Reinforcement learning) を組み合わせた自律建設手法に関する研究論文を発表した。この研究では、モバイルクレーンの動作計画に強化学習アルゴリズムを導入し、建設タスクに応じた行動を自動で立案する。さらに、カスタマイズされた組み込みモデルで建設環境から情報を抽出し、大規模言語モデル「ChatGPT 5」が建設進捗の更新、安全情報の提供、報告書生成を行うシステムを構築した。
Together AIが「Together Post-Training」開始、カスタムモデル調整を効率化
Together AIは10月19日(現地時間)、生成AIのカスタムモデル構築を支援する新サービス「Together Post-Training」の提供を開始したと発表しました。このサービスは、環境報酬からの強化学習（RL）や監督データからの教師ありファインチューニング（SFT）を通じて、ユーザーが独自のモデルを柔軟かつ効率的にシェイピングできるように設計されており、高度なモデル調整を重いインフラ負担なしで実現します。
大規模言語モデルによる科学アイデア多様性向上の強化学習手法を提案
arXivが2026年10月15日(現地時間)付けで、大規模言語モデル (LLMs) を用いた科学的アイデア生成において、アイデアの多様性を向上させつつ質の高いアイデアを確保する新しい学習手法を提案する論文を公開した。提案された8Bモデルは、独自に構築されたベンチマークにおいて、クロード・オーパス4.8 (Claude Opus 4.8) およびジーピーティー・シックス・アストラ (GPT-6 Astra) を上回る「創造的有用性 (creative utility)」を達成した。
言語エージェント訓練効率化、行動と予測の共進化で高機能化
arXiv cs.AI は10月14日(現地時間)、言語エージェントの訓練における高コスト課題を解決する新手法を提案する論文を公開した。この手法は、標準的な強化学習 (Reinforcement Learning、RL) では活用しきれていなかった中間ステップの教師信号を有効利用し、行動 (acting) と予測 (forecasting) を共進化させることで訓練のボトルネック解消と効率向上を目指す。従来の価値ターゲットや観測ターゲットが抱える構築の難しさを克服するため、マルチステップのアクションターゲットを導入している。
arXiv cs.CL、言語モデルのプロンプト最適化で転送性評価の新手法提示
学術リポジトリarXiv cs.CLは2026年10月8日(現地時間)、Elias Lumer氏らが執筆した言語モデルエージェントのプロンプト最適化に関する研究結果を公開した。同研究は、転送可能な性能向上を測定するための「topic-disjoint split (トピック分離分割)」プロトコルを提案し、プロンプトレベルでの過学習という課題に取り組んでいる。
ロボット制御の強化学習効率化手法を提案、100万超並列環境で検証
オクティ・チャン (Octi Zhang) 氏ら複数の研究者は2026年10月8日(現地時間)、ロボット制御における強化学習 (RL) のデータ探索ボトルネックを解決する新手法「Success Guided Sampling (SGS)」に関する論文をarXivに発表した。同手法は、並列シミュレーション環境での学習効率を向上させ、大規模なロボットタスクへの適用を可能にする。
VLMエージェント性能向上へ、視覚スキル学習フレームワーク「ViSkill」提案
arXiv cs.CVは10月8日(現地時間)、Hongxing Li氏らの研究チームが、VLM（Visual Language Model）エージェントの性能向上を目指す新たな視覚ネイティブなスキル学習フレームワーク「ViSkill」を提案する論文を公開した。このフレームワークは、従来のテキスト中心のアプローチが抱えていた幾何学的構造情報の損失という課題を克服。成功した相互作用を直接視覚スキルカードとしてエンコードすることで、スキル蓄積とポリシー改善の相互強化を実現する。
Apple ML Research、自己生成フィードバックで強化学習の効率改善「RLTL;DR」を発表
Apple ML Research（アップル・エムエル・リサーチ）は10月(現地時間)、自己生成フィードバックを用いた強化学習の新手法「RLTL;DR（アールエルティーエル・ディーアール）」に関する研究成果を公開した。本手法は、困難なタスクにおいてエージェントが自らフィードバックを生成し、それを内部化することで学習効率を向上させるアプローチを提示。既存手法では学習が困難だったデータセットにおいて、RLTL;DRはPass@1で最大31%の性能改善を記録した。
OpenAI、フロンティアAI訓練の安全指針公開 厳格な安全ケース目指す
OpenAIは2026年9月28日(現地時間)、フロンティアAI（人工知能）の訓練における安全ケースに関する初期ガイドラインを発表した。同社は、AI能力の新たなレベルごとに生じる複雑性を認識しつつ、航空や原子力といった安全上重要な産業で用いられる厳格な安全ケースをAIモデルの開発と訓練においても目指す意向を示している。
Ziyuan Liu氏らの研究チーム、新検索エージェント「Iris-mini」「Iris-pro」発表
Ziyuan Liu氏らの研究チームは9月3日(現地時間)、機械学習分野の論文公開サイトarXiv cs.AIにて、新しいウェブ検索エージェント「Iris-mini」と「Iris-pro」に関する研究論文を発表した。これらのエージェントは、それぞれ35B-A3Bおよび397B-A17Bの規模で訓練されており、オープンソースの検索エージェントとして、各パラメーター範囲で最も強力な総合的な検索性能を達成している。
PaperGym、科学論文から研究計画を生成する進化型フレームワークを発表
Yuhan Wang氏らは8月31日(現地時間)、arXiv cs.CLで論文「PaperGym: Rubric-Centered Evolution for Research-Plan Generation」を公開し、研究計画生成のための統一フレームワーク「PaperGym」を発表した。同フレームワークは科学論文の構造を活用し、質問を研究目標と背景から、評価基準を手法と実験から導出。これにより基準漏洩を3.7%に抑え、Qwen3-8BモデルがResearchQAで73.48を記録し、既存モデルを上回る性能を示した。
大規模言語モデルの自己改善フレームワーク「SPADE」を発表
Bo Liu (ボー・リュウ) 氏らは2026年8月19日(現地時間)、arXiv cs.CLで論文を発表し、大規模言語モデル (LLM) の継続的な自己改善を目的とした強化学習 (RL) フレームワーク「SPADE (Self-Play in Adaptive Synthetic Executable Environments)」を提案した。SPADEは、単一のLLMが環境デザイナーと推論エージェントの二役を担い、実行可能なトレーニング環境を自己生成し、推論エージェントがその環境で行動を学習する。実験では、30Bパラメータモデルにおいて既存の固定環境ベースラインを上回る性能を示したと報告している。
Huatong Song 氏ら、エージェントハーネス向け強化学習フレームワーク「ClawGym II」発表
Huatong Song 氏らは2026年8月17日(現地時間)、arXivで公開された論文「ClawGym II: Exploring Black-Box RL on Agent Harness」にて、複雑なエージェントハーネスを通じた一般的なエージェントの安定かつスケーラブルな最適化を可能にする統一ブラックボックス強化学習（RL）フレームワークを発表した。同フレームワークは、Qwen3-30A3Bを用いた実験で、ClawGym-Bench上のPass@1スコアをOpenClawで9.98ポイント、Claude Codeで14.81ポイント改善し、200〜400の最適化ステップにわたって安定性を示した。
【速報】Microsoft Research、コンピュータ利用エージェント向け新環境「Echoverse」発表
Microsoft Researchは2026年7月30日(現地時間)、コンピュータ利用エージェントのトレーニング向けに「Echoverse (エコバース)」と呼ぶ新しい環境を発表した。これは、メールや顧客サポートといった多段階ワークフローでエージェントが直面する課題に対処するために設計された。既存のアプリケーションの振る舞いを忠実に再現し、現実的なデータで初期設定された深層学習環境を提供することで、エージェントの能力向上を目指す。
強化学習蒸留の新手法「Relay-OPD」発表、性能と効率向上
arXiv cs.CLが2026年7月28日(現地時間)、強化学習における新しい蒸留手法「Relay On-Policy Distillation (Relay-OPD)」に関する論文を発表した。この手法は、従来のOn-policy distillation (OPD) が抱える「prefix failure」という課題を克服するために、教師モデルと学生モデルの挙動の非対称性を活用する。これにより、数学的推論ベンチマークにおいて既存手法を上回る性能を示し、トレーニングの効率も向上させた。
Cognition、Devinに高性能モデル「SWE-1.7」投入
Cognitionは2026年7月7日(現地時間)、同社がこれまでに開発した中で最も高性能なモデル「SWE-1.7」を発表し、自社開発のDevinに提供を開始した。このモデルは、Kimi K2.7を基盤に強化学習 (RL) 後学習を重ねて開発され、フロンティアレベルの知能をより低コストで実現し、コストパフォーマンスのパレート曲線を向上させるとしている。
Apple ML Researchが「Weblica」発表 視覚ウェブエージェント訓練環境の課題解決
Apple ML Researchは7月7日(現地時間)、視覚ウェブエージェント向けのスケーラブルで再現可能な訓練環境を構築するフレームワーク「Weblica」を発表しました。同フレームワークは、複雑かつ変化の激しいウェブ環境における訓練データのスケーリングの難しさという長年の課題に対応します。Weblicaは、再現性と拡張性を両立したウェブ環境を提供することで、エージェントの訓練効率と性能向上を目指すものです。
Apple ML Research、大規模言語モデル向け新手法「Ctrl-R」を発表
Apple ML Researchは2026年7月(現地時間)、大規模言語モデル（LLM）における複雑な推論パターンの学習を促す新たなフレームワーク「Ctrl-R」を発表した。標準的な強化学習（RL）が抱える、多様な推論行動の獲得が困難であるという課題に対し、本手法は構造化推論を通じて特定の推論パターンを系統的に発見・強化する。Ctrl-Rはロールアウトプロセスを能動的にガイドし、複雑な問題解決に不可欠な多様な推論パターンを効率的に探索することを奨励する。
グランドトゥルース不要の強化学習 RiVER、大規模言語モデルを改善
Yingyu Lin らは2026年6月25日(現地時間)、大規模言語モデル (LLM) をグランドトゥルース解なしで訓練できる強化学習フレームワーク「Ranking-induced Verifiable framework (RiVER)」に関する論文を発表した。RiVERはスコアベースの最適化タスクに適用され、従来の強化学習が抱える「scale dominance」と「frequency dominance」の課題に対処する。本手法はQwen3-8BとGLM-Z1-9B-0414のALEレーティングランクを8.9%と9.4%向上させたほか、厳密解ベンチマークでも平均2.4%と3.5%の改善を示した。
マルチエージェント強化学習、理論的安全保証の新手法発表
arXivは6月22日(現地時間)、ジーハオ・グオ（Zihao Guo）氏らが、階層的マルチエージェント強化学習における新たなフレームワークを提案したと報じた。これは、安全性に厳格な制約が求められるアプリケーション向けに、理論的な安全保証を提供するもので、経験的性能と安全性を両立させる。既存の学習ベース手法が安全保証に欠け、制御理論ベース手法が非効率であるという課題に対し、この研究は新たな解決策を提示する。
Epoch AI、特定のAI能力の推論コストが年間5～10倍減少と発表
Epoch AIは2026年2月16日(現地時間)、研究者ジャン＝スタニスラス・ドゥナン氏の見解として、AIモデルの推論コストが特定の能力レベルにおいて急速に低下していると発表した。ドゥナン氏は、トビー・オード氏が以前示した「強化学習（RL）スケーリングによる推論コスト増大リスク」が、一部で過大評価されている可能性を指摘している。同氏によると、特定の能力に到達するまでの推論コストは年間で約5～10倍の速さで削減される傾向にあり、その負担は持続的ではないとの見方を示した。
サイバー防御強化へ、神経シンボル自律エージェントのポリシー学習手法を提案
Ankita Samaddar らは6月16日(現地時間)、強化学習（RL）で訓練されたインテリジェントな自律型サイバー防御エージェントに関する研究論文をarXiv cs.CRで発表しました。本研究は、高度化するサイバー攻撃に対処するため、攻撃者（レッドエージェント）の行動が観測不能なシステムにおいて、ネットワークの観測と防御者の行動からレッドエージェントの行動を予測する新たなポリシー学習手法を提案。これにより、自律型サイバー防御の進化に貢献すると見られています。
ZPPO、教師をプロンプト配置し小規模LLMの汎化性能を向上
Byung-Kwan Lee氏らの研究チームは6月16日(現地時間)、大規模言語モデル (LLM) の知識蒸留における新たな手法「Zone of Proximal Policy Optimization (ZPPO)」を発表した。この手法は、教師モデルをポリシー勾配ではなくプロンプト内に維持することで、小規模な学生モデルの汎化能力を改善する。特に困難な問題に対して二つの異なるプロンプトを生成し、学生モデルの効率的な学習を促し、既存の蒸留手法を上回る性能を示したという。
arXiv、類推推論強化の言語モデル学習手法を提案
科学論文リポジトリのarXivは6月11日(現地時間)、Zilin Xiao氏らの研究チームが、言語モデルに類推による推論能力を付与する新しい学習フレームワーク「Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT)」を提案したと発表した。この手法は、従来のRetrieval-augmented generation (RAG) が持つ課題を克服し、文脈の類似性ではなく推論への寄与度に基づいて情報を選択することで、複雑な推論タスクにおける言語モデルの性能向上を目指す。
低品質RL環境がモデル性能劣化招く Auriel W氏、運用改善を提言
Latent Spaceは6月5日(現地時間)、Geminiで強化学習 (RL) に携わった経験を持つAuriel W氏が、低品質なRL環境、通称「ハーネス」がAIモデルの性能を著しく低下させている現状に警鐘を鳴らしたと報じた。同氏は、不安定なハーネスがモデルに誤った学習を強いることでトレーニングの失敗を招き、プロダクショングレードのモデル構築を阻害していると指摘。この深刻な課題に対し、具体的な修正方法と従来のソフトウェアエンジニアリング手法の適用を提言した。
arXiv、LLMの長文推論強化手法「LongTraceRL」を公開
科学論文リポジトリのarXivが2026年5月29日(現地時間)付けで、大規模言語モデル (LLM) の長文コンテキスト推論能力向上を目指す新手法「LongTraceRL」に関する論文を発表した。この研究は、Nianyi Lin、Jiajie Zhang、Lei Hou、Juanzi Liの4氏によってまとめられた。LongTraceRLは、既存の検証可能な報酬による強化学習 (RLVR) 手法が抱える、低混同性のディストラクターと、疎で結果のみの報酬信号という課題に対応することを目指す。
大規模言語モデルの「壊滅的忘却」、強化学習が内部回路を保持するメカニズム解明
arXiv cs.LGは2026年5月21日(現地時間)、大規模言語モデル (LLMs) における「壊滅的忘却 (catastrophic forgetting)」のメカニズムを解明する研究を発表した。この研究は、強化学習 (RL) が教師ありファインチューニング (SFT) よりも以前の能力を効果的に保持する理由として、内部計算回路の保存が主要な要因である可能性を示唆している。
arXiv、LLMのテスト時検索多様性向上へ新強化学習VPO
arXiv cs.LGは2026年5月21日(現地時間)、Vector Policy Optimization (VPO) と呼ばれる強化学習 (RL) アルゴリズムが、大規模言語モデル (LLM) のテスト時検索における多様性の課題を解決する可能性を提示したと発表した。従来のLLMのポストトレーニングはスカラー報酬に最適化されており、多様な応答の生成に限界があった。VPOは、多様な下流の報酬関数を予測し、多様なソリューションを出力するようポリシーを明示的に訓練する。
LLM向け戦略的軌道抽象化フレームワーク「StraTA」登場
arXivは2026年5月7日(現地時間)、Xiangyuan Xue氏らの研究チームが、大規模言語モデル（LLM）をインタラクティブエージェントとして最適化する新フレームワーク「Strategic Trajectory Abstraction (StraTA)」を発表したと報じた。StraTAは、エージェント型強化学習に軌道レベルの戦略を導入することで、既存手法が抱える長期的意思決定における探索とクレジット割り当ての課題解決を目指す。ALFWorld、WebShop、SciWorldでの実験では、サンプル効率と最終性能の向上を示した。