Tag
7 件の関連記事
arXivは2026年11月3日(現地時間)、論文を公開し、その中でLuxi He氏らが、訓練のどの段階でも発生しうる言語モデル（language models）の不整合な振る舞いを効果的に抑制する新手法を提案した。Prefix-Expanded Adversarial Reinforcement Learning（PEARL）と名付けられたこの手法は、望ましくない行動の即時抑制、モデルの既存能力の維持、および追加学習に対する耐久性を両立させるとされている。
arXivは10月23日(現地時間)、大規模言語モデル（LLM）エージェントの意見シミュレーションに関する研究を発表した。同研究によると、ある主張とその補完的な主張に対する確率的報告の合計が1にならない不一致が確認された。Qwen3-4B、Llama-3.2-3B、Gemma-3-4Bの3つの小型オープンモデルを検証対象とし、複数の実験を通じて「補完一貫性」の欠如が示された。この結果は、LLMエージェントが信念を形成する際の基本的な信頼性について疑問を投げかけるものだ。
arXivは2026年10月4日(現地時間)、Omar Farouk Zouak氏らによる研究論文「Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs」を発表した。本研究は、大規模言語モデル (LLM) が定理の真偽判定において反例生成に課題を抱える「偽証ギャップ」に焦点を当て、教師ありファインチューニング (SFT) がこれを悪化させる可能性を指摘している。検証器を報酬関数とする新たなコーパス「SymCE」を公開し、強化学習によって反例生成能力が改善されることを示した。
arXiv cs.CLが2026年9月25日(現地時間)付けで、大規模言語モデル（LLM）の自己学習における新たなデータ構築原則「戦略的多様性サンプリング」に関する研究論文を公開した。Alexander Gurung氏、Esmeralda S. Whitammer氏、Mirella Lapata氏らが執筆したこの論文は、LLMのトレーニングや推論で用いられる繰り返しサンプリングにおいて、従来の「正解性」を重視するデータ構築がモデルの既存戦略を過度に反映してしまう課題を指摘している。問題解決への多様なアプローチを含むデータを生成することで、自己学習の効率と性能を向上させる可能性を示している。
arXivが2026年8月19日(現地時間)付けで報じたところによると、Zhu Zhang氏らの研究チームは、長文コンテキスト推論におけるオンポリシー蒸留 (On-policy distillation、OPD) の課題を解決する新手法「Group-Calibrated On-Policy Distillation (GC-OPD)」を発表した。この手法は、教師モデルのトークンレベルのガイダンスとタスク固有の検証器 (verifier) 報酬との不一致を解消し、モデルの性能向上を目指す。既存のQwen3-4BおよびQwen3-8Bチェックポイントに適用した結果、複数のベンチマークで平均スコアが大幅に改善されたと報告されている。
リコンテキスト (ReContext) の研究チームは2026年7月2日(現地時間)、大規模言語モデル (LLM) の長文コンテキスト推論を改善する推論手法「RECONTEXT」を発表した。この手法は、モデル内部の関連性シグナルを活用し、クエリに応じた証拠プールを構築して最終生成前にリプレイすることで、トレーニング不要で効果的なコンテキスト利用を実現する。8つの長文データセットを用いた実験では、Qwen3-4B、Qwen3-8B、Llama3-8Bといったモデルにおいて、証拠利用の一貫した改善が確認された。
arXiv cs.LGは6月21日(現地時間)、大規模な教師モデルから小規模な学生モデルへ推論を蒸留する複数のオフライン強化学習損失関数に関する研究論文を発表した。本研究は、報酬重み付けファインチューニング (RFT)、報酬包含ファインチューニング (RIFT)、直接ファインチューニング (DFT)、オフライン汎用ポリシー最適化 (Offline GRPO)、直接選好最適化 (DPO) などの手法が、メカニズム的に異なるのか、または同様の重み更新に収束するのかを検証した。各手法の重み更新挙動と精度への影響を分析し、特にDPOが最高の精度を示す結果となった。