Tag
36 件の関連記事
arXivは2026年11月2日(現地時間)、Ziqi Pang (Ziqi Pang)氏らが執筆した論文「Not All Reasoning Generalizes: A Case Study on Learning Generalizable Reasoning Strategies in RLVR」を発表した。この研究は、検証可能な報酬による強化学習 (RLVR) が大規模言語モデル (LLM) の推論汎化能力を向上させる方法を探求し、分布外 (OOD) シフト下でモデルが正しい推論戦略を放棄し、精度が急落する「微妙な失敗」を明らかにした。さらに、全単射逆変換タスクとの共同学習がこの問題を緩和する有効な手段であることを示している。
FADE (Factored Ability--Difficulty Estimation) と題された研究論文は11月2日(現地時間)、オンライン学術論文公開サイトarXivに公開された。同論文は、検証可能な報酬に基づくグループ型強化学習 (RLVR) におけるロールアウトスケジューリングの効率を高める新たなフィルタリング手法「FADE」を提案している。RLVRでは、ポリシーの能力変化とプロンプト固有の難易度が混在し、従来のスケジューラでは効率的な学習が困難であった課題に対処する。
arXiv cs.LGは10月26日(現地時間)、Zishan Xu氏らが公開した論文「Work Agents: Systems, Capabilities, and Optimization」を通じて、デジタルワーク実行のためのエージェントに関する統一的な視点を提示した。基盤モデルが単なる情報生成からデジタルワーク実行へと進化する中で、エージェントはツール、アプリケーション、ワークフローを横断して複雑なタスクを完了する能力を高めている。しかし、エージェントがいかに委任された仕事を信頼性高く達成するかについて、既存の研究には包括的な視点が欠如している現状が指摘されており、本論文がそのギャップを埋めることを目指す。
学術論文投稿サイトarXivは2026年10月21日(現地時間)、ハムザ・ケッダー氏による「FPGAおよび集積回路プラットフォーム上におけるハードウェアアクセラレーションとシステムレベル最適化のための強化学習：調査」と題する論文を公開した。この論文は、組み込み、エッジ、ヘテロジニアスコンピューティングシステムにおける適応的かつ自律的な意思決定を可能にする強化学習 (RL) の実装に関し、100以上の研究を包括的にレビューしている。
PathFM（パスFM）は2026年10月15日(現地時間)、時系列予測における新しい生成モデルとしてarXivで発表された。このモデルは、フローマッチング技術を用いて将来の軌道を完全に生成し、従来のモデルでは捉えきれなかった軌道の依存性構造を明確にモデル化する。これにより、累積需要やピーク負荷といった軌道に依存する量の予測精度が向上する。複数の確立されたベンチマークにおいて、既存の外部ベースラインを上回る集計パススコアを達成したと報告されている。
arXiv cs.GTは2026年10月14日(現地時間)、Shubhendu Trivedi氏らの論文を発表した。この論文は、AIエージェントがユーザープロンプト獲得のために入札を行う「エージェント市場」におけるファーストプライスオークション（FPAs）の非効率性を分析。FPAsが正直な入札を促さず、最も価値を評価する入札者以外にプロンプトが割り当てられることで生じる福利厚生損失（price-of-anarchy, PoA）を指摘した。しかし、論文はエージェント市場特有の2つの特徴がこのPoAを軽減する可能性を示している。
アブシン・ハダンギ (Afshin Khadangi) 氏は2026年10月14日(現地時間)、研究論文リポジトリarXivにて、新しいTransformerアテンション演算子「Continuum Attention (CA)」に関する論文を発表した。CAは、従来の離散的なキーと値の参照機構を、連続的な区分線形メモリカーブ上の積分に置き換える因果Transformerアテンション演算子として提案されており、次世代モデルの効率と性能向上に寄与すると期待されている。
Appleは2026年10月12日(現地時間)、研究ブログ「Apple ML Research」で、データ制約下における言語モデル事前学習に関する研究結果を公表した。低リソース言語モデルの汎化性能向上において、高リソース補助言語とのデータ混合がハイパーパラメータ調整よりも優れた効果を示すとしている。データ混合は検証損失で目標データの2~3倍、下流タスク精度では2~13倍に相当する性能向上をもたらすと報告した。
arXiv (アーカイブ) は10月8日(現地時間)、ある研究グループが、連続血糖値モニタリング (CGM) の基盤モデルにおいて、異なる集団への転移性能を向上させる新手法「GlucoPRISM (グルコプリズム)」を発表したことを明らかにした。この手法は、事前学習段階でセンサー固有の測定差異を表現から分離し、モデル展開時にその成分を除去することで、モデルの汎化能力を高める。
研究論文投稿サイトarXivは9月26日(現地時間)、Fabien Furfaro氏による研究論文「Kairos: Toward a Byte-Level Foundation Model for Every Modality」が投稿されたと発表した。同研究は、テキスト、画像、音声、動画、ライダー、制御ストリームといった多様なモダリティを共通のバイト空間で処理するバイトレベルの基盤モデル「Kairos」のアーキテクチャと、初期の収束健全性チェックについて詳述している。
クアック・ティ・タイ・ビン (Quach Thi Thai Binh) 氏らの研究チームは2026年9月18日(現地時間)、医薬品残留物の迅速かつ信頼性の高い識別を目的とした新たなハイブリッドラマン分光法フレームワーク「HyMLRaman」を提案しました。このフレームワークは、ディープスペクトル特徴抽出、生成モデル、古典的機械学習分類器を組み合わせることで、アモキシシリンを含む6種類の医薬品化合物識別において、96.31%の精度を達成したと報告されています。
arXiv cs.LGは9月17日(現地時間)、「A Moving-Horizon Approximate Branch-and-Reduce Method for Deep Classification Trees」と題する論文を公開した。この研究は、解釈性の高さで評価される決定木が直面するスケーラビリティの課題に対応し、連続特徴量を持つ大規模データセットに対応可能なニアオプティマルな深層分類木の訓練手法を提案している。
Apple ML Researchは2026年9月(現地時間)、継続学習エージェントのトレーニングと評価を目的とした実行基盤「SCLATE」を発表した。この基盤は、既存のベンチマークやトレーニングフレームワークが抱えるカスタムスケジューリングループの課題を解決するため、ベンチマークとエージェントが共通のイベントスケジューラにイベントを追加する機能を提供する。これにより、長期間にわたる複数セッションのシナリオを効率的にシミュレートすることが可能となる。
Appleは2026年9月27日(現地時間)、機械学習研究ブログ「Apple ML Research」にて、連合最適化を用いた確率的変分不等式 (VIs) の解法に関する研究論文を発表した。同研究は、既存の収束率と連合凸最適化の最先端の間のギャップを埋めることを目的とし、新たなアルゴリズム「ローカル・インエグザクト・プロキシマル・ポイント・アルゴリズム・ウィズ・エクストラ・ステップ (LIPPAX)」を提案している。
GitHub Blogは9月18日(現地時間)、AI（人工知能）開発における主要な論点や見解（ホットテイク）を深掘りした同社のポッドキャスト最新エピソードの概要を公開した。AIが生成したコードに対する開発者の責任、Retrieval-augmented generation（RAG）の有効性、Model Context Protocol（MCP）とSkillsの関係性など、広範なテーマについて議論が交わされた。
Lulu Xie氏らの研究チームは9月2日(現地時間)、デジタル本人確認システム向けの新たな文書生成器「IDSpace」を発表した。オンラインサービスにおけるリモートユーザー本人確認の需要が高まる中、機密性の高い本人確認書類の評価データ不足が課題となっており、合成データ生成の重要性が指摘されている。IDSpaceはこの課題解決に向けた進展となるもので、arXiv cs.CVが同日付で技術報告書を公開した。
arXiv cs.LGは2026年8月18日(現地時間)、マルチモーダル大規模言語モデル（MLLMs）による長期動的ECG（心電図）分析能力を評価する新たなベンチマーク「Holtercare-Bench」に関する論文を発表した。このベンチマークは、22,980組の質疑応答ペアを含むデータセット「Holtercare-23K」に基づき、時系列の局所化、臨床診断、全体的な要約といった複数の側面からMLLMsの性能を検証するものと見られる。研究者らは、既存のMLLMが動的ECGの複雑な時系列推論において課題を抱えている可能性を指摘している。
Apple ML Researchは2026年8月(現地時間)、マンダリン中国語と英語が混在する発話内言語切り替え (Code-Switching: CS) の自動音声認識 (Automatic Speech Recognition: ASR) において、新たな学習手法を発表した。この手法は、限られた訓練データというCS-ASRの課題に対応するため、ラベル付けされていない大規模な音声データを活用し、反復的な擬似ラベリング訓練を通じて認識精度を高めるアプローチをCS-ASRに初めて適用したものである。
LARA (ライトウェイト・アディティブ・レジデュアル・アダプテーション) は2026年7月25日(現地時間)、フリーズされたモデルの重みに変更を加えず、残差ストリーム内で動作する新たなモデル適応手法としてarXiv (アーカイブ) に発表されました。この手法は、既存のLoRA (ローラ) と同等のパラメータ数で高い性能を発揮し、隠れ状態の読み取りと低ランク補正を残差ストリームへ追加することで、基本モデルの重みを不変に保ちます。単一モデル上で複数の学習済み動作を効率的に管理する可能性を示唆しています。
arxiv.orgは8月3日(現地時間)、テスト時潜在推論手法「GradCuit (グラッドキュイット)」に関する査読前プレプリントを発表した。大規模言語モデル (LLM) の推論において平均64.5%の精度を記録し、既存の勾配伝播の課題を解決。推論形成に貢献する潜在状態への直接的クレジット割り当てを可能にすることで、モデルの堅牢性と解釈性を大幅に向上させ、次世代LLM開発における信頼性確保に寄与すると期待される。
ハオミン・チー (Haomin Qi) らは2026年7月30日(現地時間)、リポジトリの変更から実行可能なコーディングエージェントのタスクと環境を生成するシステム「Change2Task (チェンジ・トゥ・タスク)」に関する論文をarXivに発表した。Change2Taskは、マージされたプルリクエストを、リポジトリの健全な最新リビジョンに基づいた検証済みタスクに変換する。このシステムは、コーディングエージェントのトレーニング、ベンチマーク、継続的評価に必要な実行可能データの供給を拡大することを目的としている。
Kiran Nair (キラン・ネアー) 氏、Smriti Regmi (スムリティ・レグミ) 氏、Rodrigue Rizk (ロドリグ・リスク) 氏らは7月28日(現地時間)、arXivで公開された論文の中で、トランスフォーマーの推論効率を向上させる新しいフレームワーク「CausalGate (コーザルゲート)」を開発したと発表した。CausalGateは、大規模言語モデル (LLM) における冗長なモジュールを特定し除去することで、計算効率を高めることを目的としている。
研究チームは2026年7月20日(現地時間)、大規模言語モデル (LLM) コーディングエージェントのコンテキスト最適化手法「CORVUS」に関する論文を発表した。この手法は、既存エージェントが抱えるファイル読み取りの冗長性と、古いスナップショット問題への対処を目的としている。ファイル読み取りと観測の結合を解消する新しいアーキテクチャを提案することで、軽量な軌跡生成とコードベースとの同期を維持し、推論エラーの削減を目指す。
arXiv cs.LG は7月23日(現地時間)、時系列分類器の予測説明における新しいフレームワーク「タイムピーエヌエス（TimePNS）」を提案する論文を公開した。Hongnan Ma氏、Yiwei Shi氏、Mengyue Yang氏、Weiru Liu氏らによるこの研究は、既存の手法が十分性のみに着目し、モデルの決定に不可欠でない部分系列に高い重要性を割り当てる課題を指摘。これに対し、タイムピーエヌエス（TimePNS）は、予測を維持するのに十分であるだけでなく、必要不可欠な部分系列を特定することを目指す。TimePNSはPearlの反実仮想的必要性に着想を得ており、一時的要因への介入を通じてその必要性を評価する。
アリ・カイアム氏は6月12日(現地時間)、arXiv（アーカイヴ）にて、Mixture-of-Experts（MoE）モデルの推論時メモリ効率を大幅に高める新トレーニング手法「StickyMoE」に関する研究論文を発表した。この手法は、MoEモデルが連続するトークン間で頻繁にエキスパートを切り替えることで生じる、メモリ内のウェイトスワッピング問題の解消を目指す。StickyMoEは、エキスパート割り当ての一貫性を高める新たな損失関数を導入し、推論の効率化に貢献する。
Appleは2026年7月(現地時間)、機械学習研究ブログ「Apple ML Research」にて、推論モデルのトレーニング手法である「on-policy distillation」に関する新たな診断フレームワークを発表した。このフレームワークは、per-tokenの監督シグナルを用いるon-policy distillationが、どのような条件下で有効か、またどのような条件下で有害になるかを詳細に分析する。従来のトレーニング実行では困難だったトークンレベルの動態分析を、トレーニング不要でper token、per question、per teacherの解像度で可能にするという。
論文『Hierarchical Global Attention (HGA)』は6月29日(現地時間)、arXiv cs.LG上で公開されました。HGAは、事前学習済み大規模言語モデルの密な因果アテンションを代替する技術です。既存のチェックポイントパラメータを維持し、再トレーニングなしでの導入を可能にすることで、限られたGPUメモリで超長尺コンテキストを効率的に処理する新たな道を開きます。
Arnav Raj氏は6月25日(現地時間)、強化学習と人間からのフィードバック (RLHF) の報酬モデルにおける評価者間のばらつきを補正する新手法「PEBS」に関する論文をarxiv.orgで公開した。PEBS (Per-rater Empirical-Bayes Shrinkage) は、数千人のアノテーターから集められた選好データに対し、評価者ごとのアフィンキャリブレータを経験的ベイズ縮小で適用する。これにより、従来の単一グローバルキャリブレータが抱えていた、個々の評価者の評価スケールのオフセットや傾きの違いを平均化してしまう問題を解決し、報酬モデルの再訓練なしに下流のポリシー品質向上に貢献する。
学術論文投稿サイトarXivは2026年6月25日(現地時間)に公開した研究論文において、統計物理学における分子システムの効率的なサンプリングを目的とした新たなモデリングフレームワーク「Autoregressive Boltzmann Generators (ArBG)」を発表した。ArBGは、従来のBoltzmann Generators (BGs)が抱える表現力の制約や計算コストの課題を克服するため、Large Language Modelsのアーキテクチャを活用する。10残基のChignolinなどの大型ペプチドシステムで従来のフローベースモデルを大幅に改善し、1億3200万パラメータを持つ転送可能なモデル「Robin」は8残基システムにおけるゼロショットエネルギー誤差E-W$_2$を60%以上削減した。
arXiv cs.AIは2026年6月2日(現地時間)付けで提出された論文で、オープンウェイト大規模言語モデル（LLM）のファインチューニング時に頻発する安全アライメントの弱体化という課題に対し、革新的な解決策「SafeGene」を発表した。SafeGeneは、モデル固有の修復ではなく、タスク横断的に再利用可能な安全性アダプターモジュールとして機能するよう設計されており、アーキテクチャ互換性のあるモデルファミリー全体でその有効性を示している。これにより、LLMの安全性を効率的に維持しつつ、多様なカスタム利用への適応を可能にする。
Yangyi Huang氏らは5月27日(現地時間)、大規模言語モデル（LLM）のParameter-efficient finetuning (PEFT)に関する新たな評価手法「PEFT-Arena」を発表した。この研究は、PEFTの評価が、ダウンストリームタスクの精度だけでなく、事前学習済み能力の保持も考慮すべきという問題提起に基づいている。「PEFT-Arena」は、ターゲットタスクへの適応能力（可塑性）と忘却への耐性（安定性）という「安定性-可塑性ジレンマ」の観点からPEFTを評価する。複数のPEFT手法を比較した結果、同等のパラメータ予算において、直交ファインチューニングが最も有利な「パレートフロンティア」を達成したという。
Jaideep Ray氏は2026年5月20日(現地時間)、論文「The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models」を発表し、小型言語モデル (SLM) に見られる「constraint tax (制約税)」現象を提唱した。構造化出力が求められるSLMにおいて、厳格な出力制約を課すと、スキーマ妥当性は高まる一方で回答精度が大幅に低下することを指摘。この課題がプロダクション環境でのSLM導入において重要性を持つとした。
Chenyu Lian氏らは5月14日(現地時間)、疾患スクリーニング向けフレームワーク「EviScreen」をarXiv cs.CVで発表した。既存の医療画像診断モデルが抱える解釈性の低さや性能不足に対し、過去症例から領域レベルの証拠を用いる証拠推論アプローチを導入。臨床レベルのリコールを維持しつつ特異度を顕著に高め、リアルワールドの疾患スクリーニングにおいて優れた性能と客観的な解釈可能性を実現したと報告されている。
arXiv cs.LGは2026年5月8日(現地時間)、Hanhan Zhou、Shamik Roy、Rashmi Gangadharaiahの3氏による論文を発表した。同論文は、離散拡散型言語モデル（DLMs）における制御生成手法の改善を提案。既存手法が抱える生成品質の低下という課題に対し、属性のコミットタイミングに応じた適応型スケジューラーの有効性を示した。
Apple Machine Learning Researchは2026年5月(現地時間)、知覚品質と実行速度の双方を最適化する実用的な学習型画像コーデックに関する包括的な研究成果を発表した。この研究では、主要なモデリング選択肢を詳細に検討し、新たなコーデックを構築。従来のコーデックだけでなく、既存の学習型コーデックと比較しても、大幅な圧縮性能の向上と高速な処理能力を実現している。特に、iPhone 17 Pro Maxにおいては12メガピクセル画像のエンコードを230ミリ秒、デコードを150ミリ秒で完了できる性能を示しており、モバイルデバイスにおける高画質コンテンツの処理に新たな可能性を開くものと期待される。
米Appleは2026年5月(現地時間)、機械学習研究部門のウェブサイトで、ツール呼び出しエージェントの性能向上に関する研究論文「Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents」を発表した。この研究は、大規模言語モデル (LLM) を利用するエージェントにおける従来の事後評価の限界を克服するため、推論時の実行ループ内で評価を行う専門のレビュアーエージェントを導入する手法を提案している。