Tag
18 件の関連記事
LARA (ライトウェイト・アディティブ・レジデュアル・アダプテーション) は2026年7月25日(現地時間)、フリーズされたモデルの重みに変更を加えず、残差ストリーム内で動作する新たなモデル適応手法としてarXiv (アーカイブ) に発表されました。この手法は、既存のLoRA (ローラ) と同等のパラメータ数で高い性能を発揮し、隠れ状態の読み取りと低ランク補正を残差ストリームへ追加することで、基本モデルの重みを不変に保ちます。単一モデル上で複数の学習済み動作を効率的に管理する可能性を示唆しています。
arxiv.orgは8月3日(現地時間)、テスト時潜在推論手法「GradCuit (グラッドキュイット)」に関する査読前プレプリントを発表した。大規模言語モデル (LLM) の推論において平均64.5%の精度を記録し、既存の勾配伝播の課題を解決。推論形成に貢献する潜在状態への直接的クレジット割り当てを可能にすることで、モデルの堅牢性と解釈性を大幅に向上させ、次世代LLM開発における信頼性確保に寄与すると期待される。
ハオミン・チー (Haomin Qi) らは2026年7月30日(現地時間)、リポジトリの変更から実行可能なコーディングエージェントのタスクと環境を生成するシステム「Change2Task (チェンジ・トゥ・タスク)」に関する論文をarXivに発表した。Change2Taskは、マージされたプルリクエストを、リポジトリの健全な最新リビジョンに基づいた検証済みタスクに変換する。このシステムは、コーディングエージェントのトレーニング、ベンチマーク、継続的評価に必要な実行可能データの供給を拡大することを目的としている。
Kiran Nair (キラン・ネアー) 氏、Smriti Regmi (スムリティ・レグミ) 氏、Rodrigue Rizk (ロドリグ・リスク) 氏らは7月28日(現地時間)、arXivで公開された論文の中で、トランスフォーマーの推論効率を向上させる新しいフレームワーク「CausalGate (コーザルゲート)」を開発したと発表した。CausalGateは、大規模言語モデル (LLM) における冗長なモジュールを特定し除去することで、計算効率を高めることを目的としている。
研究チームは2026年7月20日(現地時間)、大規模言語モデル (LLM) コーディングエージェントのコンテキスト最適化手法「CORVUS」に関する論文を発表した。この手法は、既存エージェントが抱えるファイル読み取りの冗長性と、古いスナップショット問題への対処を目的としている。ファイル読み取りと観測の結合を解消する新しいアーキテクチャを提案することで、軽量な軌跡生成とコードベースとの同期を維持し、推論エラーの削減を目指す。
arXiv cs.LG は7月23日(現地時間)、時系列分類器の予測説明における新しいフレームワーク「タイムピーエヌエス（TimePNS）」を提案する論文を公開した。Hongnan Ma氏、Yiwei Shi氏、Mengyue Yang氏、Weiru Liu氏らによるこの研究は、既存の手法が十分性のみに着目し、モデルの決定に不可欠でない部分系列に高い重要性を割り当てる課題を指摘。これに対し、タイムピーエヌエス（TimePNS）は、予測を維持するのに十分であるだけでなく、必要不可欠な部分系列を特定することを目指す。TimePNSはPearlの反実仮想的必要性に着想を得ており、一時的要因への介入を通じてその必要性を評価する。
アリ・カイアム氏は6月12日(現地時間)、arXiv（アーカイヴ）にて、Mixture-of-Experts（MoE）モデルの推論時メモリ効率を大幅に高める新トレーニング手法「StickyMoE」に関する研究論文を発表した。この手法は、MoEモデルが連続するトークン間で頻繁にエキスパートを切り替えることで生じる、メモリ内のウェイトスワッピング問題の解消を目指す。StickyMoEは、エキスパート割り当ての一貫性を高める新たな損失関数を導入し、推論の効率化に貢献する。
Appleは2026年7月(現地時間)、機械学習研究ブログ「Apple ML Research」にて、推論モデルのトレーニング手法である「on-policy distillation」に関する新たな診断フレームワークを発表した。このフレームワークは、per-tokenの監督シグナルを用いるon-policy distillationが、どのような条件下で有効か、またどのような条件下で有害になるかを詳細に分析する。従来のトレーニング実行では困難だったトークンレベルの動態分析を、トレーニング不要でper token、per question、per teacherの解像度で可能にするという。
論文『Hierarchical Global Attention (HGA)』は6月29日(現地時間)、arXiv cs.LG上で公開されました。HGAは、事前学習済み大規模言語モデルの密な因果アテンションを代替する技術です。既存のチェックポイントパラメータを維持し、再トレーニングなしでの導入を可能にすることで、限られたGPUメモリで超長尺コンテキストを効率的に処理する新たな道を開きます。
Arnav Raj氏は6月25日(現地時間)、強化学習と人間からのフィードバック (RLHF) の報酬モデルにおける評価者間のばらつきを補正する新手法「PEBS」に関する論文をarxiv.orgで公開した。PEBS (Per-rater Empirical-Bayes Shrinkage) は、数千人のアノテーターから集められた選好データに対し、評価者ごとのアフィンキャリブレータを経験的ベイズ縮小で適用する。これにより、従来の単一グローバルキャリブレータが抱えていた、個々の評価者の評価スケールのオフセットや傾きの違いを平均化してしまう問題を解決し、報酬モデルの再訓練なしに下流のポリシー品質向上に貢献する。
学術論文投稿サイトarXivは2026年6月25日(現地時間)に公開した研究論文において、統計物理学における分子システムの効率的なサンプリングを目的とした新たなモデリングフレームワーク「Autoregressive Boltzmann Generators (ArBG)」を発表した。ArBGは、従来のBoltzmann Generators (BGs)が抱える表現力の制約や計算コストの課題を克服するため、Large Language Modelsのアーキテクチャを活用する。10残基のChignolinなどの大型ペプチドシステムで従来のフローベースモデルを大幅に改善し、1億3200万パラメータを持つ転送可能なモデル「Robin」は8残基システムにおけるゼロショットエネルギー誤差E-W$_2$を60%以上削減した。
arXiv cs.AIは2026年6月2日(現地時間)付けで提出された論文で、オープンウェイト大規模言語モデル（LLM）のファインチューニング時に頻発する安全アライメントの弱体化という課題に対し、革新的な解決策「SafeGene」を発表した。SafeGeneは、モデル固有の修復ではなく、タスク横断的に再利用可能な安全性アダプターモジュールとして機能するよう設計されており、アーキテクチャ互換性のあるモデルファミリー全体でその有効性を示している。これにより、LLMの安全性を効率的に維持しつつ、多様なカスタム利用への適応を可能にする。
Yangyi Huang氏らは5月27日(現地時間)、大規模言語モデル（LLM）のParameter-efficient finetuning (PEFT)に関する新たな評価手法「PEFT-Arena」を発表した。この研究は、PEFTの評価が、ダウンストリームタスクの精度だけでなく、事前学習済み能力の保持も考慮すべきという問題提起に基づいている。「PEFT-Arena」は、ターゲットタスクへの適応能力（可塑性）と忘却への耐性（安定性）という「安定性-可塑性ジレンマ」の観点からPEFTを評価する。複数のPEFT手法を比較した結果、同等のパラメータ予算において、直交ファインチューニングが最も有利な「パレートフロンティア」を達成したという。
Jaideep Ray氏は2026年5月20日(現地時間)、論文「The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models」を発表し、小型言語モデル (SLM) に見られる「constraint tax (制約税)」現象を提唱した。構造化出力が求められるSLMにおいて、厳格な出力制約を課すと、スキーマ妥当性は高まる一方で回答精度が大幅に低下することを指摘。この課題がプロダクション環境でのSLM導入において重要性を持つとした。
Chenyu Lian氏らは5月14日(現地時間)、疾患スクリーニング向けフレームワーク「EviScreen」をarXiv cs.CVで発表した。既存の医療画像診断モデルが抱える解釈性の低さや性能不足に対し、過去症例から領域レベルの証拠を用いる証拠推論アプローチを導入。臨床レベルのリコールを維持しつつ特異度を顕著に高め、リアルワールドの疾患スクリーニングにおいて優れた性能と客観的な解釈可能性を実現したと報告されている。
arXiv cs.LGは2026年5月8日(現地時間)、Hanhan Zhou、Shamik Roy、Rashmi Gangadharaiahの3氏による論文を発表した。同論文は、離散拡散型言語モデル（DLMs）における制御生成手法の改善を提案。既存手法が抱える生成品質の低下という課題に対し、属性のコミットタイミングに応じた適応型スケジューラーの有効性を示した。
Apple Machine Learning Researchは2026年5月(現地時間)、知覚品質と実行速度の双方を最適化する実用的な学習型画像コーデックに関する包括的な研究成果を発表した。この研究では、主要なモデリング選択肢を詳細に検討し、新たなコーデックを構築。従来のコーデックだけでなく、既存の学習型コーデックと比較しても、大幅な圧縮性能の向上と高速な処理能力を実現している。特に、iPhone 17 Pro Maxにおいては12メガピクセル画像のエンコードを230ミリ秒、デコードを150ミリ秒で完了できる性能を示しており、モバイルデバイスにおける高画質コンテンツの処理に新たな可能性を開くものと期待される。
米Appleは2026年5月(現地時間)、機械学習研究部門のウェブサイトで、ツール呼び出しエージェントの性能向上に関する研究論文「Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents」を発表した。この研究は、大規模言語モデル (LLM) を利用するエージェントにおける従来の事後評価の限界を克服するため、推論時の実行ループ内で評価を行う専門のレビュアーエージェントを導入する手法を提案している。