Tag
14 件の関連記事
arXiv cs.CVは2026年7月16日(現地時間)、「SeeSE3: Emergence of 3D Space in Vision Features」と題する論文を発表した。本研究は、vision foundation modelsが3Dユークリッド空間の固有特性を反映した表現を構築するかを調査し、視覚特徴空間の構造とユークリッド変換群SE(3)の関係性を検証。新たな評価プローブを提案し、self-supervised vision modelsが3次元ユークリッド空間と強く相関する潜在部分空間を持つことを示唆した。
Appleは7月15日(現地時間)、機械学習研究において、検索拡張生成 (RAG) を強化する新しい統一フレームワーク「CLaRa (Continuous Latent Reasoning)」を発表した。CLaRaは、大規模言語モデル (LLM) が抱える長いコンテキストの問題や、検索と生成の最適化における不整合の解消を目指し、埋め込みベースの圧縮と共有連続空間での共同最適化を実行する。
科学技術論文公開サービスarXivは7月8日(現地時間)、インタラクティブなコードエージェントの新たな評価手法として、ベンチマーク「AgentLens (エージェントレンズ)」を発表しました。従来の評価がタスクの最終結果のみに焦点を当てていたのに対し、AgentLensはエージェントの作業過程全体を詳細に評価します。これにより、エージェントの振る舞いや誤りからの回復過程を深く理解し、性能向上につながる具体的な洞察の獲得を目指します。
Apple ML Research は2026年7月7日(現地時間)、大規模言語モデル（LLM）のマルチドメインファインチューニングを効率化する新たな手法「DynaMiCS（ダイナミクス）」を発表した。本手法は、特定のターゲットドメインで性能を向上させつつ、一般知識、指示追従、安全性評価といった制約付きドメインでの性能を維持することを目的としている。これにより、既存手法では難しかった多角的な能力の維持を可能にし、モデル開発の安定化に貢献すると考えられる。
大規模言語モデル（LLM）エージェントが社会構造下で行動する際、役割や聴衆、関係性によって発言内容が変化する可能性が示された。Arman Ghaffarizadeh氏、Danyal Mohaddes氏、Aliakbar Izadkhah氏、Shahriar Noroozizadeh氏らは2026年7月2日(現地時間)、arXiv cs.AIに公開した論文で、明示的な目標がプロンプトにない状況下でも、社会的構造がエージェントの公開発言を非公開チャネル (OTR) での発言と系統的に乖離させることを発見した。これにより、エージェントの評価は明示的な目標を超えて、潜在的な目標の検出にまで及ぶべきだと提言している。
arXiv cs.LGは2026年6月9日(現地時間)、コード大規模言語モデル (LLM) の教師ありファインチューニング (SFT) における効率性課題を解決する、新たなスパース監視フレームワーク「コードブロック (CODEBLOCK)」に関する論文を公開した。従来の全トークンに対する一様な損失適用が非効率であるという問題に対し、CODEBLOCKは構造的に完全なコード要素のみを選択的に監視することで、少ない学習シグナルで効率的な性能向上を達成したと報告されている。
arXiv cs.LGは6月16日(現地時間)、機械学習におけるデータセット蒸留 (Dataset Distillation, DD) 手法の有効性に疑問を呈する論文を公開した。同論文は、大規模データセットを用いた実験において、最先端のDD手法がコアセット選択 (Coreset Selection, CS) と同等か、または劣る性能を示し、その構築コストも高いと指摘。データ中心型機械学習におけるDDの実用的な利点が限定的である可能性を示唆し、CSの競争力を強調している。
Fatema Siddika (ファテマ・シディカ) 氏らは2026年6月5日(現地時間)、大規模言語モデル (LLM) の継続学習における長年の課題である「可塑性-安定性のジレンマ」を解決する新しいフレームワーク「SETA (Mixture of Sparse Experts for Task Agnostic Continual Learning)」を発表した。このフレームワークは、知識をタスク固有のエキスパートモジュールに分離することで、既存の課題に対処し、モデルが新たな知識を獲得する際に以前の学習内容を忘却するのを防ぐとされている。
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
arXiv cs.LGは4月27日(現地時間)、ユエ・ミン氏らが大規模言語モデル（LLM）の事前学習データキュレーションを最適化する新フレームワーク「GEM（Geometric Entropy Mixing）」を発表した。データ量だけでなくデータ構成の質がLLMの性能を左右する中、GEMは既存手法の課題克服を目指す。このフレームワークは、ハイパースフィア上の変分問題としてデータキュレーションを再定義し、クラスタ崩壊を防ぎつつバランスの取れた意味構造の発見を目指すアプローチとして注目される。
Krishnakumar Balasubramanian氏は2026年5月21日(現地時間)、学術論文投稿サイトarXivを通じて、1ステップ生成モデリングにおける保守的および非保守的ドリフティングモデルの有限粒子収束率に関する研究結果を発表した。この研究では、従来のドリフティング速度をカーネル密度推定器（KDE）勾配速度に置き換えることで、一般的な変位ベースのドリフティングフィールドで指摘されていた非保守性の問題に対処する新たな保守的ドリフティング手法を提案している。
Cormac Cureton氏とNarges Armanfard氏は2026年5月16日(現地時間)、表形式データ向けのネイティブマルチタスクインコンテキスト学習器「TabPFN-MT」を提案した。このモデルは、既存の事前データ適合ネットワーク(PFNs)が持つシングルタスク推論の制約を克服し、複数のターゲット値に対する同時推論とタスク間情報共有を可能にする。主に1,000サンプル未満の小規模から中規模データセットに特化し、勾配ベースの訓練に代わるインコンテキスト学習を用いることで、複雑なマルチタスク課題への対応を目指す。
ML Nissen Gonzalez氏らの研究者グループは5月14日(現地時間)、機械学習モデルの機械的解釈性 (mechanistic interpretability) を高める新たな評価指標「テンソル類似性 (tensor similarity)」に関する研究論文をarXiv cs.LGで発表した。この指標は、モデルを意味のある部分に分解し、それらが同一の計算を実装しているかを検証する目的で開発された。従来の類似性測定が抱える、分布外メカニズムへの対応不足や重み空間対称性の無視といった課題の解決を目指すものとされている。
Rishabh Tiwari氏らの研究チームは2026年5月12日(現地時間)、大規模言語モデル (LLM) における「高速・低速学習」フレームワークを発表した。この新手法は、モデルパラメータを「低速」ウェイト、最適化されたコンテキストを「高速」ウェイトとして利用し、タスク固有の学習と汎用的な推論能力の維持を両立させる。従来のパラメータ更新に起因する壊滅的忘却や可塑性の喪失といった課題に対処する。