Tag
41 件の関連記事
Jiahan Li、Huangyuan Su、Shengbang Tongらの研究者らは2026年10月21日(現地時間)、事前学習済み表現空間における統一マルチモーダルモデリング「JUICE (Joint Unified multimodal modeling In Continuous Encoder spaces)」に関する研究論文を公開した。画像とテキストの非対称な扱いが主流であった既存モデルに対し、単一のプロセスで両モダリティを共同生成する手法を提案している。
Shan Wang（シャイン・ワン）氏らは、2026年10月16日(現地時間)、ニューラルネットワークを用いたバイナリ型推論において、従来の「単一関数境界内分析（intra-procedural analysis）」の限界を克服する新たな手法「インタータイプ（InterType）」を提案した。既存のTransformerベースモデルは命令レベルのセマンティクス学習で高い性能を示す一方、関数呼び出しをまたぐ型制約を無視する課題があった。実証研究では、実世界のバイナリにおける変数の約44%が関数境界を越えて伝播することが示されている。
Vincent Jung氏らの研究チームは2026年10月20日(現地時間)、オンラインプレプリントリポジトリ「arXiv cs.LG」で研究成果を公開し、グラフ生成モデルにおけるグラフ固有のトランスフォーマー (Transformer) アーキテクチャが抱える課題に対処するため、新たなエッジアウェアアテンション層を提案したと発表した。この新提案により、ピーク時のGPUメモリ使用量を約65%削減し、トレーニングおよびサンプリングのスループットを大幅に向上させることに成功したという。
NVIDIAは2026年10月20日(現地時間)、事前学習済み時系列表現と履歴パターン検索、解釈可能性を組み合わせた多変量時系列予測モデル「Kumo Forecast」を発表した。同モデルは、事前学習済みTransformerバックボーンと、履歴データからパターンを検索して直接モデル予測と組み合わせる文脈拡張予測モード「Domain-Aware Representation and Retrieval (DARR)」を統合している。
Muhammad Azlan Qazi氏、Alexandros Iosifidis氏、Qi Zhang氏らは2026年10月14日(現地時間)、論文「TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference」を発表した。このフレームワークは、エッジデバイス間での分散型Transformer推論における通信のボトルネックを解消し、推論遅延の削減を目指す。特に、計算と通信の直列化という既存の課題に対処する。
ウォルター・シモンチーニ(Walter Simoncini)氏らは10月14日(現地時間)、学術論文公開サイトarXiv cs.LGで、事前学習済みTransformerモデルが追加学習や重み修正を伴わずに計算資源の変動へ動的に適応する新手法を発表した。単一のモデルを多様な計算予算にリアルタイムで順応させることが可能で、既存モデルが抱える固定サイズという制約を解消し、運用効率を高める技術という。
アブシン・ハダンギ (Afshin Khadangi) 氏は2026年10月14日(現地時間)、研究論文リポジトリarXivにて、新しいTransformerアテンション演算子「Continuum Attention (CA)」に関する論文を発表した。CAは、従来の離散的なキーと値の参照機構を、連続的な区分線形メモリカーブ上の積分に置き換える因果Transformerアテンション演算子として提案されており、次世代モデルの効率と性能向上に寄与すると期待されている。
arXiv cs.CL は2026年9月24日(現地時間)、Tianjing Li (ティエンジーン・リー) 氏らが開発した、テキスト・画像拡散モデル向けの新低ランク適応 (LoRA) 手法「Diffu-LoRA」に関する研究論文を公開した。この手法は、少数の参照画像から拡散モデルをパーソナライズする際に、被写体の同一性を維持しつつ新しい文脈を記述するプロンプトに従う能力を向上させながら、パラメータ効率を高めることを目的としている。従来のLoRAの課題であった適応容量の層間配分を、ゲート付き低ランク適応を通じて学習することを特徴とする。
コンスタンティノス・ギフトディモス (Konstantinos Gyftodimos) 氏らは2026年10月8日(現地時間)、車載ネットワークにおける異常検知のためのプライバシー保護フレームワークに関する研究論文をarXiv上で発表した。このフレームワークは、時系列Transformer CANエンコーダーと軽量な連邦学習ヘッドを組み合わせることで、従来の識別が困難であった微細な異常を検出する。
arXiv cs.CVが2026年10月8日(現地時間)に公開した論文「One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts」において、Adrian Bulat (エイドリアン・ブラット) 氏らは、単一のTransformerブロックを再帰的に適用することで、中間特徴蒸留なしに全深度ビジョンエンコーダに匹敵する精度を達成する手法「reViT」を発表した。
arXiv cs.CLは10月7日(現地時間)、大規模言語モデル (LLM) において、事実知識と汎用計算の機能を分離することで、知識更新の効率化と正確性を高める新手法「EngramEdit (エングラムエディット)」が提案されたと発表した。この手法は、モデルの基盤となるTransformer backbone (トランスフォーマーバックボーン) を固定したまま、共有埋め込みの相互干渉によって発生していた従来の知識更新における課題を解決することを目指す。EngramEditは、条件付きメモリを活用し、特定の知識更新が他の既存知識や推論能力に与える悪影響を最小限に抑える設計となっている。
arXiv cs.CLは9月30日(現地時間)、大規模言語モデル（LLM）の「拒否」行動がTransformer内部でどのように表現・操作されるかに関する論文を発表しました。Vincent Siu氏、Glenn Grant-Richards氏、Vlad Pavlovich氏、Yizhou Sun氏、Dawn Song氏、Chenguang Wang氏ら研究者グループによるこの研究は、活性化ステアリングのメカニズムを解明し、拒否行動が拡散的にエンコードされるのではなく、特定の構造化されたメカニズムによって組み立てられていることを指摘しています。
Joseph Metcalfe氏らは9月29日(現地時間)、衛星画像時系列データにおける作付地セグメンテーションのための新たなハイブリッドTransformer-畳み込みニューラルネットワーク（CNN）モデル「パターンズ（PAtteRNS）」を発表した。PAtteRNSは、Sentinel-2マルチスペクトル衛星画像時系列データ（SITS）の時間的、スペクトル的、空間的側面それぞれに自己注意機構を個別に利用する初のモデルであり、既存モデルの性能を上回る結果を示している。
Dor Tirosh（ドール・ティロシュ）らは9月29日(現地時間)、学術論文公開サイトarXiv cs.CLにて、Latent Information Feedback Transformer（LIFT）と名付けられた新たなTransformerアーキテクチャと学習手法を発表した。これは、従来のTransformer言語モデルに内在するフィードフォワード型の情報伝達ボトルネックを事前学習段階で解消し、言語モデル（LMs）が生成ステップ間で状態を効率的に伝播できるようにする。実験結果では、LIFTが標準的なTransformerや他のベースラインを上回る性能を示し、次世代モデル開発の可能性を提示している。
arXiv cs.CLは2026年9月8日(現地時間)、Narges Mokhtari (ナルゲス・モクタリ)氏らの研究論文「Manifold Projection and Iterative Autoencoder Refinement for Masked Language Modeling」を公開した。同論文は、Transformer（トランスフォーマー）ベースのマスク言語モデルにおいて、Attention（アテンション）メカニズムに代わる、低ランクボトルネックオートエンコーダを用いたデータミキシング手法を提案している。
ジョンヒョン・キム (Jonghyun Kim)氏らは2026年9月9日(現地時間)、学術論文投稿サイトarXiv cs.CVで公開された論文「Single-Query Person-Centric Bimanual Hand-Object Interaction Detection」の中で、複数人物が関わる複雑なシーンにおいて、両手と物体の相互作用を検出する新たな手法を提案した。この「人物中心 (person-centric)」手法は、既存の「ハンド中心 (hand-centric)」アプローチで生じがちな手の所有権の曖昧さを解消し、単一のクエリで人物全体の構造、両手の動作、そしてインタラクション対象を識別することを可能にする。
ズイウェイ・リー (Zhiwei Li)氏らは9月11日(現地時間)、事前学習済みTransformerの累積Attention（アテンション）コストを削減する新たなスパースAttentionメカニズム「SAS (Simple Attention Sparsification)」を提案した。これは、同日付けでarXiv cs.CLに掲載された論文で報告されたもの。既存手法が抱えていたコンテキストランキングと予測への影響の不整合を解消し、言語モデリングロスとのエンドツーエンド最適化を実現することで、計算効率と性能の向上を図る。
arXiv cs.CLは9月9日(現地時間)、多言語読解力評価（ARA）に関する論文を公開した。同論文は、Transformerモデルがこの分野で優れた性能を示すだけでなく、言語学的特性に基づく従来型モデルの特徴を内在化している可能性を指摘。ジョシュア・ウォン氏らの研究は、アラビア語など多言語において、Transformerモデルが従来モデルと同じ特徴を学習するかを検証し、読解力評価の複雑性に新たな知見を示している。
arXiv cs.LGが2026年9月10日(現地時間)付けで公開した論文が、Mixture-of-Experts (MoE) モデルが学習データの繰り返しに対して、高密度活性化Transformerモデルよりも過学習しやすいことを指摘した。人間が作成したテキストデータの供給が枯渇する中、言語モデルの学習データ繰り返しは一般的な手法となっている。この研究は、MoEの性能劣化がデータの繰り返し率に大きく依存し、その影響がスパース性と共に増加することを示している。
Hugging Faceは2026年9月2日(現地時間)、効率的なマルチモーダル・マルチリンガルエンコーダー「NeoMME」を発表した。このモデルは2億6000万と8億の2つのサイズで提供され、単一の双方向Transformerがテキストトークンと生の画像パッチの両方を処理する。事前学習済みのビジョンタワーや因果言語モデルを使用しないアーキテクチャが特徴である。
ムナワル・ハサン氏とアポストル・ヴァシレフ氏は2026年8月31日(現地時間)、arXiv cs.LGに「Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks」と題する論文を発表した。この研究は、滑らかな2層フィードフォワードネットワーク（FFNs）が、特定の条件下で追加の構造モデル抽出チャネルを露出させることを示した。パラメータや勾配へのアクセスなしに、選ばれた入力と生の出力情報のみを用いることで、隠れた内部構造を高精度で回復する手法が詳述されている。
arXivは8月26日(現地時間)、論文を公開し、Ali Bahri (アリ・バーリ) 氏らが大規模言語モデル (LLM) の推論コスト削減手法「深層プルーニング (depth pruning)」によって生じる精度損失を補正する新たなフレームワーク「SHIFT-LLM」を発表しました。この手法は訓練不要で、プルーニングされたTransformerブロックの隠れ状態分布の乱れを線形残差アダプター (LRA) で補正すると報告されています。実験では、複数のモデルとベンチマークにおいて、深層プルーニングで失われた精度を一貫して回復したことを示しています。
Yongliang Zhang氏らの研究チームは8月19日(現地時間)、arXiv cs.CVが公開した論文で、測位データと高精度道路ネットワークを接続するマップマッチング技術の新たなフレームワーク「SceneGTMM」を発表した。同フレームワークは、既存手法が抱えるノイズ堅牢性、クロスリージョン転送、解釈性といった課題に対応するため、コンフォーマルマッピングに基づくシーンアウェア転送戦略とGNN-Transformerデュアルグラフ相互作用アーキテクチャを導入している。
arxiv.orgは8月3日(現地時間)、テスト時潜在推論手法「GradCuit (グラッドキュイット)」に関する査読前プレプリントを発表した。大規模言語モデル (LLM) の推論において平均64.5%の精度を記録し、既存の勾配伝播の課題を解決。推論形成に貢献する潜在状態への直接的クレジット割り当てを可能にすることで、モデルの堅牢性と解釈性を大幅に向上させ、次世代LLM開発における信頼性確保に寄与すると期待される。
Kiran Nair (キラン・ネアー) 氏、Smriti Regmi (スムリティ・レグミ) 氏、Rodrigue Rizk (ロドリグ・リスク) 氏らは7月28日(現地時間)、arXivで公開された論文の中で、トランスフォーマーの推論効率を向上させる新しいフレームワーク「CausalGate (コーザルゲート)」を開発したと発表した。CausalGateは、大規模言語モデル (LLM) における冗長なモジュールを特定し除去することで、計算効率を高めることを目的としている。
Apple は2026年7月(現地時間)、テキストから動画を生成する処理速度を向上させる学習不要の新たな手法「CalibAtt」を発表しました。この技術は、既存の拡散モデルが抱える時空間アテンションのボトルネックを解消し、動画生成の品質とテキストとの整合性を維持しながら、最大1.58倍の高速化を実現します。これにより、高品質な動画生成における実行時間の遅さという課題の解決に貢献すると見られます。
Apple ML Researchは2026年7月(現地時間)、大規模言語モデル (LLM) の核となるTransformerにおけるフィードフォワードネットワーク (FFN) の役割を再定義する研究論文「MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers」を発表した。この研究は、FFNを自己アテンション機構から切り離し、コンテキストフリーなトークンごとのニューラル検索メモリとして機能させる新手法「MemoryLLM」を提案。これにより、LLMの推論効率向上と、特に機械学習モデルの「ブラックボックス」問題解明に貢献する可能性を示唆している。
arXiv cs.LGは7月1日(現地時間)、研究論文「Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training」を発表した。この論文は、大規模言語モデル（LLM）の強化学習（RL）後学習において、Transformerモデルの単一の層のみを学習させることで、モデル全体の全パラメータを学習するのと同等か、それを上回る性能向上が得られる可能性を指摘している。既存のRLアプローチの前提に疑問を呈し、層ごとの学習効果を分析した点が特徴だ。
ジョバンニ・モネア（Giovanni Monea）氏らは7月1日(現地時間)、学術論文公開サイトarXivにおいて、大規模言語モデルの基盤技術であるTransformerの性能を向上させる新たな「状態予測分離仮説」を提唱する論文を公開しました。Transformerが次トークンの予測と将来の状態保持に同一の順方向計算ストリームを使用することに着目し、これら二つの役割を分離することで、データ効率と計算効率の両面で優れた言語モデリング性能が得られることを実証しました。
論文『Hierarchical Global Attention (HGA)』は6月29日(現地時間)、arXiv cs.LG上で公開されました。HGAは、事前学習済み大規模言語モデルの密な因果アテンションを代替する技術です。既存のチェックポイントパラメータを維持し、再トレーニングなしでの導入を可能にすることで、限られたGPUメモリで超長尺コンテキストを効率的に処理する新たな道を開きます。
arXiv cs.LGは2026年6月25日(現地時間)、論文「Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing」を発表した。従来のTransformerモデルにおけるMulti-head attentionの均一なヘッド割り当てが、性能を阻害する構造的ボトルネックであることを指摘。この課題に対し、Shubham Aggarwal氏が新たなアーキテクチャ「Prism Transformer」を提案した。同モデルは層間でヘッド数を単調に増加させるプログレッシブなヘッドスケジュールを採用し、パラメーターと計算量を増やさずにモデルの潜在能力を効果的に引き出す。
ポール・デュボワ (Paul Dubois) 氏は2026年6月26日(現地時間)、大規模言語モデル (LLM) とワールドモデルの関係性に関する研究論文をarXivで発表した。論文では、LLMがワールドモデルの退化した特殊ケースであり、ワールドモデルはLLMの厳密な一般化であると主張。ヤン・ルカン (Yann LeCun) 氏が2022年に提唱した、汎用人工知能達成のためのラテント空間アーキテクチャへの移行の必要性に対する、二元論的ではない新たな視点を示した。
Transformerアーキテクチャ (Transformer architecture) の共同著者であるノーム・シャゼール氏は2026年6月18日(現地時間)、Google DeepMindを退社し、OpenAIに参画することを明らかにした。同氏は、現代の主要なAIモデルの基盤となる2017年の論文「Attention Is All You Need」を共同執筆している。シャゼール氏はOpenAIで、アーキテクチャ研究のリードを務める。
arXiv cs.AIは6月16日(現地時間)、「Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers」と題する論文を発表した。同論文は、深層およびループアーキテクチャが直面する信号伝播問題を解決するため、固定点収束を停止メカニズムとして組み込んだTransformerベースのモデル、Fixed-Point Reasoning Model (FPRM) を提案している。FPRMはタスクの難易度に応じて計算資源を適応的に利用し、効率的な推論の実現を目指す。
arXiv cs.LGは2026年6月4日(現地時間)、リカレントニューラルネットワーク (RNNs) の事前学習における新たな手法「Supervised Memory Training (SMT)」を発表した。SMTは、従来のバックプロパゲーション・スルー・タイム (BPTT) が持つ、時間的な逐次処理による並列性制限や、勾配消失・勾配爆発による長距離の関連性学習の困難さを克服することを目的とする。リカレントな信用伝播を完全に回避し、RNNの訓練を1ステップのメモリー遷移ラベルに対する教師あり学習に還元することで、これらの課題に対処する。
arXiv cs.LGは2026年5月23日(現地時間)、「Graph Mamba Survival Analysis Based on Topology-Aware ordering」と題する論文を公開した。計算病理学の分野で、Whole Slide Images (WSIs) 生存分析における患者の予後評価を阻む技術的課題に対応するため、本論文は新しいGraph Mamba生存分析フレームワーク「TopoMamSurv」を提案。これは、トポロジー認識順序付け（Topology-Aware ordering, TAO）の採用により、既存手法の限界を克服することを目指す。
ニール・ソマニ氏 (Neel Somani) は5月21日(現地時間)、Transformerモデルの回路説明を検証可能にする新フレームワーク「Verifiable Transformers」を導入した。arXiv cs.LGが同日付で報じた。これは、Transformerモデル内のメカニスティックな解釈可能性において、回路を発見することと、その回路の機能を厳密に証明することとの間に存在するギャップを埋めることを目指す。
arXiv 2026年5月25日(現地時間) 研究論文投稿サイトarXivは、大規模言語モデル（LLM）の長文処理における計算コスト増大の課題を克服する新メカニズムを提案する論文『Language Models Need Sleep』を公開した。提案されたのは、人間の睡眠に類似した「統合メカニズム」で、モデルが周期的に過去のコンテキスト情報を永続的な重みに変換し、一時的なキャッシュをクリアする。これにより、LLMが長期間の複雑なタスクを効率的かつ高性能に処理する可能性が示されている。
Rao Fu氏らの研究チームは2026年5月11日(現地時間)、arXiv cs.LGで、既存のLooped Transformerモデルが抱える訓練時の不安定性を解決する新モデル「Fully Looped Transformer」を発表した。この新モデルは、パラメータ数や文脈長を増やすことなく性能向上を可能にするLooped Transformerの利点を維持しつつ、特にループ反復回数が増加する際の訓練安定性を大幅に改善する。これは、Looped Transformerが直面していた勾配振動や残差爆発といった根本的な問題を克服する画期的な試みだ。
Allen Institute for AI (allenai) は2026年5月15日(現地時間)、地球観測モデル「OlmoEarth」の最新版となる「OlmoEarth v1.1」を発表した。この新しいモデルファミリーは、OlmoEarth v1の性能を維持しながら、コンピューティングコストを最大3倍削減することが可能だとしている。
arXiv cs.CRは2026年5月14日(現地時間)、大規模言語モデル (LLM) に対する新たなバックドア攻撃手法「MetaBackdoor」が発表されたと報じた。この手法は、従来のコンテンツベースのトリガーに依存せず、入力テキストの視覚的または意味的な変更を伴わずに、位置情報をトリガーとして悪用する。研究者らは、TransformerベースのLLMがトークンの位置をエンコードする特性に着目し、長さと相関する位置構造がモデルの内部計算に反映されることを利用して、検出が困難なバックドアを活性化させる可能性を示している。