Vincent Jung氏らの研究チームは2026年10月20日(現地時間)、オンラインプレプリントリポジトリ「arXiv cs.LG」で研究成果を公開し、グラフ生成モデルにおけるグラフ固有のトランスフォーマー (Transformer) アーキテクチャが抱える課題に対処するため、新たなエッジアウェアアテンション層を提案したと発表した。この新提案により、ピーク時のGPUメモリ使用量を約65%削減し、トレーニングおよびサンプリングのスループットを大幅に向上させることに成功したという。
Vincent Jung氏、Alba Carballo-Castro氏、Yiming Qin氏、Lonneke van der Plas氏、Pascal Frossard氏らの研究チームは、グラフ生成モデルがトランスフォーマー (Transformer) アーキテクチャを使用する際、既存のハードウェア対応アテンション実装の恩恵を直接受けられないため、スケーラビリティが制限されるという問題点を指摘している。
この問題の背景には、エッジおよびグラフレベルの特徴をペアワイズアテンションスコアに注入する必要があること、グラフマスクを尊重しなければならないこと、そして動的なエッジ更新が二次的なメモリ使用量の主要な原因となることなど、解決が困難な要素が存在する。
研究チームは、ヘッドごとのスコア変調を通じて構造情報を組み込み、アテンションスコアに依存するエッジ更新を維持する軽量な残差メカニズムでエッジ表現を更新する、エッジアウェアアテンション層を提案した。この層は、PyTorchのFlexAttentionを用いて効果的に実装可能だとしている。
この新しいアーキテクチャは、ベースラインと同等の生成品質を達成しながら、ピーク時のGPUメモリを約65%削減し、トレーニングとサンプリングのスループットを大幅に改善した。これらの結果は、提案されたアーキテクチャがスケーラブルなグラフ基盤モデルに向けた実用的な一歩であることを示唆している。本研究は、ソウル (Seoul) で開催されたICML 2026のWorkshop on Graph Foundation ModelsおよびWorkshop on Structured Probabilistic Inference & Generative Modelingで採択された。
参考: arXiv cs.LG (アーカイブ) — 2026年10月21日 02:56 (JST)