ウォルター・シモンチーニ(Walter Simoncini)氏らは10月14日(現地時間)、学術論文公開サイトarXiv cs.LGで、事前学習済みTransformerモデルが追加学習や重み修正を伴わずに計算資源の変動へ動的に適応する新手法を発表した。単一のモデルを多様な計算予算にリアルタイムで順応させることが可能で、既存モデルが抱える固定サイズという制約を解消し、運用効率を高める技術という。
研究の中心は、Transformerモデル内の多層パーセプトロン(MLP)ニューロンとアテンションヘッドという個々の機能ユニットを、共通の尺度で同時にランク付けする微分可能な問題を緩和した点にある。従来の手法はMLPブロックやアテンションヘッドごとに重要度を個別に最適化していたが、今回の手法は多数のスパース性目標の下でソフトプルーニングを行い、モデル全体の損失を一括で最小化する。複数の機能ユニットを一つの枠組みで比較可能にした点は、モデル圧縮研究において新規性があると見られる。
研究チームは22Mから8Bパラメータに及ぶ27種類のVisionおよびText Transformerエンコーダーで手法を評価した。結果として、スパース性が最大60%に達するまで性能はなだらかに低下し、深いプルーニングの領域ではゼロショットベースラインを上回る精度を示したという。
具体例として、DINOv3 ViT-H+/16モデルを50%スパース化した場合、427Mパラメータを削減した一方、ImageNet-1kにおける線形プロービング精度の低下は0.8%にとどまった。この過程で重み修正や再学習は行われていない。推論基盤の運用コストを計算資源の状況に応じて柔軟に調整できる可能性があり、クラウド事業者やエッジ環境での応用が見込まれるという見方もある。
論文のタイトルは原題で「Your Transformer Is Secretly Elastic」とされ、arXiv番号は2610.20588、分類は機械学習分野のcs.LGに登録されている。公開日時は協定世界時換算で10月14日17時58分08秒だった。
さらに、同手法で60%スパース化したAugReg ViT-B/16モデルは、NVIDIA A100 GPU上でスループットが最大1.80倍向上し、単一クエリのレイテンシは1.26倍低減したことが確認された。こうした弾力的なモデルの生成には数分程度を要し、構築時間はパラメータ数に対して準線形にスケールするという。
参考: arXiv cs.LG (アーカイブ) — 2026年10月15日 02:58 (JST)
原文ハイライト"Your Transformer Is Secretly Elastic"