#アテンションヘッド

Transformer系、追加学習なしで計算資源に動的適応 単一モデルで柔軟運用

ウォルター・シモンチーニ(Walter Simoncini)氏らは10月14日(現地時間)、学術論文公開サイトarXiv cs.LGで、事前学習済みTransformerモデルが追加学習や重み修正を伴わずに計算資源の変動へ動的に適応する新手法を発表した。単一のモデルを多様な計算予算にリアルタイムで順応させることが可能で、既存モデルが抱える固定サイズという制約を解消し、運用効率を高める技術という。