Transformer系、追加学習なしで計算資源に動的適応 単一モデルで柔軟運用
ウォルター・シモンチーニ(Walter Simoncini)氏らは10月14日(現地時間)、学術論文公開サイトarXiv cs.LGで、事前学習済みTransformerモデルが追加学習や重み修正を伴わずに計算資源の変動へ動的に適応する新手法を発表した。単一のモデルを多様な計算予算にリアルタイムで順応させることが可能で、既存モデルが抱える固定サイズという制約を解消し、運用効率を高める技術という。
Tag
2 件の関連記事
ウォルター・シモンチーニ(Walter Simoncini)氏らは10月14日(現地時間)、学術論文公開サイトarXiv cs.LGで、事前学習済みTransformerモデルが追加学習や重み修正を伴わずに計算資源の変動へ動的に適応する新手法を発表した。単一のモデルを多様な計算予算にリアルタイムで順応させることが可能で、既存モデルが抱える固定サイズという制約を解消し、運用効率を高める技術という。
Md Anas Biswas氏らは2026年9月27日(現地時間)、小型IoT (Internet-of-Things) デバイス向け侵入検知器の圧縮に用いられる「層ごとのプルーニング(枝刈り)」が、深刻なクラスレベルの機能不全を引き起こすことを明らかにする論文をarXiv cs.CRで発表した。同論文では、この機能不全が「入力層の飢餓 (Input-Layer Starvation)」と呼ばれ、その原因と、低オーバーヘッドでの予防および修復方法が提示されている。