FourierQK: フィルター特性がアテンション性能に与える影響を解明
arXiv cs.LGは7月9日(現地時間)、アタナシオス・ゼリス氏 (Athanasios Zeris) による研究論文「FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law」を発表した。同論文は、Frequency-collapse attentionが標準的なドット積アテンションを上回る性能を発揮するメカニズムを追求。Q/Kドット積を学習された周波数におけるバンドパスフィルタリングされた内積に置き換える手法に焦点を当て、そのフィルター特性に関する5つの仮説を検証し、主要な知見を報告している。