Vinko Sabolčec（ヴィンコ・サボルチェツ）氏、Angelos Katharopoulos（アンゲロス・カサロプーロス）氏、David Grangier（デイビッド・グランジェ）氏らは10月8日(現地時間)、テキストの圧縮された潜在表現を学習する新しいオートエンコーダアーキテクチャに関する論文をarXiv cs.CLで発表した。この研究はデータ圧縮と表現学習の交差領域を探索し、残余ダウンスケーリングとアップスケーリング、低次元離散ボトルネックを特徴とする。提案手法はウェブテキストデータにおいて1バイトあたり2.24ビットでロスレステキスト圧縮アルゴリズムと同等の圧縮表現を実現し、良好な再構築性能と下流タスク性能を両立すると報告している。
Vinko Sabolčec氏らは、時間軸に沿って隠れ表現の残余ダウンスケーリングとアップスケーリングを行い、さらに残余低次元離散ボトルネックを備えた新しいオートエンコーダ（autoencoder）アーキテクチャを提案している。このアプローチは、多様な量子化手法、訓練目的、および異なるデータセットを用いてその有効性が詳細に分析された。
研究チームは、圧縮レベルに応じて、オリジナルテキストと再構築されたテキストの類似性を多角的に評価した。表面的なテキストの一致度を測るためにはBLEU（Bilingual Evaluation Understudy）スコアが用いられ、より深い意味レベルでの類似性は大規模言語モデル（LLM）ベースの評価基準によって測定された。これらの評価により、提案されたオートエンコーダがテキストの重要な情報を効率的に保持しつつ、高い圧縮率を実現できることが示唆された。
さらに、提案モデルは複数の下流タスクにおける性能も評価された。具体的には、質問応答（question-answering）および意味的テキスト類似性（semantic text similarity）のベンチマークにおいてその能力が検証された。その結果、本手法により生成された圧縮表現は、ウェブテキストデータにおいて1バイトあたり2.24ビットという効率的なデータ量で、既存のロスレステキスト圧縮アルゴリズムに匹敵する性能を発揮したと報告されている。この性能は、優れたテキストの再構築能力と、下流タスクにおける実用的な性能を両立するものである。
参考: arXiv cs.CL — 2026年10月9日 13:00 (JST)