arXiv cs.CLは10月8日(現地時間)、生成モデルの出力に対し、柔軟な編集を可能にする新モデル「AutoIndexer」の論文が発表されたと報じた。シュウ・イシダ (Shu Ishida) 氏らが発表したこのモデルは、生成後のトークン挿入、置換、削除を可能にし、従来の自己回帰デコーディング (Autoregressive decoding) や拡散LLM (Diffusion LLMs) が苦手とする非因果的な順序データや将来の依存関係を持つデータの処理に新たな道を開く。
この「AutoIndexer」は、Chain of Edits（編集の連鎖）をシミュレートする独自の訓練およびデコーディングメカニズムを備えた生成モデルとして設計された。この革新的なメカニズムにより、モデルは既存の生成結果を事後的に、かつ極めて柔軟に修正できるようになる。具体的には、既存のトークンシーケンスに対してトークンの挿入、置換、削除といった操作を適用し、あたかも人間がテキストエディタで文書を編集するように出力を調整する。
モデルの学習プロセスでは、テキストエディタの操作を模倣する。編集の開始と終了を示す特別なマーカートークンを予測し、同時に既存のトークンシーケンス内の特定の位置にカーソルを移動させることを学習する。これにより、モデルは単に次のトークンを予測するだけでなく、生成されたコンテンツ全体を俯瞰し、戦略的に編集を行う能力を獲得する。
AutoIndexerの訓練シーケンスは、ユニークな方法で構築される。まず正解ラベルから開始し、逆方向の連鎖編集操作を適用することで、訓練データを作成する。その後、モデルはこれらの逆操作を「元に戻す」ことで、効果的な編集方法を学習する。この摂動訓練 (perturbation training) は、誤ったコンテキストや不完全な入力に対してもモデルが堅牢性を保つことを可能にし、特にコード修正のような、頻繁な編集とフィードバックが求められるタスクにおいて高い適応性を示す。
研究チームは、AutoIndexerがほとんどの自己回帰モデルや拡散モデルには欠けていた、生成後のコンテキスト編集能力を持つことを実証した。これは、既存の生成モデルでは、一度出力された結果を柔軟に修正することが困難であった点に、根本的な解決策を提示するものである。さらに、この新モデルが標準的なLLMベンチマークにおいても、従来のモデルの性能を損なうことなく、あるいは場合によっては上回る性能を達成していることも確認された。これは、編集能力の追加がモデル全体の性能に悪影響を与えないことを意味する。論文によると、AutoIndexerの関連コードはオンラインで公開されている。
参考: arXiv cs.CL (アーカイブ) — 2026年10月12日 13:00 (JST)