言語モデル出力の多様性を高める、新サンプリング手法「PoolDPP」発表
Manuel Prada-Corral氏らは11月18日(現地時間)、言語モデルから多様な出力サンプルを生成する新しい手法「PoolDPP」に関する論文をarXiv cs.LGで発表した。この研究は、言語モデルが個々のサンプルで高い品質を示す一方で、意味的に類似するサンプルが集中し、出力セットの多様性が低いという課題に対処するものだ。提案されたPoolDPPは、決定点過程(DPP)を導入し、候補プールの品質に基づく重み付けとサンプリングを通じて多様な生成を形式化している。