#GPT-2

arXiv、言語モデルのゼロ概念発見能力に関する研究論文を公開

arXivは6月15日(現地時間)、言語モデルが訓練データを超えて数学的概念、特に「ゼロ」の概念を独自に発見する能力について検証した研究論文を公開した。同論文は、GPT-2サイズのモデルが言語事前学習の有無にかかわらず、当初はこの汎化能力を持たないものの、数十から数百のゼロの例で訓練することで性能が向上すると指摘している。さらに、言語事前学習がこの汎化に必要な例の数を約50%削減する可能性も示唆された。