#GPT-2 関連記事 | AI Edgeline

二重レベル最適化の新ニュートン法提案: 下位レベル非凸性克服へ

arXiv math.OCは10月19日(現地時間)、ユアラン・ドン (Youran Dong) 氏ら研究者らが発表した、二重レベル最適化における新たなニュートン法に基づく手法に関する論文を公開した。この手法は、下位レベルの解が非一意的で、ヘッセ行列が特異なために既存手法が適用できない課題を解決することを目指す。共有される曲率を利用し、既存手法の限界を超える二つの手法「Newton-based GALET」と「Newton-based BAMM」を開発した。

リサーチ・論文 6月18日 08:19

arXiv、言語モデルのゼロ概念発見能力に関する研究論文を公開

arXivは6月15日(現地時間)、言語モデルが訓練データを超えて数学的概念、特に「ゼロ」の概念を独自に発見する能力について検証した研究論文を公開した。同論文は、GPT-2サイズのモデルが言語事前学習の有無にかかわらず、当初はこの汎化能力を持たないものの、数十から数百のゼロの例で訓練することで性能が向上すると指摘している。さらに、言語事前学習がこの汎化に必要な例の数を約50%削減する可能性も示唆された。