#GapFT

大規模言語モデルの学習を効率化する新手法「GapFT」、Xuan Liu氏らが発表

Xuan Liu氏らは9月17日（現地時間）、大規模言語モデル（LLM）の学習効率を高める新手法「GapFT」をarXivで発表した。モデルが単一のサンプルでは解けないものの、複数サンプル（K個以内）でなら解ける問題、すなわち「Pass@K－Pass@1ギャップ」に着目してファインチューニングすることで、限られた計算予算内でPass@1の性能を高める手法だという。