Tag
4 件の関連記事
科学論文リポジトリのarXivは6月11日(現地時間)、Zilin Xiao氏らの研究チームが、言語モデルに類推による推論能力を付与する新しい学習フレームワーク「Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT)」を提案したと発表した。この手法は、従来のRetrieval-augmented generation (RAG) が持つ課題を克服し、文脈の類似性ではなく推論への寄与度に基づいて情報を選択することで、複雑な推論タスクにおける言語モデルの性能向上を目指す。
arXiv cs.CLは2026年6月4日(現地時間)、言語モデルが推論を誤るメカニズムが新たに解明されたと発表した。研究者チームは、モデルの推論過程に残るトークンレベルの不確実性信号に着目。分析の結果、推論失敗には「コミット型失敗」と「持続的不確実性」という、経験的に区別可能な二つの主要なプロセスが存在することを特定した。
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。