Tag
3 件の関連記事
Stephen Chung氏らは2026年10月22日(現地時間)、arXiv cs.CL上で公開した論文「Low-Bit N-Gram Embeddings for Language Models」において、大規模言語モデルが性能向上のために利用するNグラム埋め込みテーブルのメモリ消費量削減に関する研究成果を発表した。研究では、Nグラム埋め込みを低精度で保存し、様々な量子化手法とビット割り当てを体系的に調査した。これにより、テーブルのメモリ要件を大幅に削減しつつ、性能の維持または向上を達成できるとしている。
arXiv cs.CL は2026年9月30日(現地時間)、Thomas Serval氏による大規模言語モデル（LLM）の長期的な信頼性およびコンテキスト注入の影響に関する研究論文を公開した。この研究は、LLMの長期間にわたる性能低下を、重複認識、ローカル処理、カウンター追跡という三つの主要な要素に分類。Qwen3-8Bモデルを用いた400ステップの台帳タスクにより、各要素の詳細な評価を実施した。
Taha Entesari、Jingyu Zhang、Daniel Khashabi、Mahyar Fazlyabの4氏は2026年9月24日(現地時間)、機械学習に関する研究論文「Minimally Invasive Steering of Language Models」を学術誌arXiv cs.LGに投稿し、言語モデルの制御手法であるMinimally Invasive Steering Vector Optimization (MISVO)を提案した。この手法は、事前学習済み言語モデルをテスト時の報酬に適応させる際に発生する出力分布の劣化を抑制することを目的としている。