#Language-models 関連記事

LIFTアーキテクチャ、Transformerの性能向上へ新境地

Dor Tirosh（ドール・ティロシュ）らは9月29日(現地時間)、学術論文公開サイトarXiv cs.CLにて、Latent Information Feedback Transformer（LIFT）と名付けられた新たなTransformerアーキテクチャと学習手法を発表した。これは、従来のTransformer言語モデルに内在するフィードフォワード型の情報伝達ボトルネックを事前学習段階で解消し、言語モデル（LMs）が生成ステップ間で状態を効率的に伝播できるようにする。実験結果では、LIFTが標準的なTransformerや他のベースラインを上回る性能を示し、次世代モデル開発の可能性を提示している。

arXiv論文、情報圧縮が大規模言語モデルの幻覚メカニズムを解明

arXiv cs.CLは2026年9月10日(現地時間)、論文「The Cost of Compression: A Rate-Distortion Limit on Factual Hallucination」を発表した。この研究は、閉鎖型質問応答 (closed-book question answering) における事実の幻覚が、情報の圧縮に起因する歪みによって生じる可能性を指摘する。従来の説とは異なり、モデル内部に事実が存在しても有限メモリによって近似的に保存される場合にエラーが発生する機構を提示する。