arXivが2026年11月16日(現地時間)付けで報じたところによると、言語モデルが経済予測に利用される際の「テストセット汚染 (temporal form of test-set contamination)」の課題に関する研究が発表された。著者らは、モデルが学習データを通じて未来の情報を記憶している可能性を指摘し、この「記憶」を測定するための新しいアプローチを提案している。
言語モデルは現在、経済予測のために中央銀行のテキストを分析する用途で活用されている。しかし、多くのモデルは、分析対象となる文書が作成された後に書かれたテキストで訓練されているため、例えば2021年の連邦公開市場委員会 (FOMC) 声明を読み込むモデルが、すでに2022年のインフレ上昇を知っている可能性がある。この「時間的テストセット汚染」は、モデルの認識されている能力の一部が、単に結果の記憶に基づいていることを意味するとArunkumar V、Gangadharan G. R.、S. Senthilkumarの各氏らは指摘する。
この記憶を測定するため、研究チームは2000年から2026年までのFOMC声明と議事録を用いて調査を実施した。具体的には、現代のオープンモデルと、固定された日付以前のテキストのみで訓練された年代的に一貫性のあるモデル (chronologically consistent models)を比較した。過去の国内総生産 (GDP) の結果を日付のみで問われた際、正解を知るはずのないモデルでさえ、日付や時代に関する事前情報から最大0.64のAUC(Area Under the Curve)を達成し、偶然が適切なベースラインではないことを示した。
記憶を持たないモデルと同一の質問で比較すると、現代のモデルの多くは、どの年に強い成長があったかを想起することが明らかになった。リアルタイムのナウキャストにおいて、米国のGDPに関する先行プレミアムは、マクロ経済学的なサンプルサイズでは予測比較が検出できるほど小さく、複数テストの補正後にはGDPやインフレに関する先行プレミアムは残らなかったという。この結果に基づき、研究者らは、先行監査では記憶を、同じ項目について記憶を持たないモデルと直接比較して測定すべきであると提言している。
参考: arXiv cs.LG (アーカイブ) — 2026年11月17日 03:34 (JST)
原文ハイライト"measure memory directly against memory-free models on the same items"