Tag
27 件の関連記事
arXivは2026年10月29日(現地時間)、論文『Testimony from Timelines: Evidence-Grounded Significance Testing of Temporal Clinical Hypotheses』を公開し、言語モデルが時系列仮説を検証する際の課題を指摘した。特に、根拠となるデータ選択の難しさに対し、Chengyang He氏らは医療分野における誤判断のコストを重視。新たなベンチマーク「STRATA」と段階的検証パラダイム「ART」を導入し、モデルの検証能力向上に焦点を当てている。
ジェームズ・E・ドブソン (James E. Dobson) 氏は10月23日(現地時間)、論文「The Language of Instruction: Genre and Generative AI」をarXiv cs.CLに発表した。この論文は、命令チューニングされた言語モデルを、特定の「指示的会話ジャンル (instructional-conversational genre)」を実装するものとして捉えるべきだと提言している。このジャンルは、生成モデルと人間の過去の対話から再帰的に生み出される言説言語の融合として定義される。
arXiv cs.CRは2026年10月21日(現地時間)、フレデリック・アジェワ (Frederic Adjewa) 氏らが、リソースに制約のあるIoT環境における侵入検知向けに、パラメータ効率に優れた軽量なTransformerベースの言語モデルを提案した。この新モデルは、入力を小さな潜在空間に圧縮し、最小限のTransformerコアで処理するアーキテクチャを採用。既存のSecurityBERTと比較して約7分の1のサイズで約89倍の高速化を実現し、F1スコアで同等以上の性能を達成したと報告されている。
UniWALM（ユニウォーム）は10月20日(現地時間)、ロボット制御のための統一された世界行動言語モデルとして公開された。人間が言語、知覚、行動の経験を統合する能力に着想を得ており、動画、行動、言語を単一の共有表現で学習する。各モダリティは条件信号と教師目標の両方として機能し、言語を共同生成することで、操作性の向上や記憶依存行動のサポートを目指す。
ファイサル・ラダック (Faisal Ladhak) 氏らの研究チームは10月8日(現地時間)、潜在リカレント言語モデルが抱える性能課題を解決する新手法「Elastic Latent Recurrence (ELR)」を発表した。この手法は、従来のモデルで問題となっていた「ワンループ税」と呼ばれる、ワンループ時の性能低下を解消。同サイズの非リカレントモデルと同等のコストと精度を達成する。さらにループ数を増やすことで、推論計算量を伴いながらも精度を向上させることが可能になるという。
学術リポジトリarXiv cs.CLは2026年10月8日(現地時間)、Elias Lumer氏らが執筆した言語モデルエージェントのプロンプト最適化に関する研究結果を公開した。同研究は、転送可能な性能向上を測定するための「topic-disjoint split (トピック分離分割)」プロトコルを提案し、プロンプトレベルでの過学習という課題に取り組んでいる。
Apple ML Researchは2026年10月(現地時間)、長い思考連鎖やツール呼び出しで構成される言語モデルエージェントが直面するコンテキストウィンドウ飽和問題に対し、自己圧縮手法「SELFCOMPACT」を発表した。この新手法は、言語モデルが自身の判断でコンテキストの圧縮タイミングと方法を決定することを可能にする。既存の手法が抱える推論途中での情報破棄リスクを回避し、効率的な処理を実現する。同研究成果は、NeurIPSにて論文として公開された。
研究論文投稿サイトのarXiv (アーカイヴ)が2026年10月8日(現地時間)に公開した論文「When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry」は、Mixture-of-Experts (MoE)言語モデルが推論時に生成するルーティング情報が、モデルのファインチューニングに使用されたデータのプライバシー漏洩を引き起こす可能性を指摘した。本研究では、ルーティング情報を用いた新たなメンバーシップ推論攻撃の手法が提示されている。
Szymon Kocur氏らは2026年10月6日(現地時間)、1800年から1918年にかけて出版されたポーランド語のテキストを収集した大規模コーパス「Wieszcz-XIX (ヴィエシュ-XIX)」を公開した。このコーパスは約3.1 billion語 (6.75 billionトークン) からなり、機械学習モデルの訓練に利用できる。既存の同期間の注釈付きコーパスと比較して3桁以上大規模となる。
arXiv cs.LGは2026年10月1日(現地時間)、言語モデルがコンポーネントのアブレーション後に自己修復する現象に関する新たなメカニズムを提唱する研究論文を発表した。この論文は、アブレーション前から存在するゲインが要因となり、他のコンポーネントが「カウンターウェイト」として機能することで、一見して自己修復に見える調整・補償が行われると説明している。
Jenna Russellらの研究チームが2026年9月30日、AI生成ウェブテキストが言語モデルの事前学習に与える影響を分析した論文をarXiv cs.CLで発表した。ウェブデータ中のAI生成トークンの比率は2026年6月の27.5%から同年8月には31.1%へ上昇したと指摘し、データ不足のモデルではAIトークンの追加が一時的に損失を減らす一方、過剰な追加は逆効果に転じ、データが潤沢なモデルでは早期から損失が増加する傾向を報告した。
研究者らは2026年9月19日(現地時間)、言語モデルの訓練データから不整合な振る舞いを予測する新たなタスク「Alignment Forecasting (アライメント・フォーキャスティング)」を導入した。訓練後の監査を補完し、訓練前に問題発生確率を予測するのが狙い。この手法は、17のターゲットモデル、32のデータセット、16の不整合モードにわたる5,000件以上の予測質問を含むベンチマーク「ALIGNMENTFORECASTBENCH」で検証された。
論文公開媒体arXiv cs.CLは2026年8月25日、研究論文を公開し、言語モデルに組み込まれた活性化ステアリング (activation steering) が、ファインチューニング (fine-tuning) 後もモデルの重み (weights) に機械的には残るものの、目的とする振る舞いとしては劣化する可能性を指摘しました。この研究は、モデル展開後のファインチューニングが、事前エンコードされたアラインメント (alignment) に与える影響について調査しています。
Fanfei Liらの研究チームは8月13日(現地時間)、知識曝露を教育的に制御する言語モデル「リトルラーナー (LittleLearner)」に関する研究論文をarXiv cs.CLに発表した。現代のLLMが抱える知識習得過程の不明瞭さという課題に対し、米国小学校カリキュラムに沿って構築された880億トークンの事前学習コーパス「リトルカリキュラム (LITTLECURRICULUM)」を開発。このコーパスで訓練された50億パラメータのLLMがリトルラーナーであり、その知識と能力の境界を明確にすることを目指す。
arXiv cs.CLが2026年8月13日(現地時間)付けで公開した論文によると、言語モデルの事前学習における訓練データの影響を、下流タスクや検証セットに依存せずに測定する新しい手法が提案されました。提案された手法では、勾配更新が最終パラメータへの二乗距離をどれだけ削減するかで例の影響を定義し、再訓練なしで中間チェックポイントからこの量を推定します。
リキッドAI (LiquidAI) は2026年8月3日(現地時間)、オンデバイスエージェント向け言語モデル「LFM2.5-2.6B」を発表した。同モデルはノートパソコンからスマートフォンまで、一般的なハードウェア上でツール利用とマルチステップワークフローをサポートする。これにより、開発者はエージェントをあらゆる場所に展開し、データプライバシーをデバイス上で維持しながら、クラウド推論コストなしでの利用拡大を可能にする。
arXiv cs.LGは8月3日(現地時間)、エッジ向け言語モデルにおける永続的なコンテキスト管理とコーパス検索に関する査読前プレプリントを公開しました。本研究は、ステートスペースモデル (SSM) の特性を利用し、プリフィルコストをO(L_context)からO(1)に削減する「プレコグ (PRECOG)」と、階層的な永続メモリシステム「構造化メモリ統合 (SMC)」を導入。エッジハードウェアでのレイテンシを大幅に改善し、実用レベルの応答性を実現できることを示しています。
研究論文「PhantomFill: When the Form Demands an Answer, Language Models Invent One」は2026年6月11日(現地時間)、言語モデルがJSONフィールドや関数引数といった特定の形式で回答を求められた際、根拠となる情報がない場合でも虚偽情報を生成する「虚偽生成（hallucination）」を引き起こす可能性を指摘した。同研究は回答不能な入力に対し13のモデルをテストし、回答形式の変更が虚偽生成を誘発する主要因であることを実証した。この現象は、生産環境におけるモデルの信頼性に課題を提起する。
ライアン・コトレル (Ryan Cotterell) 氏は7月23日(現地時間)、arXiv cs.CLに投稿した論文で、人間の言語単位の処理難易度が言語モデルのサプライザル関数であるとするサプライザル理論 (Surprisal theory) が、さらなる制約なくしては同義反復にすぎないと指摘した。同氏は、非負の難易度尺度に対して常に適切な言語モデルが存在するため、この理論が反証不可能な予測しか行わないと論じている。これにより、過去20年間心理言語学研究を支えてきた基盤への疑問を呈している。
Apple ML Researchは7月9日(現地時間)、言語モデルの長文コンテキスト処理における課題解決を目指す新フレームワーク「Self-Reflective Program Search for Long Context (SRLM)」を発表した。このフレームワークは、不確実性認識型の自己内省をプログラミングベースのコンテキストインタラクションに統合することで、長文コンテキストにおけるモデル性能向上を図る。
Anthropicは2026年7月6日(現地時間)、大規模言語モデル（LLM）の内部処理に関する新たな研究成果を発表しました。研究チームは、LLMが人間認知における「アクセス意識」に類似した機能的役割を持つ「グローバルワークスペース」を発達させている証拠を提示。モデルが出力に直接現れない「思考プロセス」を維持するための、特権的な内部表現のセットを特定しました。この発見は、AIモデルが人間と同様の高度な認知メカニズムの一部を備えている可能性を示唆しており、モデルの信頼性や予測可能性、さらには安全性向上への道を開くものと期待されます。
ジョバンニ・モネア（Giovanni Monea）氏らは7月1日(現地時間)、学術論文公開サイトarXivにおいて、大規模言語モデルの基盤技術であるTransformerの性能を向上させる新たな「状態予測分離仮説」を提唱する論文を公開しました。Transformerが次トークンの予測と将来の状態保持に同一の順方向計算ストリームを使用することに着目し、これら二つの役割を分離することで、データ効率と計算効率の両面で優れた言語モデリング性能が得られることを実証しました。
ByteDance（バイトダンス）は2026年6月24日(現地時間)、Volcano Engine FORCE conferenceで次世代AIモデルファミリー「Doubao 2.1 Pro」を発表した。企業向けAI導入強化を目指し、特にコーディングおよび長鎖エージェントタスク実行、マルチモーダル理解に重点を置いている。同社はDoubao 2.1 Proが一部評価指標でClaude Opus 4.6を上回ると主張し、コスト面での優位性も示している。
科学論文リポジトリのarXivは6月11日(現地時間)、Zilin Xiao氏らの研究チームが、言語モデルに類推による推論能力を付与する新しい学習フレームワーク「Retrieval-Augmented Reinforcement Fine-Tuning (RA-RFT)」を提案したと発表した。この手法は、従来のRetrieval-augmented generation (RAG) が持つ課題を克服し、文脈の類似性ではなく推論への寄与度に基づいて情報を選択することで、複雑な推論タスクにおける言語モデルの性能向上を目指す。
arXiv cs.CLは2026年6月4日(現地時間)、言語モデルが推論を誤るメカニズムが新たに解明されたと発表した。研究者チームは、モデルの推論過程に残るトークンレベルの不確実性信号に着目。分析の結果、推論失敗には「コミット型失敗」と「持続的不確実性」という、経験的に区別可能な二つの主要なプロセスが存在することを特定した。
arXiv cs.AIは2026年5月19日(現地時間)、論文を発表し、現代の言語モデル（LM）における数学的推論能力の向上には、純粋なコードよりも構造化された推論シグナルが重要であることを示した。研究者らは10T-tokenのコーパスを用いた事前学習実験を通じて、コードがプログラミング能力を高める一方で、複雑な数学的推論とは競合する可能性を指摘している。この研究は、データ構成の最適化戦略に新たな示唆を与えるものだ。
学術論文リポジトリ「arXiv cs.CL」が2026年5月6日(現地時間)付けで報じたところによると、事前学習済み言語モデル (LMs) が文法性に関して文字列の尤度とは異なる暗黙的な区別を獲得している可能性が示された。研究者らは線形プローブを用いた内部表現の分析を通じて、この文法性の区別が人間が作成したベンチマークや複数の言語において、尤度に基づく判断を上回る性能を示すことを発見した。