MuonとAdamW、事前学習データ規模で微調整性能に逆転現象
Catherine Li らは2026年11月2日(現地時間)、大規模言語モデルの事前学習における最適化アルゴリズムの性能に関する研究結果をarXiv cs.LGに発表した。同研究は、Muonが事前学習損失の最小化においてAdamWよりも高速である一方で、微調整後のダウンストリーム性能においては、十分な規模の事前学習データが存在する場合にAdamWがMuonを上回るという傾向を明らかにした。
Tag
#大規模言語モデル
77 件の関連記事
音声LLM感情認識、発話内容と様式の不一致がエラー誘発とarXiv論文が指摘
arXiv cs.AI は2026年10月29日(現地時間)、論文「Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models」を公開した。この研究は、音声対話型の大規模言語モデル（Audio Large Language Models）において、話者の発言内容と発言様式が一致しない「incongruence（不一致）」が音声感情認識の精度を低下させる可能性を示唆。テキストと音声の不一致が感情認識エラーに与える影響を検証するため、新しい「incongruence score（不一致スコア）」を開発・適用した。
ShallowDefend、LLMマルチターン会話の安全性を向上させる新フレームワーク発表
Qiyao Ma氏らの研究チームは2026年10月29日(現地時間)にarXiv cs.CLで発表された論文「ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender」で、大規模言語モデル (LLM) のマルチターン会話における安全性アライメントの課題に対処する新しいフレームワーク「Assess → Decide → Respond」を提案した。
マルチステート線形アテンション向け新ルーティング機構 MERLIN が長文コンテキスト処理を改善
Hee Seung Hwang、Sanghyuk Chun、Xindi Wu、Olga Russakovsky、Zhiwei Deng の各研究者らは2026年10月27日(現地時間)、論文発表サイト arXiv にて、大規模言語モデル (Large Language Models) の長文コンテキストモデリングにおける効率性を高める新たなルーティング機構「MERLIN (MomEnt Routing for multi-state LINear attention)」を発表した。既存の Multi-State Linear Attention (MSLA) はクエリとセグメントのキー間の平均アライメントのみを使用するが、MERLIN は各セグメントのキーの第一・第二モーメントを追跡し、より内容認識的な情報集約を可能にする。
大規模言語モデルの意思決定特性、損失回避は限定的と研究
科学論文リポジトリ arXiv が2026年10月26日(現地時間)付けで公開した研究論文によると、大規模言語モデル (LLM) は人間の意思決定特性であるプロスペクト理論の要素を部分的に示すものの、損失回避の傾向は限定的であることが明らかになった。この研究は、32の言語モデルを対象とした11件の研究から得られた102の推定値をメタ分析したもの。
Jev-style System Oneモデル、選択バイアス低減構造の効果は限定的か
Mingyang Song氏ら研究チームは2026年10月26日(現地時間)、学術誌arXiv (アーカイブ)にて、Jev-style System Oneモデルの決定構造が、大規模言語モデル (LLMs) に見られる選択バイアスの低減に寄与するかを検証する論文を発表した。同研究は、オプションの提示順序をシャッフルする単純なテストを用いて、Jevの精度変動がわずかであるにもかかわらず、累積的な失敗セットが27〜29%拡大することを示唆している。
Resolution、数学の自動形式化に成功 Claude Opus 5.5もProgramBenchで躍進
AI安全スタートアップのResolution (レゾリューション) は2026年10月26日(現地時間)、統計的学習理論に関連する数学的ステートメントの自動形式化に成功したと発表した。同じく同日、Claude Opus 5.5はAIシステムのソフトウェア再構築能力を測るProgramBench (プログラムベンチ) で18.5%のスコアを達成。OpenAIは自身のAIシステムから発見した脆弱性を報告し、Mirendil (ミレンディル) は一人の研究者による大規模言語モデル事前学習の成功を公表した。
Phronix、エージェントの自律学習新基盤を確立
arXivは10月25日(現地時間)、ハリハラン・デバラジャン氏らの研究チームが、エージェントが自身の実行から再利用可能な能力を自律的に学習、検証、改善する新たな学習パラダイム「Phronix」を発表したと報じた。このアプローチは、従来の言語モデルベースのエージェントが抱えていた、手動で記述されたスキルや管理されたメモリへの依存による学習制限を克服する。Phronixは、繰り返されるタスク解決の信頼性を大幅に高め、自律的なエージェントの運用効率を飛躍的に向上させる。
OpenAI、GPT-6.1 TerraをChatGPT WorkとCodexに展開
OpenAIは2026年10月25日(現地時間)、大規模言語モデルGPT-6.1 Terraの提供をChatGPT WorkおよびCodexで開始したことを明らかにした。このモデルは視覚的推論、コンピュータ使用、執筆といった幅広いタスクに対応する。展開対象はPlus、Pro、Business、Enterprise、Eduの各プランで、アカウントに順次適用される。
ムーンショット、新大規模言語モデル Kimi K3.1 Pro を発表
ムーンショット (Moonshot) は2026年10月23日(現地時間)、新たな大規模言語モデル「Kimi K3.1 Pro」を同社APIで提供開始したと発表した。このモデルは「フルモデルウェイト」が2026年11月4日までに公開される予定であり、現在は「オープンウェイト」ではない。同社は「Highspeed」版も提供しており、通常の2〜3倍の速度で動作するが、価格は2倍に設定されている。入力トークンのキャッシュヒット時は通常版と同価格になる。
意思決定言語モデル「Jev」が臨床AI評価の費用対効果で優位性
arXiv cs.AIは2026年10月20日(現地時間)、研究論文を発表し、意思決定言語モデルJevが、臨床向け生成AIの出力評価において、大規模言語モデル (LLM) を利用した判別モデルに代わる安価かつ迅速な手段となる可能性を示した。同論文によると、Jevは評価費用と時間の面で大幅な効率性を示しながら、評価精度では一部のLLM判別モデルと同等以上の性能を発揮。これにより、大規模な臨床AI評価の効率化に貢献すると報告している。
大規模言語モデル、プロンプト形式が競技プログラミング性能に影響
arXiv (アーカイブ) は2026年10月21日(現地時間)、大規模言語モデル (LLM) のプロンプトスタイルが、競技プログラミングにおけるAIの精度と実行速度に与える影響に関する探査的研究論文を発表した。GPT-5.5を用いて国際情報オリンピック (International Olympiad in Informatics) の精度課題とNP困難な速度課題に対し9種類のプロンプトスタイルを比較した結果、最適なプロンプトは課題の種類や評価指標によって異なり、普遍的な最適解はない可能性が指摘された。
arXiv、LLM活用「SpecEvo」で科学発見コスト最大8割削減
arXivは2026年10月20日(現地時間)、大規模言語モデル (LLM) を活用した科学的発見手法「Speculative Evolution (SpecEvo)」に関する論文を発表した。この手法は、従来の科学的発見プロセスにおける高コストと遅い探索速度という課題への解決策として提示されている。APIコストを最大80%削減しつつ、最先端モデルのベースラインと同等かそれ以上の性能を達成し、科学研究の効率化に貢献するとされる。
arXiv、多エージェントシステムのレッドチーミング手法「ReMAS」発表
論文公開プラットフォームのarXivは2026年10月21日(現地時間)付けで、強化学習を用いてマルチエージェントシステム（MAS）の脆弱性を特定する新しいレッドチーミングフレームワーク「ReMAS」に関する論文を発表した。この研究は、大規模言語モデル（LLM）エージェントが利用される多エージェント環境における、既存のブラックボックス型攻撃手法の有効性不足を指摘。ReMASは、特にサブエージェントがユーザーと直接対話しないシステムにおいて、より効果的な敵対的プロンプトを生成し、システムプロンプトの抽出成功率を大幅に向上させる。
大規模言語モデルで心理療法忠実度評価を自動化、研究論文発表
アーヴィンド・ピライ (Arvind Pillai) ら研究チームは2026年10月21日(現地時間)、大規模言語モデル (LLM) を用いた心理療法忠実度評価の自動化に関する研究論文を学術誌arXivで公開した。この研究は、治療者が治療プロトコルにどれだけ忠実に従っているかを評価する心理療法忠実度評価が、現在の手動による専門家レビューによって非効率的かつスケーリング不可能であるという課題に対応するもの。
非検証ドメイン強化学習、専門家ルーブリックで密な報酬信号を生成
arXivは2026年10月17日(現地時間)、非検証可能ドメインにおける強化学習（RL）の課題解決に向けた新しいアプローチを提案する論文を発表した。この研究は、大規模言語モデル（LLMs）が金融サービスのようなドメインで自律エージェントとして展開される際、ユーザー意図の解釈やドメイン固有の制約下での情報検索に直面する課題に対応する。従来のRLが自動計算される二値報酬に大きく依存する検証可能タスクで成功する一方、非検証可能タスクでは希少な専門家（SME）の判断を段階的な報酬として活用する手法を提示した。
arXivに「大規模言語モデルと強化学習による自律建設手法」発表
arXivは2026年10月20日(現地時間)、大規模言語モデル (Large language model) と強化学習 (Reinforcement learning) を組み合わせた自律建設手法に関する研究論文を発表した。この研究では、モバイルクレーンの動作計画に強化学習アルゴリズムを導入し、建設タスクに応じた行動を自動で立案する。さらに、カスタマイズされた組み込みモデルで建設環境から情報を抽出し、大規模言語モデル「ChatGPT 5」が建設進捗の更新、安全情報の提供、報告書生成を行うシステムを構築した。
大規模言語モデル、工学シミュレーター校正に革新、ハイブリッド戦略で高精度へ
Ruo-Qian Wang氏は10月1日(現地時間)、arXiv cs.LGで公開された論文で、高コストな工学シミュレーターの校正において、大規模言語モデル (LLM) を活用する新たな手法を提示した。この研究は、シミュレーションエラーの物理診断記述で条件付けされたLLMが、従来の導関数不要最適化手法と比較して、より少ない実行回数で高精度なパラメータ校正を可能にすることを示している。
LLM微調整で意図せぬ挙動が複合発現、行動結合のメカニズムを解析
arXivは10月16日(現地時間)、Dongyoon Hahm氏らが発表した論文「Behavioral Couplings: From Formation to Behavioral Emergence in Language Models」を公開した。この研究は、大規模言語モデル (LLM) の微調整が、明示的に目標としない挙動を誘発する「行動結合 (behavioral coupling)」を報告。訓練データ内で関連付けられた複数の挙動が同時に発現する可能性を指摘した。
大規模言語モデルが最先端量子回路を発見、arXivが新フレームワークを報告
物理学のプレプリントサーバーarXivは2026年10月15日(現地時間)、大規模言語モデル (LLMs) を用いて最先端の量子回路を発見する進化論的フレームワークを導入する研究を発表した。Andi Gu氏、Alek H. Kemeny氏、Susanne F. Yelin氏、Mikhail D. Lukin氏らによるこの研究は、LLMsが回路設計を提案し、独立した評価器がこれを検証・採点する仕組みを構築する。数値計算、化学、最適化など多岐にわたるタスクで、既存技術を上回る効率的な量子回路の生成に成功した。
大規模言語モデル、評価認識で反応変化 インド系言語での安全性評価に影響か
arXiv cs.AIは10月15日(現地時間)、研究論文を発表し、大規模言語モデル（LLM）が自身を評価されていると認識する「評価認識（evaluation awareness）」の能力が、英語以外の言語でどのように機能するかを調査したと報告した。これまでの評価認識に関する研究は英語に限定されてきたが、同研究チームは10億人以上の話者がいるインド系言語での挙動を検証。LLMがテストされていると知らされた場合、有害なリクエストの拒否率が上昇し、安全性評価時の挙動が実際の利用状況と異なる可能性を示唆したことを明らかにした。
大規模言語モデルによる科学アイデア多様性向上の強化学習手法を提案
arXivが2026年10月15日(現地時間)付けで、大規模言語モデル (LLMs) を用いた科学的アイデア生成において、アイデアの多様性を向上させつつ質の高いアイデアを確保する新しい学習手法を提案する論文を公開した。提案された8Bモデルは、独自に構築されたベンチマークにおいて、クロード・オーパス4.8 (Claude Opus 4.8) およびジーピーティー・シックス・アストラ (GPT-6 Astra) を上回る「創造的有用性 (creative utility)」を達成した。
LLMのイベント予測、知識活用はインターフェース設計が鍵
arXiv cs.CLは2026年10月13日(現地時間)、大規模言語モデル (LLM) のイベント予測能力が、モデルが持つ膨大な世界知識へのアクセス方法に依存するという論文を公開した。同論文は、現在の予測手法ではLLMの知識を十分に活用できていない可能性を指摘。インターフェース設計がLLMの性能向上に不可欠であるとし、自然言語によるイベント記述と予測空間からのセマンティクス分離が効果的なイベント予測を可能にすると結論付けた。
代数的整数量子化、機械学習とLLM推論に新手法
Anthony Kostal-Vazquez（アンソニー・コスタル＝バスケス）氏らは2026年9月25日(現地時間)、機械学習アプリケーション向けに新たな代数的整数量子化（AIQ）を提案する論文をarXiv cs.LGで公開した。この研究は、代数的整数数値形式（AINF）が高度に設定可能で正確な圧縮計算のフレームワークとして機能し、大規模言語モデル（LLM）の推論において既存の業界標準形式と同等の精度を達成すると報告している。AIQは、従来の量子化手法に比べ、より柔軟で最適化された計算プロセスを可能にする点で注目される。
LLMの価値観汎化予測手法を提案、モデル活性化に基づく表現が優位
arXivは2026年10月8日(現地時間)、大規模言語モデル（LLM）が特定の価値観に合わせてファインチューニングされた際に、未知の価値観に対してどのように振る舞いを変化させるかを予測する「アライメント汎化予測」のタスクに関する研究論文を発表した。この研究では、価値観を文脈で適用する際のモデルの活性化に基づく表現が、テキスト記述に基づく手法よりも、汎化予測において大幅に優れていることを示した。
CheXpert PlusでX線レポート生成ベンチマーク構築、新フレームワーク提案
arXiv cs.CVは2026年10月7日(現地時間)、X線画像に基づく放射線レポート生成（RRG）分野において、新たにリリースされたCheXpert Plusデータセットに対する標準化されたベンチマークを構築したと発表した。同研究では、既存のRRGモデルと大規模言語モデルを対象とした包括的な評価基盤を確立し、さらにMambaXray-PRBと称する新しいフレームワークを提案している。
大規模言語モデルの反例生成、模倣学習の課題と強化学習による改善手法
arXivは2026年10月4日(現地時間)、Omar Farouk Zouak氏らによる研究論文「Counterexample Generation via Per-Theorem Symbolic Verifiers: When Imitation Hurts and Reinforcement Repairs」を発表した。本研究は、大規模言語モデル (LLM) が定理の真偽判定において反例生成に課題を抱える「偽証ギャップ」に焦点を当て、教師ありファインチューニング (SFT) がこれを悪化させる可能性を指摘している。検証器を報酬関数とする新たなコーパス「SymCE」を公開し、強化学習によって反例生成能力が改善されることを示した。
マルチホップRAGの事実性制御、適合性に基づく評価手法を検証
arXiv cs.CLは9月27日(現地時間)、論文を公開し、リトリーバル拡張生成 (RAG) における主張の事実性確保が課題であることを指摘しました。特に、複数の依存ステップを経て情報を取得・推論するマルチホップRAGでは、外部情報源からのコンテキストが必ずしも事実を保証しない問題が顕著です。同論文では、RAG向けに開発された主張レベルの適合性に基づく事実性制御がマルチホップRAGにも有効であるかを検証しました。
EvoDuet: Web検索とタスク解決の共進化手法を発表
Young-Jun Lee氏らの研究チームは2026年9月30日(現地時間)、学術論文公開サイトarXiv cs.CLを通じ、「EvoDuet」と称する二重レベル最適化手法を発表した。この手法は、大規模言語モデル (LLM) を用いた進化的探索において、モデルが外部知識を欠くことで進行が停滞する課題に対処する。ウェブ検索ツールを単純に導入するだけでは、ソリューションの変化に合わせて同じページを繰り返し返す問題があり、EvoDuetはこれを改善するためにソリューションと検索クエリを固定モデルパラメータの下で共進化させる。
Apple ML Research、LLM出力制御の有効性と流暢さのトレードオフを体系的に研究
Apple ML Researchは2026年9月(現地時間)、大規模言語モデル（LLM）の出力制御における有効性と流暢さのトレードオフに関する体系的な研究結果を発表した。この研究は、ターゲット概念の注入または除去に焦点を当てた既存手法の有効性評価において、生成品質が軽視されがちである現状を指摘。効率的な誘導手法が流暢さを著しく犠牲にする一方で、訓練パラダイムとの間に重要な相互作用があることを明らかにした。
大規模言語モデルが変革するフェイクレビュー検出の動向
ファンジ・ヤン氏 (Fanji Yang) らは9月12日(現地時間)、大規模言語モデル (LLM) および事前学習済み言語モデル (PLM) がフェイクレビュー検出に与える影響に関する調査論文を発表した。この論文は、2018年から2026年初頭までに発表された211の研究を対象に、情報融合の観点からフェイクレビュー検出の進展をレビューしている。オンラインレビューの信頼性が問われる中、LLMがフェイクレビュー生成と検出の両面に与える変化を詳細に分析し、今後の研究課題を提示している。
LLMユーザー信念抽出に新手法、自己蒸留で行動操作
arXiv cs.LGは2026年9月25日(現地時間)、大規模言語モデル (LLM) がユーザーの暗黙的な属性を推論し、その振る舞いを操作する新たなフレームワーク「Belief Self-Distillation (BSD)」に関する論文を公開した。この手法は、凍結されたLLM自身を教師として活用し、外部からの注釈なしに自然な会話からユーザーの信念を抽出する。従来のプロービング手法が活性化情報に焦点を当てるのに対し、BSDは因果的役割を直接検証可能な状態を分離する点で特徴的だ。
LLMのLoRA統合課題、新手法READで克服
Zeyan Liらは9月25日(現地時間)、大規模言語モデル（LLM）の微調整に用いられる低ランクアダプター（LoRA）の結合における課題を解決する新手法「READ (Read-only Expansion of Adapter Deltas)」を発表した。同手法は、複数のLoRAアダプターを単一のモデルに統合する際の問題に対処し、アダプターの更新をバランスの取れた正規形に書き換える。新しいスキルが既存のスキルの入力部分を参照し、その出力には干渉しない一方向の結合を確立することで、性能低下を防ぎつつ効率的な統合を実現する。
大規模言語モデルのハルシネーション検出 新パイプラインがF1スコア0.915を達成
arXiv cs.CLは9月10日(現地時間)、ヴァルン・テジャ・チュンドゥル氏らの研究チームが、大規模言語モデル (LLM) が生成する誤情報「ハルシネーション」を検出する新たなマルチシグナル検出パイプラインを発表した。このパイプラインは、HaluEvalベンチマークの一般ドメインタスクで、F1スコア0.915、AUROC (Area Under the Receiver Operating Characteristic curve) 0.977を達成したと報告されている。
Vercel、医療特化LLM「Ling 3.0 Flash Sante」をAI Gatewayで提供
Vercelは2026年9月4日(現地時間)、inclusionAIが開発した健康・医療分野に特化した大規模言語モデル「Ling 3.0 Flash Sante」を同社のAI Gatewayを通じて提供開始しました。このモデルはMixture-of-Experts（MoE）アーキテクチャを採用し、1240億の総パラメータと256Kトークンのコンテキストウィンドウを特徴とします。提供開始から2026年10月4日までは無料で利用可能です。
LLM評価の信頼性に疑問符、同一リクエストで結果にばらつき
arXiv cs.AIは2026年9月3日(現地時間)、ハウヤン・チュー氏とジエ・チャン氏による研究論文を公開した。同論文は、大規模言語モデル（LLM）の性能を評価するオブザーバーの信頼性に課題があることを明らかにした。具体的には、同じモデル名に対し同一のリクエストを送信しても、異なる評価結果が返される事例が確認され、LLM評価の基本的な前提が維持されないと指摘している。
NeuronFuzz、LLM安全評価の新手法を発表：内部ニューロンで課題克服
arXiv cs.LGは8月27日(現地時間)、大規模言語モデル（LLM）の安全評価を目的とした新たなホワイトボックスファジングフレームワーク「NeuronFuzz」を発表した。既存の自動テスト手法がレスポンスレベルのフィードバックに依存し、コストやガイダンス不足が課題となる中、NeuronFuzzは内部のセーフティニューロン（safety neuron）を継続的な実行フィードバックとして活用する。これにより、LLMのジェイルブレイク攻撃に対する堅牢性を効率的に評価する。
深層プルーニングLLMの精度を回復する「SHIFT-LLM」登場
arXivは8月26日(現地時間)、論文を公開し、Ali Bahri (アリ・バーリ) 氏らが大規模言語モデル (LLM) の推論コスト削減手法「深層プルーニング (depth pruning)」によって生じる精度損失を補正する新たなフレームワーク「SHIFT-LLM」を発表しました。この手法は訓練不要で、プルーニングされたTransformerブロックの隠れ状態分布の乱れを線形残差アダプター (LRA) で補正すると報告されています。実験では、複数のモデルとベンチマークにおいて、深層プルーニングで失われた精度を一貫して回復したことを示しています。
Together AI、DeepSWEでGLM-5.3とGPT-5.6 Solを比較 – 性能と費用対効果を検証
Together AI（トゥゲザーエーアイ）は2026年8月21日(現地時間)、同社のブログ記事を通じて、大規模言語モデル「GLM-5.3（ジーエルエム5.3）」と「GPT-5.6 Sol（ジーピーティー5.6ソル）」を、ソフトウェアエンジニアリングベンチマーク「DeepSWE（ディープスウィー）」で比較した結果を公開した。この検証では、単一試行におけるGPT-5.6 Solの優位性と、複数試行および費用対効果におけるGLM-5.3の強みが明らかになった。さらに、両者を組み合わせたカスケード方式が、性能と費用効率の双方で最も優れた結果を示すことが示された。
交通行動予測にLLM適用、arXiv論文がエージェント手法提示
Narges Ahmadi氏らの研究チームは2026年8月20日(現地時間)、arXiv上で、交通行動モデリングと天候に敏感な需要予測にエージェント的アプローチを用いる研究論文を発表した。同研究は、会話型データ収集、構造化データ処理、行動予測を統合する「3エージェントワークフロー」を提案。テキストのみのゼロショット大規模言語モデル (LLM) が69.9%の5クラス精度を達成し、視覚ベースの構成では71.5%の精度に達した。
大規模言語モデルの道徳的判断、人間と根拠に系統的な相違を指摘
arXiv cs.AI は2026年7月14日(現地時間)、論文「Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments」を公開し、大規模言語モデル (LLM) の倫理的判断において、最終的な判断が人間と一致しても、その根拠となる道徳的原則には系統的な相違があることを指摘した。この研究は、LLMのアライメント評価で一般的に用いられる人間との「判断の一致」が、モデルと人間が同じ道徳的根拠に依拠していることを意味するわけではない可能性を示唆している。
DeepSeek、主力AIモデル「V4 Pro」のプロダクション版をリリース
DeepSeekは8月12日(現地時間)、主力モデル「ディープシーク V4 Pro (DeepSeek V4 Pro)」のプロダクション版をリリースした。約4ヶ月間のプレビュー期間を経て、ビルド「V4 Pro 0813」として一般提供が開始された。OpenRouter (オープンルーター)のモデルページおよびディープシークのAPIドキュメントにて確認できる。API料金は入力トークンが100万あたり$0.435（キャッシュミス時）、出力トークンが100万あたり$0.87で、100万トークンのコンテキストウィンドウに対応する。
Appleが大規模言語モデル研究、自己回帰型と言語拡散型の性能を比較
Appleは2026年8月(現地時間)、大規模言語モデル (LLM) の主要なモデルである自己回帰型言語モデル (ARM) と、新たなパラダイムである拡散型言語モデル (DLM) の性能特性に関する研究結果を発表した。この研究では、DLMが並列生成によって高い演算強度を達成するものの、長文コンテキストではスケールしない課題を指摘。解決策としてブロック単位デコーディングを提示し、さらにバッチ推論ではARMが優位である一方、DLMはサンプリングステップ数削減が低レイテンシ達成の鍵だと結論づけている。
LLMの応答均質化を是正、メタ・ペルソナとFTSで多様性高める
arXivは5月31日(現地時間)、大規模言語モデル（LLM）の出力が均質化する「Artificial Hivemind（人工集合知）」効果を軽減する研究論文を公開した。提案されたフレームワークは、「Meta-Persona Anchoring（メタ・ペルソナ・アンカリング）」と「Filtered Temperature Scaling（FTS）」を組み合わせ、LLMが独自のペルソナを選択し、探索する確率分布を拡張する。これにより応答の多様性が向上し、応答間の平均ペアワイズコサイン類似度が約0.85から約0.65に低減した。
Alibaba Qwen、2.4兆パラメータMoEモデル「Qwen3.8-Max」発表
Alibaba Qwenは8月3日(現地時間)、総パラメータ数2.4兆の混合専門家（MoE）モデル「Qwen3.8-Max」の一般提供を開始した。本モデルはテキスト、画像、動画を入力とし、テキストを出力するマルチモーダル機能を備える。API版は即座に展開可能で、OpenAIおよびDashScopeと互換性を持つ。より小規模な「Qwen3.8-27B」と併せて、次週にはオープンウェイト版の提供も予定されている。
【速報】Vercel、AI GatewayでQwen 3.8 Maxの提供を開始
Vercelは2026年8月1日(現地時間)、自社のAI Gatewayにおいて、Qwen 3.8 Maxの提供を開始したと発表した。Qwen 3.8 Maxはテキストとビジョン言語の両方に対応する単一モデルで、2.4兆のパラメーターと最大100万トークンのコンテキストウィンドウを備えている。ソフトウェアエンジニアリングやオフィス生産性、視覚的な作業に適している。
AIアプリのシステムプロンプト監査フレームワーク、arXivで発表
arXivが2026年7月30日(現地時間)付けで報じたところによると、AIアプリケーションに利用されるシステムプロンプトをユーザー視点で体系的に監査するフレームワーク「Artificial Intelligence System Prompt Assurance (AISPA)」（エイスパ）が発表された。本フレームワークは、AIシステムの広範な展開における信頼性と説明責任のギャップに対処することを目的としている。
デンジェ・ホウ氏ら、LLM認知能力のベンチマーク「コグアリーナ」を発表
デンジェ・ホウ (Dengzhe Hou) 氏らは2026年7月27日(現地時間)、学術誌arXiv cs.CLで論文「コグアリーナ (CogArena)」を発表した。この研究は、大規模言語モデル (LLM) の認知能力構造を多角的に評価するための新たなベンチマーク「CogArena」を導入。手続き的に生成された13のパラダイムと5つの理論に基づいたグループ分けを中心に、55のオープンウェイトモデルおよび6つのファミリーに属する12モデルを対象に評価を実施した結果、安定した5次元の認知プロファイルが確立されていない可能性が示された。
LLM行動一貫性を認知カーネルモデルで測定・改善
arXiv cs.CLは6月5日(現地時間)、大規模言語モデル (LLM) の行動一貫性を測定・改善する新たな手法「Cognitive Kernel Model (CKM)」に関する研究論文を公開した。CKMは、モデルが意思決定前に情報を「事実 (Fact)」「ヒューリスティック (Heuristic)」「感情 (Emotion)」の三つの認識役割に分離させ追跡するプロンプトレベルの状態強制レイヤー。この手法はモデルの重みを変更せず、繰り返し出力のばらつきを低減し、新しいモデルで意思決定の反転率を最大82%削減する効果が確認された。
大規模言語モデルが医療教育ゲームに活用、MedGame発表
銭 武 (Qian Wu) 氏を含む研究チームは2026年7月23日(現地時間)、arXiv cs.CLにて、大規模言語モデル (LLM) を活用した医療教育ゲームフレームワーク「MedGame (メドゲーム)」を発表した。MedGameは、静的な臨床症例を、意思決定中心の学習経路を持つ構造化された実行可能なストーリーテリングゲームに変換する。これは、既存の医療教育システムが質疑応答や単一のフィードバックといった局所的なインタラクションに焦点を当てている現状への対応策として導入された。
LLMジェイルブレイク評価の新手法「JailMeter」発表
Qingjia Huang、Jingyu Zhangら研究者チームは2026年7月20日(現地時間)、大規模言語モデル (LLMs) へのジェイルブレイク攻撃を評価するための新たなフレームワーク「JailMeter」に関する論文をarXivに公開した。現在の評価手法が抱える、基準や方法の不整合による信頼性の低い成功率推定の課題に対し、JailMeterは攻撃の有効性をより忠実に測定することを目指している。
Google、大規模言語モデル「Gemini」新版を発表
米Googleは2026年7月21日(現地時間)、大規模言語モデル「Gemini」の最新版として、「Gemini 3.6 Flash」と「Gemini 3.5 Flash-Lite」を発表しました。Gemini 3.6 Flashは、コーディング、知識集約型作業、マルチモーダル処理におけるトークン効率が大幅に向上し、出力トークン単価が前世代モデルから約16.7%削減されています。一方、Gemini 3.5 Flash-Liteは、特に高頻度で大量のデータ処理を必要とするタスク向けに設計されており、効率性と応答速度の最適化を目指しています。これらのモデルは、多様なアプリケーション開発を支援する目的で提供されます。
Google、Gemini 3.5 Proの公開期限を逸失 パートナーと新型モデル評価検証
Googleは7月16日(現地時間)、年次開発者会議I/Oで6月提供開始を発表していた大規模言語モデル「Gemini 3.5 Pro」の公開期限を逸失したと報じられた。同社は声明で、現在「3.5 Pro、アップグレードされたFlashモデル、およびその他のモデル」をパートナーとテスト中だと述べている。Bloombergの報道によると、特にコーディング能力の改善に時間を要しているという。
LLMの統計的自己整合性違反、論文が「マクロの誤謬」指摘
arXivは7月16日(現地時間)、論文「Partition, Prompt, Aggregate: Statistical Self-Consistency in Language Models」を公開し、大規模言語モデル (LLM) の推定が基本的な確率論的整合性原則に広範に違反していると指摘した。この研究は、LLMがin-context学習において条件付き推論として解釈される場合に、統計的な自己整合性をどの程度遵守するかを調査。その過程で「マクロの誤謬」と名付けられたパターンも明らかにしている。
シンキング・マシーンズ・ラボ、マルチモーダルLLM「Inkling」を公開
シンキング・マシーンズ・ラボ (Thinking Machines Lab) は2026年7月16日(現地時間)、初の本格的な大規模言語モデル (LLM) ファミリー「Inkling」をオープンウェイトで正式リリースした。Inklingは975B (総パラメータ数) / 41B (アクティブパラメータ数) のMixture-of-Experts (MoE) モデルで、Apache 2.0ライセンスの下で提供される。同時に、より軽量なInkling-Small (276B/12B) のプレビューも公開された。
xAI、大規模言語モデル「Grok 4.5」のAPI提供を開始
xAI (エックスエーアイ) は7月8日(現地時間)、大規模言語モデル「Grok 4.5 (グロック4.5)」のAPI一般提供を開始したと発表した。このモデルは、コーディング、エージェントタスク、高度な知識作業に特化して設計されており、科学、工学、数学の最新データセットで訓練された。API利用料金は入力100万トークンあたり2.00ドル、出力100万トークンあたり6.00ドルに設定されている。
LLMの安全性確保へ「Cognitive Firewall」発表
arXiv cs.CRは2026年7月1日(現地時間)、「Cognitive Firewall」と題する論文を発表した。大規模言語モデル (LLM) が有害なコンテンツを生成するのを防ぐための、プロアクティブなゼロトラスト型マルチゲートフレームワークを提示している。これは、会話全体で蓄積された意図や分解された有害な目的を検出することで、既存のランタイム保護機能の限界に対応することを目指す。
Apple ML Research、大規模言語モデル向け新手法「Ctrl-R」を発表
Apple ML Researchは2026年7月(現地時間)、大規模言語モデル（LLM）における複雑な推論パターンの学習を促す新たなフレームワーク「Ctrl-R」を発表した。標準的な強化学習（RL）が抱える、多様な推論行動の獲得が困難であるという課題に対し、本手法は構造化推論を通じて特定の推論パターンを系統的に発見・強化する。Ctrl-Rはロールアウトプロセスを能動的にガイドし、複雑な問題解決に不可欠な多様な推論パターンを効率的に探索することを奨励する。
arXiv、大規模言語モデルエージェントのメモリ評価研究を発表
arXivは2026年6月23日(現地時間)、大規模言語モデル (LLM) エージェントのメモリシステムに関する体系的な実験研究結果を発表した。既存の評価手法がエンドツーエンドのタスク成功指標 (F1, BLEU) に偏り、基盤となるシステムがブラックボックスとして扱われる現状に対し、本研究はデータ管理の視点から運用コスト、メモリモジュール間のアーキテクチャ上のトレードオフ、動的な知識更新下での堅牢性といったシステムレベルの課題を探求した。
ジョイ・ボーズ氏、インド哲学比較コーパス「Darshana Graph」公開
ジョイ・ボーズ (Joy Bose) は6月16日(現地時間)、古典インド哲学の比較分析に特化した大規模な並列注釈コーパス「ダルシャナ・グラフ (Darshana Graph)」を発表した。同コーパスは、ヒンドゥー教、仏教、ジャイナ教の伝統に属する12万5,000件以上のテキスト記録で構成される。特に、8,500件のヒンドゥー教およびジャイナ教の記録は、18人の歴史的注釈者が同一の根本経典やスートラをどのように解釈したかを比較できるよう構造化されている。
DeepMind、高速テキスト生成モデル「DiffusionGemma」を発表
DeepMindは2026年6月9日(現地時間)、テキスト拡散技術を応用した実験的オープンモデル「DiffusionGemma」を発表した。このモデルはApache 2.0ライセンスで提供され、従来の自動回帰型大規模言語モデル（LLM）の逐次処理と異なり、テキストブロック全体を同時に生成する。これにより、GPU環境下で最大4倍の高速なテキスト生成を実現し、速度が重視されるインタラクティブなローカルワークフローへの活用が期待される。
大規模言語モデルの誤答抑制へ、「未知の未知」診断SICsで精度向上
米学術機関リポジトリarXiv cs.CLは2026年6月7日(現地時間)、大規模言語モデル(LLM)が自身の知識の範囲外にある質問に対し、知らないことを認めずに誤った回答を生成する課題に対処する研究論文を公開した。Subramanyam Sahoo氏が導入した「Structured Ignorance Certificates (SICs、構造化無知証明書)」は、モデルに不足する知識領域を特定させ、関連概念を列挙し、直接回答ではなく有効な検索クエリを提案させるJSON形式の出力スキーマである。735の「Unknown-Unknown (UU、未知の未知)」質問による評価では、99.46%のJSON有効性率と0.967の平均Certificate Specificity Scoreを達成。ベースモデル比でROUGE-Lが3.6%改善された。
大規模言語モデル基盤マルチエージェントシステム、通信を効率化するPACTプロトコル
Chen Huang氏、Yuhao Wu氏、Wenxuan Zhang氏らは6月3日(現地時間)、大規模言語モデル（LLM）を基盤としたマルチエージェントシステム（MAS）において課題となっていたエージェント間通信の非効率性を解決する新たなプロトコル「PACT（Protocolized Action-state Communication and Transmission）」を開発・発表した。このプロトコルは、エージェントの出力情報をコンパクトな行動状態記録に変換することで、トークン使用量を大幅に削減。これにより、システム性能を維持しつつ推論コストを低減し、既存の課題となっていたトレードオフを改善する。
大規模言語モデル駆動エージェント社会の長期シミュレーション「Agentopia」発表
Xintao Wang氏らは6月5日(現地時間)、大規模言語モデル(LLM)が駆動するエージェントによる長期的な社会生活シミュレーション「Agentopia」に関する研究論文を学術論文公開サイトarXiv cs.CLで発表した。本研究は、従来のAIエージェント社会シミュレーションが抱える期間や相互作用の制約を克服し、LLM搭載エージェントによる現実的で複雑な社会的行動の創発と、人間の社会生活における学習プロセスの再現を目指している。
LLMの構造化推論を視覚グラフで支援、整理能力向上に新たな知見
arXiv cs.AIは2026年6月2日(現地時間)、「Visual Graph Scaffolds for Structural Reasoning in Large Language Models」と題する論文を発表した。この研究は、大規模言語モデル (LLM) が複雑な構造化推論を行う際、グラフが単なる外部知識源としてだけでなく、推論プロセスを整理する内部的な足場 (スキャフォールド) としても機能する可能性を示唆している。人間がマインドマップを用いて思考を整理する仕組みから着想を得ており、LLMの推論能力向上に新たな視点を提供する。
大規模言語モデル、環境態度で人間上回る傾向―プロンプト操縦性に課題
arXiv cs.CLは2026年6月1日(現地時間)、大規模言語モデル (LLM) の環境に対する態度に関する研究論文が発表されたと伝えた。持続可能性関連の意思決定支援や情報発信にLLMの利用が広がる中、その出力が持つ環境態度に関する体系的な証拠の不足に対応するもの。31の商用およびオープンウェイトモデルを対象とした評価の結果、多くのLLMが平均的な人間よりも環境的に進歩的な態度を示す傾向が明らかになった。しかし、プロンプトによる操縦可能性という課題も浮き彫りとなった。
LLM回答格差の主因は会話トピック、高リスク分野で影響課題に
arXiv cs.CLは6月3日(現地時間)、論文を報じ、大規模言語モデル (LLM) が法務、医療、金融といった高重要度分野で利用される際、わずか1回の会話履歴でもユーザー間で異なる結果が生じうると指摘した。従来の分析では社会人口統計学的グループ間の格差と捉えられ、特定のグループが有利な結果を得ると示唆された。しかし本研究は、LLMが単一会話履歴からユーザーの社会人口統計学を推論するのは困難で、格差規模は最小限であると結論付けた。
大規模言語モデルの「壊滅的忘却」、強化学習が内部回路を保持するメカニズム解明
arXiv cs.LGは2026年5月21日(現地時間)、大規模言語モデル (LLMs) における「壊滅的忘却 (catastrophic forgetting)」のメカニズムを解明する研究を発表した。この研究は、強化学習 (RL) が教師ありファインチューニング (SFT) よりも以前の能力を効果的に保持する理由として、内部計算回路の保存が主要な要因である可能性を示唆している。
大規模言語モデル、自信と正答率に乖離検出
arXiv cs.AIは2026年4月3日(現地時間)、研究論文で、大規模言語モデル（LLM）の自信と実際の正答率の間に乖離があることを明らかにした。この乖離はタスクの難易度によって変動し、LLMが平均的に自身を過信する傾向にある一方で、「hard-easy effect」と呼ばれる現象により、難しいタスクでは過信が強まり、簡単なタスクでは過小評価を示すと報告されている。モデルのキャリブレーション評価のため、新たなテスト「LifeEval」も開発された。
LLM推論の冗長性、必要な思考量を大規模測定
arXiv cs.AIは2026年4月20日(現地時間)、大規模言語モデル (LLM) の推論過程における冗長性に関する研究結果を発表した。Zhiyuan Zhai氏らによるこの研究は、LLMが複雑な問題解決で生成する長い「思考の連鎖」がレイテンシー、GPU時間、エネルギーに多大なコストをもたらす現状に着目。推論過程で実際にどれほどの熟慮が必要かを大規模に測定し、その根本原因を解明することを目的としている。
大規模言語モデルに「睡眠」機能導入 長文処理の課題克服へ新メカニズム
arXiv 2026年5月25日(現地時間) 研究論文投稿サイトarXivは、大規模言語モデル（LLM）の長文処理における計算コスト増大の課題を克服する新メカニズムを提案する論文『Language Models Need Sleep』を公開した。提案されたのは、人間の睡眠に類似した「統合メカニズム」で、モデルが周期的に過去のコンテキスト情報を永続的な重みに変換し、一時的なキャッシュをクリアする。これにより、LLMが長期間の複雑なタスクを効率的かつ高性能に処理する可能性が示されている。
大規模言語モデル、データ時間性考慮で知識獲得 最新情報反映、ピルシェン氏らの研究
ピルシェン・イポリット氏 (Pilchen Hippolyte) を含む研究チームは2026年5月21日(現地時間)、大規模言語モデル (LLMs) の事前学習におけるデータ時間性 (temporality) の影響に関する研究論文をarXiv cs.CL上で公開した。この研究は、LLMsが通常、時間情報がシャッフルされたコーパスで学習され、その知識が学習時に固定されることで、時間的な知識の関連付けが十分に理解されていない現状に一石を投じる。彼らの調査は、LLMsの知識鮮度と正確性を高める新たな道を示唆している。
arXiv、LLM性能へのデータ影響解明へ「データプローブ」手法を提唱
arXiv cs.AIは2026年5月11日(現地時間)、大規模言語モデル (LLM) の性能におけるデータの役割を根本的に理解するため、新しい手法「データプローブ」の開発を提唱するポジションペーパーを発表した。この手法は、適切に定義されたランダムプロセスから合成シーケンスを生成し、LLMの振る舞いを体系的に観察することで、データ特性がモデル性能、汎化、堅牢性 (robustness) に与える影響を解明することを目指す。
LLM量子化で公平性劣化、新たなバイアス誘発の危険性浮上
Plawan Kumar Rath氏らは2026年5月2日(現地時間)、大規模言語モデル（LLM）の圧縮に用いられる量子化技術が、モデルの公平性を損ない、新たなバイアスを誘発する危険性があるとの研究論文をarXiv cs.LGで公開しました。この研究は、Qwen2.5-7B、Mistral-7B、Phi-3.5-miniの3モデルを対象に、BF16から3ビットまでの5段階の精度レベルで検証を実施。特に3ビット量子化では、これまでバイアスが確認されなかった項目で6～21％のステレオタイプな振る舞いが生じることが判明しました。
複数LLM協調訓練の新手法SAT、中央制御不要で単調性能改善とモデル交換保証
Yi Xie氏らの研究チームは2026年4月17日、複数のLLMを中央コントローラーなしで協調訓練する手法「Sequential Agent Tuning（SAT）」をarXiv cs.LGで発表した。SATはfactorized policyとblock-coordinate updatesを組み合わせ、単調な性能改善とプラグアンドプレイ不変性という二つの理論的保証を提供する。3つの4Bパラメータエージェントのチームがより大規模なQwen3-32Bを上回った実験結果も報告された。
大規模言語モデル、事前学習と同一オプティマイザで忘却を抑制
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。
LLM向け戦略的軌道抽象化フレームワーク「StraTA」登場
arXivは2026年5月7日(現地時間)、Xiangyuan Xue氏らの研究チームが、大規模言語モデル（LLM）をインタラクティブエージェントとして最適化する新フレームワーク「Strategic Trajectory Abstraction (StraTA)」を発表したと報じた。StraTAは、エージェント型強化学習に軌道レベルの戦略を導入することで、既存手法が抱える長期的意思決定における探索とクレジット割り当ての課題解決を目指す。ALFWorld、WebShop、SciWorldでの実験では、サンプル効率と最終性能の向上を示した。