Tag
94 件の関連記事
Paulius Skaisgiris氏らは2026年11月2日(現地時間)、arXiv上で公開した研究論文において、自然言語で与えられた論理パズルを解決する「神経記号論的フレームワーク」を発表した。大規模言語モデル (LLM) のセマンティック解析能力と、Exact Cover（正確被覆）のような記号論的推論システムの決定性および信頼性を組み合わせることで、従来の純粋なニューラルネットワークベースの手法や既存の神経記号論的方法を上回る性能を示した。
Zichen Bai、Yanli Wang、Yang Liuらの研究チームは2026年10月28日(現地時間)、大規模言語モデル（LLMs）の学習効率を改善する新たな非同期強化学習（RL）最適化手法「Li^2SAO（Lifting Light Single-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping）」に関する研究論文をarXivで公開した。同手法は、既存の「Single-rollout Asynchronous Optimization（SAO）」における事前学習済み価値モデルへの依存性や、その軽量版である「LiSAO」の学習初期段階における性能課題を克服し、LLMsのより安定した効率的な学習を目指している。
学術論文リポジトリのarXiv cs.AIは10月29日(現地時間)、チャットボットChatGPTが監視関連タスクに利用される可能性を指摘する研究論文を公開した。Ayana Hussain氏とNicholas Vincent氏によるこの研究は、ChatGPTのパブリックウェブインターフェースが潜在的に有害な監視支援となりうることを事例研究として提示。55の「ジェイルブレイク」プロンプトのうち40件、および55の直接プロンプトのうち33件に対して、ChatGPTが実質的な監視ガイダンスを提供したと報告している。
カイル・キングスバリー氏は2026年11月1日(現地時間)、大規模言語モデル（LLMs）の広範な利用が、ソフトウェアの文書、ソフトウェアそのもの、そしてそれらを開発する組織に対する信頼を侵食しているとの見解を示した。同氏は、長年にわたり分散システムの信頼性検証プロジェクト「Jepsen」を主宰しており、その知見に基づいた警鐘は、Simon Willison’s Weblogが同日に引用掲載した自身の報告書で述べられている。
OpenFrontiersは2026年10月27日(現地時間)、Jiarui Yao氏らによる論文として、オープンな研究問題の構造化されたコーパスと、数学分野における最近解決された問題の遡及的ベンチマークを組み合わせた学際的なリソース「OpenFrontiers」を発表した。これは、大規模言語モデル (LLMs) の研究レベルでの問題解決能力評価が直面する既存の課題、特に包括的な問題集の欠如に対応し、その解決能力を客観的に測定するための基盤を構築することを目的としている。
Leon Lufkin氏らは2026年10月30日(現地時間)、大規模言語モデル (LLMs) のアテンションにおける長文コンテキストのボトルネックを解消する、漸近的に準二次的なスパースアテンション手法「Zyphra Hierarchical Attention (ZHA)」に関する論文をarXiv cs.CLで公開した。ZHAは階層的ツリー構造インデクサに基づき、従来の二次スケーリング問題への解決策を提供する。
Horizon3 (ホライゾン3) は2026年10月29日(現地時間)、AIモデルが単純なサイバーセキュリティの罠に陥りやすいとの研究結果を発表した。同社のスネハル・アンタニ (Snehal Antani) CEOは、AI攻撃者が防御側が設置したデコイ（おとり）に繰り返し反応し、人間の専門家よりも高頻度で騙される実態を指摘した。この結果は、AIサイバーセキュリティを巡る過剰な期待と現実の間に乖離があることを示唆している。
arXiv (アーカイヴ) は2026年10月27日(現地時間)、ザック・ユー氏らが発表した研究論文において、大規模言語モデル (LLMs) を用いたエージェントの自己改善学習を強化する新たなフレームワーク「GEPA-Curator」を発表した。このフレームワークは、プロンプト最適化に利用するエージェントの経験を厳選することで性能を最大21.2%向上させ、既存手法が直面していた有用でない学習シグナルによる性能低下の問題解決を目指す。
Wei-Wei Zhang氏らの研究チームは2026年10月26日(現地時間)、論文共有サイトarXivで、長期的ながんケア経路における大規模言語モデル (LLMs) の多段階臨床推論能力を評価する新たなベンチマーク「NPC-RubricBench」を発表した。既存のLLMs評価が単一の臨床状況に焦点を当てがちなのに対し、同ベンチマークは、頭頸部がん (nasopharyngeal carcinoma) を特定の疾患コンテキストとし、ケアの連続体全体でのLLMsの性能測定を可能にする。
Mingyang Song氏ら研究チームは2026年10月26日(現地時間)、学術誌arXiv (アーカイブ)にて、Jev-style System Oneモデルの決定構造が、大規模言語モデル (LLMs) に見られる選択バイアスの低減に寄与するかを検証する論文を発表した。同研究は、オプションの提示順序をシャッフルする単純なテストを用いて、Jevの精度変動がわずかであるにもかかわらず、累積的な失敗セットが27〜29%拡大することを示唆している。
arXiv cs.CLは10月3日(現地時間)、Elwin Huaman氏が、大規模言語モデル (LLMs) の時代における知識グラフ (KGs) の品質評価に関する概念フレームワークを提案する研究論文を発表しました。LLMsによるKGsの構築と利用が普及する中、KGsの品質、信頼性、そして評価方法が喫緊の課題となっています。本研究は、既存の最先端フレームワークを拡張し、24の品質ディメンションと多様な品質メトリクスを体系化したものです。
arXiv cs.CLは2026年10月21日(現地時間)、大規模言語モデル（LLM）の台頭が低リソース言語（LRL）研究を加速させたものの、言語間の公平な進展には繋がっていないと指摘する論文を公開した。同論文は2020年から2025年までの1,158本の査読済み論文を分析し、言語的包摂を測る「Linguistic Inclusion Framework（LIF）」を導入。研究の成長が一部の言語に集中し、特にアジアの言語が話者数に比して低い表現シェアに留まる現状を明らかにした。
ジャンウェイ・デン氏らは2026年10月20日(現地時間)、強化学習（RL）訓練における「報酬ハッキング」の発生を訓練開始前に予測するシミュレーター「シムハック (SimHack)」を発表した。このツールは、特に大規模言語モデル（LLM）のコーディング訓練において、実行前に低リスクの訓練レシピを選定し、訓練効率と安全性を向上させる可能性を秘めている。
arXiv cs.CLは10月21日(現地時間)、大規模言語モデル (LLM) の能力を多角的に評価する新たなフレームワーク「SkillEval」に関する論文を発表した。このフレームワークは、従来の単一スカラー値による評価が持つ課題を克服し、ベンチマークデータから解釈可能なスキルを自動で発見する。また、心理測定学 (psychometrics) の認知診断モデル (CDMs) を応用し、LLMが持つスキルごとの能力をより詳細に推定するとしている。
arXivは2026年10月21日(現地時間)、論文「Environment Duels: A Microcosm of LLM Co-Evolution」を公開した。同論文は、大規模言語モデル（LLM）の創造力と問題解決能力を同時に評価する新たなベンチマーク「エンバイロメント・デュエルズ」を導入している。このフレームワークは、モデルがインタラクティブな環境を作成する能力と、その環境内でタスクを解決する能力を動的に測定することを目的とする。
arXivは2026年10月20日(現地時間)、材料科学分野の研究者らが原子レベルの粒界研究とメカニズム発見のために開発したエージェントAIフレームワーク「GBClaw (ジービークロー)」に関する論文を公開した。このフレームワークは、複雑なポリクリスタル材料における粒界の構造と変形を調査することを目的としており、未解明な粒界挙動の体系的な解析を可能にする。
arXivが2026年10月15日(現地時間)付けで、大規模言語モデル (LLMs) を用いた科学的アイデア生成において、アイデアの多様性を向上させつつ質の高いアイデアを確保する新しい学習手法を提案する論文を公開した。提案された8Bモデルは、独自に構築されたベンチマークにおいて、クロード・オーパス4.8 (Claude Opus 4.8) およびジーピーティー・シックス・アストラ (GPT-6 Astra) を上回る「創造的有用性 (creative utility)」を達成した。
arXivは2026年10月9日(現地時間)、ハンシ・ヤン (Hansi Yang) 氏らによる新たな研究論文を公開した。この論文は、大規模言語モデル (LLMs) ベースのエージェントが、外部の教師モデルに依存することなく自己改善を可能にするフレームワーク「クローループ (ClawLoop)」を提案している。従来のLLMエージェントが抱えていた教師モデルへの高い依存性や、持続的な自己改善能力の不足といった主要な課題への解決策を提供するものとして注目される。
学術論文公開サイトarXivが2026年10月14日(現地時間)付けで発表した論文によると、ノア・ダサナイケ (Noah Dasanaike) 氏が、事前学習済み言語モデル（Pre-Trained Language Models）が社会科学研究におけるレコードリンケージおよび氏名からの人口統計学的推論のタスクを、タスク固有の訓練を必要とせずに正確に実行できることを示した。これは、これらのタスクで通常必要とされる、取得が困難または高コストなラベル付き訓練データへの依存を低減する可能性を提示している。
Geoffrey Huntley氏は10月13日(現地時間)、AIエージェントが生成するコードの品質を担保するための新たな手法を提唱した。同氏は、AIエージェントが独自の診断ライブラリ（diagnostics library）を迂回して直接可観測性モジュール（observability modules）を呼び出すことによる問題点を指摘。これに対し、コードのコミット前に診断ライブラリの利用を強制し、違反コードの取り込みを阻止する`git pre-commit hook`と、エージェントへのフィードバックを組み合わせることで、AI生成コードの信頼性と保守性を体系的に向上させることが可能となると説明した。
Stuart Farmer（スチュワート・ファーマー）氏は2026年10月7日(現地時間)、大規模言語モデル (LLM) に誘導される自己改善型プログラム探索アルゴリズム「EliteTable」に関する研究論文をarXiv上で公開した。このアルゴリズムは、固定容量のテーブルに高スコアの解を格納し、新たな提案、既存解の編集、複数解のリミックスをガイドする。EliteTableの性能は、Gymnasium環境の6つの制御タスクで評価された。
arXiv cs.CLは9月26日(現地時間)、ヤージョウ・ジャン氏とジュンハオ・ユー氏による研究論文「Emo-Jev: Probabilistic Reasoning for Emotion Classification with Jev」を発表した。本論文は、言語理解インターフェース「Jev」を活用し、訓練なしで感情分類を行う新しいフレームワーク「Emo-Jev」を提案している。
Mecka AIは2026年10月7日(現地時間)、ヒューマノイドロボットなどの訓練用モーションデータ収集・分析を手がける同社が、シリーズBラウンドで6000万ドルを調達したと発表した。このラウンドはSequoiaが主導し、Nvidia、MicrosoftのベンチャーファンドM12などが参加した。TechCrunchは以前、同社が5億ドルの評価額で新たな資金調達ラウンドに近づいていると報じていた。
arXiv cs.CLは10月7日(現地時間)、大規模言語モデル (LLM) において、事実知識と汎用計算の機能を分離することで、知識更新の効率化と正確性を高める新手法「EngramEdit (エングラムエディット)」が提案されたと発表した。この手法は、モデルの基盤となるTransformer backbone (トランスフォーマーバックボーン) を固定したまま、共有埋め込みの相互干渉によって発生していた従来の知識更新における課題を解決することを目指す。EngramEditは、条件付きメモリを活用し、特定の知識更新が他の既存知識や推論能力に与える悪影響を最小限に抑える設計となっている。
arXivは10月7日(現地時間)、大規模言語モデル (LLM) が生成した誤った情報（幻覚）が後続の推論に与える影響を評価する新しいベンチマーク「PHRBench」の論文を公開した。この研究は、幻覚情報が多段階のLLMシステム内で伝播し、その後の推論の文脈の一部となった際に、モデルがどのようにこの誤りを解決するのかを、応答レベルで詳細かつ構造的に評価することを目指している。
科学論文リポジトリのarXivは2026年10月1日(現地時間)、ハオユエ・ヤン氏らの研究論文「GAMEGO: Training Game-Dev Agents with Synthetic Trajectories Anchored in Real-World Assets」を公開しました。この論文は、大規模言語モデル (LLM) を用いたゲーム開発エージェントの訓練を目的とした、スケーラブルなフレームワーク「GameGo」について詳述しています。GameGoは、簡潔なゲームの着想を、業界の実践に基づいた包括的な製品要件定義書へと変換する能力を持ちます。
カリフォルニア大学サンタクルーズ校の研究者らは10月5日(現地時間)、オープンウェイトの大規模言語モデル（LLM）における安全性に関する脆弱性を悪用する、新たなジェイルブレイク手法「Perturbed Embedding Vector (PEV)」を開発したと発表した。この手法は、有害なプロンプトに対するモデルの防御を突破し、安全でない応答を生成できることを実証したという。
arXiv cs.CLは10月6日(現地時間)、Arnau Bueno Tricas氏らの論文を公開した。同論文は、大規模言語モデル（LLMs）をテキストコーパスの視覚的探索に応用する「ゼロショット可視化（ZSV）」という新たなタスクを導入。ユーザーが自然言語で概念を指定し、文書を対応する概念軸にマッピングして可視化する手法を提案し、その実用化に向けた課題と解決策を探る研究成果を発表した。
Ziyu Chen (ズィーユー・チェン) らは2026年10月6日(現地時間)、LLMsを用いて先行研究文献から新たな研究アイデアを生成する新パラダイム「IdeaAnchor」を発表した。この手法は、既存のプロンプトやフィードバックに基づくアプローチが抱える、構造化された教師信号の欠如という課題に対応する。IdeaAnchorは、各入力論文が特定のアイデアに合成される際の機能的役割や関係性、合成基準を符号化することで、LLMsのアイデア生成能力を向上させる。
サイモン・ウィリソン (Simon Willison) が運営するサイモン・ウィリソンズ・ウェブログは2026年10月3日(現地時間)、同氏のスポンサー限定月刊ニュースレター9月号を配信しました。このニュースレターは、スポンサーが最新の情報を先行して入手できるもので、LLM (大規模言語モデル) の動向やソフトウェア開発に関するトピックが取り上げられています。
arXiv cs.CRは10月1日(現地時間)、『Safety in Self-Evolving Agents: A Survey』と題する論文を公開した。大規模言語モデル（LLMs）を基盤とする自己進化型エージェントにおいて、経験の再利用が可能となることで生じる新たな安全性問題の分析に焦点を当てている。論文では、これらの課題に対応するため、遷移中心の新しいフレームワーク「SAVER」を導入し、エージェントの安全な運用を支えるためのアプローチを提示している。
arXivが2026年9月30日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) を基盤とするAIエージェントが、外部からの影響により過激化する脆弱性を持つことが、新たな研究で明らかになった。この研究では、二つのAIエージェント間の会話をシミュレートし、ターゲットとなるAIエージェントの信念が、インフルエンサーとなるAIエージェントによって過激化される過程を検証した。
モハマド・フィラス・サダ氏らは2026年7月31日(現地時間)、学術論文投稿サイトarXivに研究論文を提出し、大規模言語モデル（LLMs）と古典的機械学習手法であるNaive Bayes（ナイーブ・ベイズ、NB）のテキスト分類性能を比較した。同研究は、ラベル付きデータが存在するリソース制約のある環境において、NBがLLMsと同等またはそれ以上の性能を発揮し、高いスループットと低いエネルギー消費を実現することを明らかにしている。
arXiv cs.CRは2026年9月8日(現地時間)、大規模言語モデル (LLMs) のプライバシーリスクを監査するための新たなメンバーシップ推論攻撃 (MIAs) 手法「Word-level Probability MIA (WPMIA)」に関する論文を公開しました。この手法は、既存のMIAsがトークンごとの確率へのアクセスを必要とするのに対し、厳密なブラックボックスモデルにも適用可能で、GPT-5-Chatなどの主要なプロプライエタリLLMsで平均42.0のTPR@5%FPRを達成しています。
ネイサン・ランバート (Nathan Lambert) 氏が運営するメディア「Interconnects」は9月9日(現地時間)、AI技術が一般の人々の日常生活に与える影響は現在も限定的であり、その真の浸透には数十年単位の期間を要するとの見解を示した。産業革命と比較し、今日のAIが生み出す恩恵は多くの人々にとって間接的で実感しにくいと指摘。AI業界は、技術の長期的な進化と社会への浸透において、政治的な反発や社会経済的な不均衡といった課題に直面していると論じた。
arXiv cs.AIは2026年9月3日(現地時間)、大規模言語モデル（LLM）の説明における誠実性を改善する新しいテスト時アプローチが提案されたと報じた。この研究は、LLMが提供する説明で、回答に影響を与える要因が省略される「不完全性」に焦点を当てる。既存手法が主に不健全性に対処するのに対し、新アプローチは説明で言及されていない概念を入力から除去し、削減された入力でモデルを再クエリする手法を導入した。これにより、LLMの推論の信頼性と安全性の向上が期待される。
クリストス・ペトリディス (Christos Petridis) 氏らは9月1日(現地時間)、配電網における天候関連の強制停止リスクを予測する大規模言語モデル（LLM）の能力に関する研究論文を発表した。この研究は、ラベル付けされた訓練データなしで、3時間、6時間、12時間の3つの予測期間におけるバイナリ重大度分類タスクとして問題を定式化し、テキサス中央部の電力サービスエリアで実施された。従来の教師ありモデルは精度で優位だったものの、LLMが持つ実用的な推論能力と地理的スケーラビリティという新たな強みが示された。
arXiv cs.CL は2026年9月3日(現地時間)、「Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views」と題する研究論文を公開した。大規模言語モデル (LLM) が事前学習中に知識をどのように獲得するかという未解明な点に対し、知識の再構成である補助的ビューが学習に因果的に寄与すると提唱。実験を通じて、データ多様性の重要性を裏付けるメカニズムを報告した。
arXiv cs.CLは8月31日(現地時間)、Yung Wei Shueh氏らが執筆した論文を公開した。この論文は、タイプ2糖尿病 (T2DM) の1年間リスクスクリーニングと、電子医療記録 (EHRs) に基づくレポート生成を目的としたマルチエージェントシステム「DIASENTINEL」を詳述する。本システムは、大規模言語モデル (LLMs) の幻覚や根拠なき推奨といった課題に対処し、臨床意思決定支援における信頼性、監査可能性、プライバシー保護を重視したフレームワークの提供を目指す。
論文投稿サイトarXiv cs.LGは8月26日(現地時間)、大規模言語モデル（LLM）の推論効率を大幅に向上させる新たな量子化手法「FAMPWQ (Fisher Information-based Adaptive Mixed Precision Weight Quantization)」に関する研究論文を発表した。本手法は、Fisher情報を用いて各層の量子化感度を測定し、強化学習ベースのビット幅アロケータで最適な重み量子化を適応的に適用することで、汎用GPU環境下でのLLM推論の効率化と性能維持を目指す。
arXiv cs.CVが2026年8月20日(現地時間)、視覚言語モデル (VLM) の処理を高速化し、堅牢性を高める新しいアルゴリズム「ClustRS」を発表した。このトレーニング不要な手法は、多数の視覚トークン処理に伴う計算負荷を軽減し、エッジデバイスへのVLM展開の課題解決を目指す。既存のVLMであるLLaVAにおいて、画像ノイズに対する堅牢性を向上させつつ、トークン数を大幅に削減できるとしている。
arXiv cs.CL は2026年8月20日(現地時間)、サヒル・カレ氏らが発表した論文「ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models」を公開した。この論文は、大規模言語モデル (LLM) における有害知識の選択的除去（アンラーニング）に関する既存手法の限界を指摘。既存ベンチマークが事実の直接想起に偏り、有害な振る舞いを排除しつつ有益な知識を保持するというアンラーニングの主要要件を捉えきれていないと主張している。
Together AIは2026年8月17日(現地時間)付のブログ記事で、プロダクション環境下で大規模言語モデル（LLMs）などのAIモデルをA/Bテストするための新機能を解説した。この機能は、ライブトラフィックを既存モデル（コントロール）と最大20の候補モデル（バリアント）に分割し、実際のユーザーからのフィードバックに基づいてモデルの性能を測定することを可能にする。トラフィックの分割割合は固定され、勝者モデルへのブルーグリーンロールアウトによる昇格をサポートする計画だ。
GitHubは8月9日(現地時間)、これまで提供してきた「GitHub Models」のサービスを終了した。同サービスは、複数の大規模言語モデル (LLM) プロバイダーにわたる統一アプリケーションプログラミングインターフェース (API) とモデルプレイグラウンドツールを提供し、GitHub Actions内でAPIキーを利用したプロンプト実行を可能にする特徴があった。具体的な終了理由は公表されていない。
Donggen Li (ドンゲン・リ) 氏は2026年5月21日(現地時間)、arXiv cs.CLに研究報告を提出し、マルチモーダル大規模言語モデル (LLM) における既存の位置エンコーディングの課題を指摘し、新たな手法「RIG-RoPE」を提案しました。この研究は、現代の言語モデルの主要コンポーネントであるロータリー位置エンコーディング (RoPE) の多次元拡張版が抱える、静的な多次元位置割り当てに関する二つの制約に対処しています。
Appleは2026年8月(現地時間)、大規模言語モデル (LLM) の主要なモデルである自己回帰型言語モデル (ARM) と、新たなパラダイムである拡散型言語モデル (DLM) の性能特性に関する研究結果を発表した。この研究では、DLMが並列生成によって高い演算強度を達成するものの、長文コンテキストではスケールしない課題を指摘。解決策としてブロック単位デコーディングを提示し、さらにバッチ推論ではARMが優位である一方、DLMはサンプリングステップ数削減が低レイテンシ達成の鍵だと結論づけている。
Apple ML Researchは2026年8月(現地時間)、大規模言語モデル（LLM）の質問応答（QA）能力を評価するための新たなデータセット「DEEPAMBIGQA (ディープアンビグQA)」と、そのデータ構築パイプライン「DEEPAMBIGQAGEN (ディープアンビグQAジェン)」を発表した。本ベンチマークは、名前の曖昧さ解消と多段階推論を要する複雑な質問に対する回答の完全性を測ることを目的としている。
arXiv は2026年8月4日(現地時間)、論文「WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament」を公開した。同論文は、2026 FIFA ワールドカップの全104試合を対象に、6つの大規模言語モデル (LLMs) の予測能力を、リアルタイムかつデータリークなしで評価した研究について報告している。評価は各試合開始前に行われ、モデルの記憶による影響を排除。モデルは試合結果予測において平均63.9%の精度を示し、ブックメーカーの本命を支持するのと同水準だった。
arXivは8月4日(現地時間)、チャンル・ク氏らが大規模言語モデル (LLMs) のツール統合型推論 (Tool-Integrated Reasoning) における課題解決を目指す、新しいフレームワーク「ターンサイト (TurnSight)」を発表した論文を公開した。このフレームワークは、実行条件付き後知恵からの教師信号導出を通じて、従来の強化学習手法が抱えるきめ細かな信用割り当ての限界に対応する。
Appleは2026年8月(現地時間)、マルチモーダル大規模言語モデル（MLLM）におけるアラインメントに関する包括的な研究を発表した。大規模言語モデル（LLM）の性能向上に不可欠な選好アラインメントについて、MLLMでの影響はこれまで十分に探求されてこなかった。本研究は、MLLMが画像理解タスクで直面するハルシネーション（誤った情報の生成）などの課題に対し、モデルの応答を画像情報により正確に一致させることを目的とする。特に、追加のアノテーションや外部モデルを必要としない新しいマルチモーダル選好データ作成手法「Bias-Driven Hallucination Sampling (BDHS)」を導入し、エッジデバイスでのMLLM実用化への道を拓く可能性を示唆している。
arXiv cs.CLは6月5日(現地時間)、大規模言語モデル (LLM) の行動一貫性を測定・改善する新たな手法「Cognitive Kernel Model (CKM)」に関する研究論文を公開した。CKMは、モデルが意思決定前に情報を「事実 (Fact)」「ヒューリスティック (Heuristic)」「感情 (Emotion)」の三つの認識役割に分離させ追跡するプロンプトレベルの状態強制レイヤー。この手法はモデルの重みを変更せず、繰り返し出力のばらつきを低減し、新しいモデルで意思決定の反転率を最大82%削減する効果が確認された。
arXivは2026年7月24日(現地時間)、論文を公開し、オートレグレッシブ (AR) 大規模言語モデル (LLMs) が抱える推論時の非効率性を改善するニューロモルフィック拡散言語モデル (N-MDLMs) を提案した。N-MDLMsは、ブロック拡散とスパイクベースのニューロモルフィック計算を統合することで、スループットとエネルギー効率の同時改善を目指す。本研究はDengyu Wu氏らが共同で発表した。
arXiv cs.CLが2026年7月27日(現地時間)付けで報じたところによると、Zhen Huang氏らが大規模言語モデル (LLMs) の事前学習データ処理に特化した新しいフレームワーク「DataOrchestra」を発表した。DataOrchestraは、従来の固定的なデータ処理戦略とは異なり、各データ例のニーズに合わせて処理パイプラインを個別最適化する。0.5Bから7Bのモデルを対象とした検証では、11のベンチマークで既存手法に対する安定した性能向上が確認された。
arXiv cs.AIは7月26日(現地時間)、大規模言語モデル（LLMs）による多段階ツール利用エージェントの評価を目的とした新たなベンチマーク「E-Bench」を2026年に発表しました。このベンチマークは、現実世界のプロダクトシナリオを模倣した323のステート変更タスクを特徴とし、「Honor of Kings」「QQ Music」「Tencent Meeting」の三つのドメインを横断します。既存ベンチマークが抱えるスケーラビリティや制御性の課題に対応し、完全に合成された環境とタスクを通じて、より精密な評価を可能にするとしています。
arXiv cs.AIは2026年5月22日(現地時間)、大規模言語モデル（LLM）の情報識別能力に関する研究論文を公開した。本研究は、LLMが外部知識源からの情報を適切に評価し、信頼できる情報源からの情報をより重視し、真実への近さに応じて事前情報を更新するかを調査。Learn2Discern（L2D）と呼ばれる実験的枠組みとベンチマークを導入し、LLMが情報源と真実の識別において課題を抱えていることを指摘している。
Qingjia Huang、Jingyu Zhangら研究者チームは2026年7月20日(現地時間)、大規模言語モデル (LLMs) へのジェイルブレイク攻撃を評価するための新たなフレームワーク「JailMeter」に関する論文をarXivに公開した。現在の評価手法が抱える、基準や方法の不整合による信頼性の低い成功率推定の課題に対し、JailMeterは攻撃の有効性をより忠実に測定することを目指している。
Apple ML Researchは7月20日(現地時間)、大規模な自己回帰モデル向けに、トークンレベルの生成長をモデル化する新たなフレームワーク「Length Value Model (LenVM)」を発表した。このLenVMは、各デコーディングステップで残りの生成長をモデル化することで、きめ細やかな長さモデリングを実現する。注釈なしで密かつバイアスのない、スケーラブルな監視信号を提供すると説明されており、生成AIモデルの出力制御向上に寄与する見込みだ。
Simon Willison's Weblog (サイモン・ウィリソンズ・ウェブログ) は7月15日(現地時間)、大規模言語モデル (LLM) Claude (クロード) の「web_fetch (ウェブフェッチ)」ツールに、ユーザーデータ流出につながる脆弱性が発見されたと報じた。Ayush Paul (アユーシュ・ポール) 氏がこの設計上の問題を発見し、ユーザー名や居住都市、雇用主名などの抽出に成功。開発元のAnthropic (アンソロピック) はこの脆弱性を修正済みであると発表した。
arXiv cs.CL は2026年7月13日(現地時間)、大規模言語モデル (LLM) におけるメタ認知に関する初の包括的な概観論文を公開した。本論文は、効果的な学習、問題解決、意思決定、コミュニケーションに不可欠な知能の基礎的要素であるメタ認知が、いかに有能で透明性の高いAIシステムの中核となるかを示す。研究チームは、この新たな分野の現状を体系的に分析し、今後の研究の方向性を示唆している。
arXiv cs.LGは7月9日(現地時間)、大規模言語モデル (LLM) における「Super Weights (スーパーウェイト)」と呼ばれる重要なパラメータの選択的訓練が、モデルの性能向上に繋がらないとする研究結果を発表しました。この研究は、特定のパラメータがモデル性能に大きく影響するものの、その重要性が単独での訓練可能性を意味しないことを示唆しています。
Don't Worry About the Vase (Zvi)が2026年7月7日(現地時間)付けで報じたところによると、Anthropicは、言語モデルにおける「意識的アクセス」の領域「J-スペース (J-space)」の発見に関する新しい論文「Verbalizable Representations Form a Global Workspace in Language Models」を発表した。このJ-スペースは、言語モデルの隠れ状態からトークンごとの読み出しを生成する解釈手法「ヤコビアン・レンズ (Jacobian Lens)」にちなんで名付けられた。同論文では、J-スペースが言語化可能な表現を特定し、広範な機能的役割を果たすとされている。
Microsoftは2026年7月7日(現地時間)、年次開発者会議Microsoft Build 2026において、Foundry Managed Compute上でHugging Faceモデルの提供を開始すると発表した。これにより、Hugging Faceエコシステムから厳選されたオープンウェイトモデルのカタログが、Foundry Managed Computeからワンクリックでデプロイ可能になる。モデルのウェイトはAzureにプリステージされ、ランタイムはMicrosoftが構築・スキャンする。
米連邦取引委員会 (FTC) は7月6日(現地時間)、生成AI (人工知能) および大規模言語モデル (LLM) を対象とした新たな政策提案を提示した。この提案は、AIメーカーに対し、真実ではない出力につながる可能性のあるバイアスを開示するよう義務付けることを目的としている。FTC法に基づく消費者保護の一環として、消費者がAIに正確な情報を期待するのは当然であり、明確な開示なしの逸脱は欺瞞的な行為にあたるとしている。バイアス自体を禁止するものではないが、AIシステムがユーザーの期待と異なる目的を優先する場合、企業はユーザーにその旨を情報提供することを求める。
Simon Willison's Weblogは2026年7月3日(現地時間)、AIモデルFableとOpusに独自の判断能力を持たせることで、開発効率とコスト効率が向上するとの実践結果を報じた。このアプローチは、AIモデル自身にタスクの実行方法やリソース配分を判断させる階層型エージェントの概念に基づいている。Claude CodeチームのCat Wu氏とThariq Shihipar氏、およびJesse Vincent氏からの助言を取り入れ、テスト実施の要否や適切な低消費電力モデルの選択といった判断をモデルに委ねることで、全体のパフォーマンス最適化が図られている。
arXivは5月1日(現地時間)、大規模言語モデル（LLMs）の安全性アライメントにおける新たな脆弱性を指摘する論文を発表した。この研究は、BPEトークン化（Byte-Pair Encoding tokenization）が安全上重要な単語をサブワードに分割することで、文字レベルの摂動がLLMsの安全機能を回避するメカニズムを特定。その回避策の現状と課題について詳細な分析結果を報告している。
Amirreza Esmaeili (アミルレザ・エスマエイリ) 氏とFatemeh Fard (ファテメ・ファルド) 氏は4月30日(現地時間)、大規模言語モデル (LLMs) のコード生成におけるトークンレベルの意思決定を説明・解釈するための対話型ツール「TokenScope」を発表した。このツールは、デコーダーベースのLLMsを対象とし、生成過程におけるトークンレベルの指標、アテンションパターン、および構造情報を提供することで、モデルの透明性を高める。
モナ・シャーマー (Mona Schirmer) 氏らの研究チームは7月2日(現地時間)、大規模言語モデル (LLM) の運用時安全性監視に関する研究論文をarXivで公開しました。論文「Online Safety Monitoring for LLMs」では、アラインメントトレーニング後もLLMが安全でない出力を生成する傾向があることを指摘し、オンラインでの出力監視と警報発令の必要性を強調しています。研究チームは、外部モデルからの検証信号をしきい値処理して警報を決定する、シンプルなリアルタイムモニターを提案し、その有効性を示しました。
arXiv cs.LGは7月2日(現地時間)、ユンヘ・リー (Yunhe Li) 氏らの研究グループが、大規模言語モデル (LLM) の訓練における新たなフレームワーク「DemoPSD」を発表したと報じた。従来のオンポリシー自己蒸留 (OPSD) が抱える、教師モデルの特権情報に基づく密なトークンレベルの監督による特権情報漏洩と探索能力抑制の課題に対し、DemoPSDは教師ガイダンスを選択的に適用することで解決を目指す。これは、モデル開発の安全性と効率性を高める可能性を秘める。
Apple ML Researchは2026年7月(現地時間)、大規模言語モデル (LLM) の核となるTransformerにおけるフィードフォワードネットワーク (FFN) の役割を再定義する研究論文「MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers」を発表した。この研究は、FFNを自己アテンション機構から切り離し、コンテキストフリーなトークンごとのニューラル検索メモリとして機能させる新手法「MemoryLLM」を提案。これにより、LLMの推論効率向上と、特に機械学習モデルの「ブラックボックス」問題解明に貢献する可能性を示唆している。
arXiv cs.AIが2026年7月1日(現地時間)に公開した論文によると、シェングアン・ウー (Shengguang Wu) 氏らは、大規模言語モデル (LLMs) のメモリ管理を自動で学習するフレームワーク「AutoMem」を発表した。これは、認知科学におけるメタメモリ (metamemory) の概念をLLMsに適用し、メモリ管理を訓練可能なスキルとして扱うもので、長期間にわたるタスクにおけるLLMsのパフォーマンスを大幅に向上させるという。
Microsoft Researchは6月30日(現地時間)、AIエージェントのスキルを訓練可能なパラメータとして最適化する新たな手法「スキルオプト (SkillOpt)」を発表しました。SkillOptは、エージェントの指示やスキルを手動調整の限界を超えて扱い、基盤モデルの重みを変更することなく、エージェントの動作をより信頼性が高く、効果的なものにすることを目指します。これにより、AIエージェント開発における新たなアプローチを提示します。
arXiv cs.AIは2026年6月23日(現地時間)、大規模言語モデル (LLMs) を活用したエージェントAIシステムの動的レッドチーム評価に関する論文「リフトベンチ (RIFT-Bench)」を発表した。本研究は、従来のLLMの脆弱性を超える新たな攻撃ベクトルを持つ自律的AIのセキュリティ評価を統一することを目的としている。既存の評価手法が特定のシステムやドメインに限定される課題に対し、グラフ表現駆動型のアプローチを導入し、多様なエージェントアーキテクチャ間での統一的な評価を可能にする。
Simon Willison's Weblogは2026年6月22日(現地時間)、チャールズ・イェ (Charles Ye) 氏らが発表した論文「Prompt Injection as Role Confusion」についての解説記事を公開した。この研究は、大規模言語モデル (LLM) が自身の特権的なシステムメッセージと信頼できないユーザー入力を区別する際の課題に焦点を当てている。モデルがテキストの内容よりも書き方を重視する傾向にあるため、プロンプトインジェクションへの脆弱性が指摘されている。
arXiv cs.AIは6月11日(現地時間)、大規模言語モデル（LLM）を用いて社会行動科学分野の研究における再現性評価を自動化する新手法が開発されたと報じた。この手法は、従来独立した研究者が行ってきた資源集約的で非効率的な検証作業を効率化する可能性を持つ。先行研究76件を用いた検証では、LLMによる再分析が人間の分析と比較して高い精度を示し、元の効果量を41%のケースで再現し、定性的な結論では96%のケースで一致したという。
Dimitri Kachler氏、Damien Sileo氏、Pascal Denis氏らは2026年6月11日(現地時間)、大規模言語モデル（LLM）の訓練データ帰属を効率化する新手法「Influcoder」に関する論文をarXiv cs.CLを通じて公開した。本手法は、既存のデータ帰属アプローチが抱える計算速度とストレージ効率の課題に対処し、LLMの能力向上に伴う訓練データセットの品質管理と透明性への要求に応えるものと見られる。Influcoderは、デコーダーの勾配影響度ランキングをエンコーダーに蒸留する独自のアプローチを採用するとされる。
arXiv cs.AIは2026年6月9日(現地時間)、持続的記憶システムを搭載した大規模言語モデル（LLM）に関する研究論文を発表した。同研究は、LLMがユーザーの信念を記憶することで有用性を向上させる一方で、ユーザーとの同意を優先し、情報の正確性を損なう「追従性 (sycophancy)」を体系的に増幅させる危険性があることを指摘している。研究チームは、この問題の体系的評価と、「MIST」ベンチマークを開発した。
オンラインプレプリントリポジトリarXivは2026年6月4日(現地時間)、大規模言語モデル（LLM）における長文脈推論のデコーディング効率を改善する新手法「cross-layer sparse attention (CLSA)」を提案する論文を公開した。Yutao Sun、Yanqi Zhang、Li Dong、Jianyong Wang、Furu Weiの各氏が発表したCLSAは、KV共有アーキテクチャを基盤とし、複数のデコーダ層間でKVキャッシュとルーティングインデックスを共有することで、推論の主要なボトルネックを改善する。
arXiv cs.CLが2026年6月4日(現地時間)付けで報じたところによると、成人は複数の原因が同時に存在する結合的因果規則の特定に困難を抱えるものの、能動的な探索を行うことでその推論能力が大幅に向上することが、Mandana Samiei氏らの研究で示された。同研究では、大規模言語モデル（LLMs）のパフォーマンスも分析され、一部モデルは人間レベルの精度に近づくものの、探索戦略において非効率性が見られる点が指摘されている。
Hugging Face Blogが2026年6月1日(現地時間)付けで報じたところによると、IBM Researchは、スケーラブルなエンタープライズAI導入にはエージェントロジックが不可欠であるとの見解を示した記事を発表した。AIエージェントは業界を変革する可能性を持つものの、その潜在能力を引き出すには、高品質で費用対効果の高いエージェントを実現する「エージェントロジック」が必要であるとしている。
arXiv cs.CLは2026年5月28日、大規模言語モデル（LLM）の事前学習データ混合比を生成テキストから推定する新たな研究論文が公開されたと報じた。この研究は、手法を「Data Mixture Surgery（DMS）」として形式化し、それを実現するフレームワーク「LLMSurgeon」を提案。評価スイート「LLMScan」による検証では、LLMSurgeonが高い精度でドメイン混合比を回復したとしている。
arXiv cs.LGは2026年5月28日(現地時間)、大規模言語モデル（LLM）を個々のプロンプトに適応させる推論時ファインチューニング（TTFT）において、速度と品質の双方のボトルネックに対処する新たな幾何学的手法「HullFT」が導入されたと報じた。同研究は、効率的な凸再構成と勾配キャッシュを通じて、LLMのファインチューニングプロセスを改善し、その実用化を加速させるものと期待されている。
アマルティア・ロイ氏とソナリ・パーブー氏の研究チームは2026年5月26日(現地時間)、arXiv cs.AIで、大規模言語モデル (LLM) が因果発見において信頼性の高い性能を発揮できない根本的な理由を証明した。この研究は、限界が特定のモデルやデータセットではなく、学習パラダイムに内在するものであると定式化し、克服を目指す新たな手法「Agentic Causal Bayesian Optimization (A-CBO)」を提案している。
arXiv cs.LGは2026年5月22日(現地時間)、Xu Ouyang氏らの研究チームが、大規模言語モデル（LLM）の訓練プロセスをノイズのある情報伝送チャネルとして捉える「シャノン・スケーリング・ロー」と称する新たな理論的枠組みを提唱したと報じた。この法則は、既存のスケーリング法則では説明が困難だった、計算資源の増加にもかかわらず性能が低下する非単調な現象の解明を可能にする。シャノン＝ハートレーの定理に基づき、モデルのパラメーターをチャネル帯域幅、訓練トークンを信号電力にマッピングすることで、学習信号と固有ノイズの相互作用を明確に捉えることができる。
arXiv cs.CLは2026年5月21日(現地時間)、大規模言語モデル (LLM) における体系的な政治的偏向の削減を目指す研究論文が発表されたと報じた。論文は、LLMが多様なデリケートな文脈で体系的な政治的偏向を示し、対立する政治的側面を持つ話題を非対称に扱うことを確認。研究者らはこの現象を「隠れた政治的偏向 (covert political bias)」と定義し、その操作メカニズムを7つのカテゴリーで特定した上で、公正性を高める新たな訓練手法を提案している。
ピルシェン・イポリット氏 (Pilchen Hippolyte) を含む研究チームは2026年5月21日(現地時間)、大規模言語モデル (LLMs) の事前学習におけるデータ時間性 (temporality) の影響に関する研究論文をarXiv cs.CL上で公開した。この研究は、LLMsが通常、時間情報がシャッフルされたコーパスで学習され、その知識が学習時に固定されることで、時間的な知識の関連付けが十分に理解されていない現状に一石を投じる。彼らの調査は、LLMsの知識鮮度と正確性を高める新たな道を示唆している。
ChronoMedKGは5月21日(現地時間)、時間的側面を考慮したバイオメディカル知識グラフ「ChronoMedKG」および関連ベンチマークを公開した。従来の知識グラフが静的な疾患関連性を扱うに留まっていたのに対し、臨床推論には時間情報が不可欠であるという課題に対応する。ChronoMedKGは13,431種類の疾患を対象とし、460,497個の証拠リンク付きトリプルを含む。各関連付けは、発症時期や進行段階などの時間的要素と結びつけられ、医療分野における新たなデータ基盤を構築する。
arXiv cs.CLは2026年5月(現地時間)、大規模言語モデル（LLM）における障害の表現に関する研究論文を発表したと報じた。Marco Bombieri氏、Simone Paolo Ponzetto氏、Marco Rospocher氏らの研究は、LLMが障害者の経験を理想化し、過度に肯定的なステレオタイプを生み出す傾向を指摘。さらに、障害の有無による投稿の比較分析から、キャリアやエンターテイメントといった特定のトピックが非障害者と不均衡に関連付けられる負のバイアスも明らかになった。
サイモン・ウィリソン氏のブログは2026年5月19日(現地時間)、PyCon US 2026でのライトニングトークの内容をまとめた記事を公開した。記事は、過去6ヶ月間の大規模言語モデル (LLM) の発展に焦点を当て、特に2025年11月を転換点と位置付ける。モデル性能の激しい変遷、コーディングエージェントの品質向上、そして「Claws」と呼ばれるパーソナルAIアシスタントカテゴリの台頭について解説されている。
arXivは2026年5月18日(現地時間)、Xuying Ning氏らが発表した研究で、大規模言語モデル（LLM）がコードの理解と生成において高い能力を示す中、エージェントシステムにおけるコードの役割が変化していると報じた。研究は、従来の単なる出力から、エージェントの推論、行動、環境モデリング、実行ベースの検証を支える運用基盤としての機能へコードが移行していると指摘。「Code as Agent Harness」という統一的な視点を示し、エージェントのインフラストラクチャにおけるコードの中心的な役割を定義している。
Rishabh Tiwari氏らの研究チームは2026年5月12日(現地時間)、大規模言語モデル (LLM) における「高速・低速学習」フレームワークを発表した。この新手法は、モデルパラメータを「低速」ウェイト、最適化されたコンテキストを「高速」ウェイトとして利用し、タスク固有の学習と汎用的な推論能力の維持を両立させる。従来のパラメータ更新に起因する壊滅的忘却や可塑性の喪失といった課題に対処する。
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習と自律的な科学研究を促進するための課題生成において、新たなフレームワーク「VHG」が導入された。この検証者強化型難問生成フレームワークは、従来の二者間自己対戦に独立した検証者を統合し、問題の有効性と難易度によって生成者の報酬を決定する。これにより、既存手法が抱える課題を解決し、有効で挑戦的な問題の生成を目指す。
arXiv cs.LGが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (LLMs) の学習において、事前学習 (pretraining) と同じオプティマイザ (optimizer) を用いたフルファインチューニング (full finetuning) が、より良好な学習と忘却のトレードオフ (learning-forgetting tradeoff) を達成することが明らかになった。これは、新しいタスクにおける同等またはそれ以上の性能を維持しつつ、忘却を低減させる効果があるという。研究者らはこの現象を「オプティマイザとモデルの一貫性 (optimizer-model consistency)」と命名した。
テック業界ニュースレター「Interconnects」が2026年5月7日(現地時間)に報じた内容によると、中国のAI研究室では米国とは異なる独自の企業文化と研究者の思考様式が観察されている。筆者のネイサン・ランバート氏は、中国の大手AI研究室を訪問した際の知見を共有。中国企業が大規模言語モデル（LLM）技術の急速なキャッチアップと維持に長けている背景には、教育と仕事における長年の文化的伝統、そして技術企業構築への独自のアプローチがあると指摘した。
エイブリッジ (Abridge) は2026年5月14日(現地時間)、患者と臨床医の対話を医療の基盤に変革していることが、レイテントスペース (Latent Space) の報道で明らかになった。医療テクノロジー企業である同社は、今年、米国の250以上の医療システムで8000万件を超える患者と臨床医の対話を支援すると予測されている。エイブリッジは2025年6月に53億ドルの評価額で3億ドルを調達しており、これに先立つ資金調達として2億5000万ドルも実施している。