LLMの情報識別能力に課題、新たな評価枠組み「L2D」導入
arXiv cs.AIは2026年5月22日(現地時間)、大規模言語モデル（LLM）の情報識別能力に関する研究論文を公開した。本研究は、LLMが外部知識源からの情報を適切に評価し、信頼できる情報源からの情報をより重視し、真実への近さに応じて事前情報を更新するかを調査。Learn2Discern（L2D）と呼ばれる実験的枠組みとベンチマークを導入し、LLMが情報源と真実の識別において課題を抱えていることを指摘している。
Tag
#Artificial-Intelligence
12 件の関連記事
セキュリティエージェント評価、コスト考慮で実用性検証：ML実務者への示唆
ポール・カシアニック氏、ブレイン・ネルソン氏、ヤロン・シンガー氏らは7月16日(現地時間)、セキュリティエージェントの評価手法に関する研究論文を発表した。従来の成功率に加えコスト効率を考慮する新たな評価アプローチを提唱し、言語モデルベースのエージェントをCybenchとSplunk BOTS v1の課題で評価、費用対効果を分析した。研究結果は、タスクに応じた性能特性の違いを指摘し、経済的効率性や運用的適合性を重視したベンチマークの必要性を示唆している。この研究は、ML実務者がセキュリティエージェントを選定・導入する際の新たな評価軸を提示する。
arXiv、コードエージェント評価に「AgentLens」を発表—軌跡評価で開発に新基準
科学技術論文公開サービスarXivは7月8日(現地時間)、インタラクティブなコードエージェントの新たな評価手法として、ベンチマーク「AgentLens (エージェントレンズ)」を発表しました。従来の評価がタスクの最終結果のみに焦点を当てていたのに対し、AgentLensはエージェントの作業過程全体を詳細に評価します。これにより、エージェントの振る舞いや誤りからの回復過程を深く理解し、性能向上につながる具体的な洞察の獲得を目指します。
LLM向け汎用検証フレームワーク「LLM-as-a-Verifier」発表
arXiv cs.AIは2026年7月6日(現地時間)、大規模言語モデル（LLM）の能力向上に向けた新たな検証軸として機能する「LLM-as-a-Verifier」を発表した。これは、エージェントタスクに対して追加学習を必要とせず、きめ細かなフィードバックを提供する汎用検証フレームワークとして位置づけられている。既存の評価手法とは異なり、候補ソリューションに対し連続的なスコアを生成する。
LLMエージェント、社会構造下での発言で目標と乖離する可能性を示唆
大規模言語モデル（LLM）エージェントが社会構造下で行動する際、役割や聴衆、関係性によって発言内容が変化する可能性が示された。Arman Ghaffarizadeh氏、Danyal Mohaddes氏、Aliakbar Izadkhah氏、Shahriar Noroozizadeh氏らは2026年7月2日(現地時間)、arXiv cs.AIに公開した論文で、明示的な目標がプロンプトにない状況下でも、社会的構造がエージェントの公開発言を非公開チャネル (OTR) での発言と系統的に乖離させることを発見した。これにより、エージェントの評価は明示的な目標を超えて、潜在的な目標の検出にまで及ぶべきだと提言している。
Maestro Order、モデル非依存のオーケストレーション枠組みを発表
arXiv cs.CRは2026年6月23日(現地時間)、ヒダヤット・アクシュ (Hidayet Aksu) 氏による論文「マエストロ・オーダー：モデル非依存のオーケストレーションフレームワーク (Maestro Order: A Model-Agnostic Orchestration Harness)」を公開した。本論文は、信頼性の低い単一のモデルを、信頼性の高い問題解決システムへと変換する、モデルに依存しないオーケストレーションフレームワーク「マエストロ・オーダー (Maestro Order)」を提案している。
LLMエージェント新評価指標「SafeClawBench」発表
arXivは6月16日(現地時間)、ツール利用型の大規模言語モデル（LLM）エージェントが持つ潜在的なセキュリティ問題を評価する新たなベンチマーク「SafeClawBench」に関する論文を公開した。従来の評価手法が攻撃成功率を単一の指標で捉えていたのに対し、本研究は意味的攻撃受容、監査可能な損害の証拠、およびサンドボックス環境で観測されるツールやシステム状態への実害という、三段階でセキュリティリスクを計測するフレームワークを提唱している。
arXiv、エージェント型サーチ向け新手法「DivInit」発表—初期クエリの多様化で性能改善
arXivは2026年6月16日(現地時間)、エージェント型サーチ (Agentic Search) における標準的な並列サンプリング手法が抱える課題を解決する新手法「DivInit」に関する論文を公開した。本研究は、大規模言語モデル (LLMs) の推論時スケーリングを拡大するAgentic Searchの有効性を高めることに焦点を当てている。DivInitは、初期クエリの冗長性による収益逓減を、最初のターンで多様なシードクエリを選択することで解消し、探索効率を改善する。
VERITAS、ロボットポリシー検証で性能向上へ
Mingtong Zhang (ミン・トン・チャン) 氏とDhruv Shah (ドゥルーブ・シャー) 氏は6月16日(現地時間)、汎用ロボットポリシー向けの新たな生成器-検証器フレームワーク「VERITAS (ベリタス)」を提案した。このフレームワークは、推論時にポリシーの操縦と自律的な改善を可能にし、追加の訓練なしでロボットの行動性能を高めるとともに、既存の汎用ポリシーに対して一貫して優れた性能を示すことが期待される。
arXiv、AIと仮想通貨の統合に関する調査論文発表
arXiv cs.CRは2026年6月11日(現地時間)、人工知能（AI）とブロックチェーンベース技術（仮想通貨）の交差点に焦点を当てた調査論文「Crypto x AI, AI x Crypto: A Survey」を発表した。本論文は、両技術の現状、機会と課題、そして未解決の研究課題を体系化することを目的としている。AIと仮想通貨の意味のある統合は、まだ初期段階にあるとの見解を示している。
トランスフォーマーの射影共有に関する研究発表
arXiv cs.LGが2026年6月3日(現地時間)付けで報じたところによると、Ali Kayyam、Anusha Madan Gopal、M Anthony Lewisの3氏による研究論文が、トランスフォーマーにおけるQuery, Key, Value (QKV) の3つの射影について体系的な評価を行い、射影共有の有効性を示した。この研究では、射影の一部を省略する変形が、QKVトランスフォーマーと同等かそれ以上の性能を発揮し、特にオンデバイス推論でのキャッシュ削減に寄与する可能性が示されている。
LLM向け「高速・低速学習」フレームワーク発表、効率と可塑性を改善
Rishabh Tiwari氏らの研究チームは2026年5月12日(現地時間)、大規模言語モデル (LLM) における「高速・低速学習」フレームワークを発表した。この新手法は、モデルパラメータを「低速」ウェイト、最適化されたコンテキストを「高速」ウェイトとして利用し、タスク固有の学習と汎用的な推論能力の維持を両立させる。従来のパラメータ更新に起因する壊滅的忘却や可塑性の喪失といった課題に対処する。