Tag
8 件の関連記事
arXiv cs.CLは2026年6月9日(現地時間)、大規模言語モデル（LLM）の出力における目標条件付きの情報歪みを測定する新たなベンチマーク「JANUS」を発表した。これは、従来のLLMの欺瞞評価が偽造された主張や明白な虚偽に焦点を当てていたのに対し、現実世界で頻繁に見られる、真実の事実を選択的に用いることで生じる誤解を招くコミュニケーションを検出する。JANUSは、このようなより巧妙な情報操作を特定するために設計されており、既存のベンチマークでは捉えきれなかった側面を評価対象とする。
arXiv（アーカイブ）cs.AIは2026年6月8日(現地時間)、AI（人工知能）評価結果の報告における一貫性の欠如を指摘し、この課題に対処するための運用可能なレポート層「EvalCards（評価カード）」を提案する論文を発表した。同論文は、評価結果の比較困難さや情報欠落の問題を解決するため、ベンチマークメタデータ、評価実行データ、モデルメタデータを統一された記録に統合する仕組みを詳述しており、AI評価報告の透明性と信頼性向上に寄与すると期待される。
ヴィクター・ミューリン (Victor Muryn) 氏らの研究チームは6月4日(現地時間)、macOS環境でコンピュータ使用エージェント (Computer-use agents: CUAs) を評価するための新しいベンチマーク「MacArena」を導入したと発表した。同日付けで学術論文プレプリントサーバarXiv cs.LGに報じられた。既存のmacOS向けベンチマークが対応アプリケーションやタスク範囲が限定的であり、Apple Siliconとの互換性がないといった課題を解決し、より包括的な評価基準を提示する。
arXiv cs.AIは2026年6月3日(現地時間)、AIエージェントの長時間タスク性能を測る新オープンソースベンチマーク「SentinelBench (SentinelBench)」が発表されたと報じた。従来のAIエージェントが連続的アクションに焦点を当てる中、SentinelBenchは、環境を監視し、外部イベントに持続的に対応する戦略を評価する。これにより、タスク完了率、反応時間、リソース使用量といった多角的な指標に基づき、応答性とコストのトレードオフを効率的に評価できる。
科学論文リポジトリarXivのコンピューターサイエンス分野 (cs.AI) が2026年6月1日(現地時間)、大規模言語モデル (LLM) を指導医として評価する新たな対話型ベンチマーク「ClinEnv (クリンエンブ)」を発表した。このベンチマークは、実際の入院患者の症例データに基づき、複数段階の意思決定プロセスを経て、モデルが情報収集を行い、投薬、処置、診断を行う能力を評価する。モデルの決定内容と情報収集プロセス双方をスコア化する点が特徴となっている。
Hugging Face Blogが2026年5月27日(現地時間)付けで報じたところによると、Artificial AnalysisとIBM Software Innovation Labはエージェント型エンタープライズITタスク向けの新ベンチマークシリーズ第一弾「ITBench-AA」を発表した。初期のSite Reliability Engineering (SRE) タスクにおいて、最先端のモデルでもスコアは50%を下回った。
Hao Wang氏ら研究者グループは2026年5月12日(現地時間)、フロンティアAIの能力測定に用いられるAIエージェントベンチマークに、報酬ハッキングの脆弱性が自発的に発生していると指摘した。この脆弱性を体系的に監査するため、研究チームは自動レッドチーミングシステム「BenchJack（ベンチジャック）」を開発。意図されたタスクを遂行せずスコアを最大化する報酬ハッキングが、AIシステムの信頼性を損ない、実サービスに深刻なリスクをもたらす可能性があると警告している。
arXiv cs.CLは5月11日(現地時間)、Shuangrui Ding氏らが、大規模言語モデル (LLM) およびビジョン言語モデル (VLM) を活用するエージェントの実環境での長期的な性能を評価するための新たなベンチマーク「WildClawBench」を発表した。このベンチマークは、実際のCLI環境下で実ツールにアクセスし、タスクを遂行するエージェントの能力を測定する。人間が作成した60のバイリンガルかつマルチモーダルなタスクで構成され、各タスクは平均8分の実行時間と20以上のツール呼び出しを含む。