Tag
4 件の関連記事
arXiv cs.CVは2026年10月13日(現地時間)、ビデオワールドモデルの記憶力を評価するための新たなベンチマーク「WorldMemBench (ワールドメモベンチ)」を導入する論文を公開した。没入型インタラクティブ体験の長期化と現実味の向上に伴い、履歴と整合性のある仮想世界を維持することが不可欠となっている。視覚的忠実性や動画持続時間といった要素に加え、「世界記憶 (world memory)」の評価が、モデルの品質とリアリティを測る上で極めて重要であるとされている。
arXiv cs.CV は2026年8月5日(現地時間)、論文「GEB-Bench: Abstract Structures Told in Many Voices」を公開した。この論文は、自然景観から民話、数学的定理、プログラムの骨格に至るまで、多様な形式で表現された抽象的な構造モチーフをモデルがどれだけ認識し、異なる形式間でマッピングできるかを評価する新しいベンチマーク「GEB-Bench」を紹介している。モデルの抽象化能力に関する課題を明らかにした研究となる。
Hugging Face Blogは2026年6月17日(現地時間)、パラメータ効率の良いファインチューニング（PEFT）技術に関する記事を公開した。同記事は、モデルファインチューニングに広く利用される「LoRA（Low Rank Adaptation）」の普及状況を分析しつつ、他のPEFT手法の可能性と、情報に基づいた選択のためのベンチマークの重要性を指摘している。Hugging Face Hub上の20,834のモデルカードのうち、20,509（98.4%）がLoRAに言及している。
研究者らは6月8日(現地時間)、arXiv cs.LGが公開した論文で、パーソナルにインテリジェントな電話エージェントの評価を目的とした初のインタラクティブなネイティブiOSシミュレーターベンチマーク「iOSWorld」を発表した。ユーザーのアイデンティティ、履歴、好みに基づく推論を行うエージェントを評価するためのもので、既存のモバイルエージェントベンチマークに不足していたパーソナライゼーション機能の検証に焦点を当て、永続的なユーザーアイデンティティを中心に設計されている。