arXiv、LLMとエージェント評価の統合ライブラリ「AuditKIT」論文公開
学術論文リポジトリのarXivは10月15日(現地時間)、大規模言語モデル (LLM) とエージェントシステムの評価を統合するオープンソースライブラリ「AuditKIT」に関する論文を公開した。Shreeyans Arora氏らが執筆したこの論文は、既存の評価手法におけるインターフェース、メトリクス意味論、トレース形式の相違がモデル比較を複雑化させ、エージェントワークフローにおける潜在的な失敗を見逃す可能性を指摘している。AuditKITはこれらの測定値を単一の結果表現に記録し、包括的な評価を可能にすることを目指す。