学術論文リポジトリのarXivは10月15日(現地時間)、大規模言語モデル (LLM) とエージェントシステムの評価を統合するオープンソースライブラリ「AuditKIT」に関する論文を公開した。Shreeyans Arora氏らが執筆したこの論文は、既存の評価手法におけるインターフェース、メトリクス意味論、トレース形式の相違がモデル比較を複雑化させ、エージェントワークフローにおける潜在的な失敗を見逃す可能性を指摘している。AuditKITはこれらの測定値を単一の結果表現に記録し、包括的な評価を可能にすることを目指す。
AuditKITは、ソース利用可能な評価ライブラリとして提示され、方向性認識メトリクス契約、構成フィンガープリント、拡張可能なメトリクスとバックエンドといった特徴を備えています。
エージェントシステムに関しては、AuditKITはターン認識ツールコールマッチング機能を提供し、並列実行と逐次実行の評価を区別します。さらに、検証されたタスク結果と軌道レベル診断を区別し、欠落または観測不能な証拠は失敗としてカウントせず、未採点としてマークします。
検索拡張生成 (Retrieval-augmented generation) に関連する機能として、AuditKITはランク付けされた検索メトリクス、判定された根拠、そして決定論的な証拠チェックを組み合わせています。このアプローチにより、検索プロセスと生成プロセスの両方を詳細に評価することが可能になります。
論文では、モデル比較、サービングランタイム、検索、ツール呼び出し、および相互運用性にわたる7つの包括的なケーススタディが紹介されています。これらのケーススタディは、回答抽出、ランタイム挙動、メトリクス選択が評価結果に与える影響を具体的に示しています。これらの分析を通じて、AuditKITがいかに多様なシナリオで活用され、評価プロセスの透明性と再現性を向上させるかが示されています。
本研究はShreeyans Arora氏とUtsav Avaiya氏が同等の貢献を果たし、Lexsi Labs在籍中に行われました。
参考: arXiv cs.CL (アーカイブ) — 2026年10月19日 13:00 (JST)