サイモン・ウィリソン (Simon Willison) 氏は2026年7月31日(現地時間)、ジェシー・ヴィンセント (Jesse Vincent) 氏が設立したプライム・ラディアント (Prime Radiant) との協力により、モデル、プロンプト、エージェントハーネスの評価に特化した新たなオープンソースツール「smevals (エスミーバルズ)」を発表した。このツールは、異なるモデル設定に対する小規模な評価スイートを効率的に実行し、その結果を採点するフレームワークとして設計されている。
smevalsは、異なるモデルの能力に関する疑問に答えることを目的としている。このツールは、YAMLファイルを含むディレクトリ形式で「eval」を作成し、uvx smevals run path-to-eval/ -m gpt-5.5 -m claude-opus-4.6のようなコマンドでモデルに対して実行できる。
実行結果の採点は、実行操作とは独立して処理される。定義された一連のチェックに基づいて、uvx smevals grade path-to-eval/コマンドで採点が可能だ。結果はuvx smevals serve path-to-eval/でローカルウェブサーバーを起動して探索できるほか、smevals buildコマンドで静的HTMLレポートとして構築し、任意の場所にホストすることもできる。
smevalsでは、複数の主要な概念が定義されている。「eval」は、モデルに関する特定の質問（例：SVG生成能力）に答えるために設計されたチャレンジの集合体を指す。「task」は、自転車に乗ったペリカンのSVGを生成するといった特定のチャレンジを意味する。「config」は評価対象のモデルを指定するが、異なるシステムプロンプト、モデルパラメータ、エージェントハーネスなどのテストパラメータも含む場合がある。
「run」は、特定のconfigが特定のtaskを実行した際に発生した事象を記録する。「runner」は、そのrunを実行するスクリプトである。一つ以上のrunが収集された後、「grader」が結果を評価し、「grade」を生成する。各graderは、出力中の特定文字列の確認や出力が有効なXMLであることの確認といった単純な操作、または他のモデルを使用してrunに関する質問に答えるなど、より複雑なカスタム操作を含む一連の「checks」を実行する。カスタム操作は「checkers」と呼ばれるスクリプトとして実装される。
Simon Willison氏は、smevalsが自身にとって長年の評価アプローチの探索における3回目の試行であり、「正しい方向性」であると述べている。同氏は今後、このフレームワークをさらに拡張し、自身のプロジェクトにも適用していく意向を示している。
参考: Simon Willison’s Weblog (アーカイブ) — 2026年8月1日 06:15 (JST)