アーティフィシャル・アナリシス (Artificial Analysis) は2026年8月12日(現地時間)、AIモデルのカスタムベンチマーク作成プラットフォーム「Optima（オプティマ）」をローンチしたと発表した。同プラットフォームは、ユーザーが自身のファイルやエージェントトレース、コーディング環境から独自のベンチマークを構築し、主要なAIモデル間で品質、タスクあたりのコスト、タスクあたりの時間を比較することを可能にする。これにより、特定のユースケースに最適なモデルや、現在の設定と比較して最大10倍のコスト削減が可能な代替モデルの特定を支援する。
Optimaは、ベンチマークの構築と実行における課題に対応するため、Artificial Analysisの研究と経験を集約して開発された。ユーザーは、自身のワークロードに基づきモデルをベンチマークし、パフォーマンス、速度、コスト効率を比較できる。
ベンチマークの作成方法には、以下の3つの選択肢がある。既存の評価データセットを自身のファイルやHugging Faceからアップロードするか、Arize、Braintrust、Langfuseなどのプラットフォームからエージェントトレースをインポートする方法。Optimaスキルをインストールし、コーディング環境や過去のセッションのコンテキストを利用してベンチマークを構築する方法。あるいは、ユースケースを記述し、入出力例を提供することでOptimaがベンチマークを構築する方法がある。
構築されたベンチマークは、ワンクリックで最新の主要モデル全体で実行でき、新しいモデルがリリースされるたびに比較結果を更新できる。評価には、客観的なルーブリック基準、またはGDPval-AAやAA-BriefcaseなどのArtificial Analysisベンチマークで用いられるペアワイズ評価アプローチを利用できる。Optimaはモデル性能に加え、タスクあたりのコストとタスクあたりの時間を追跡し、カテゴリレベルの結果やカスタムメトリクスをサポートする。
先行テストでは、財務・会計エージェント向けの品質を維持しつつコストを10倍削減できるモデルの特定、法務エージェント向けの弁護士の執筆スタイルに合致するモデルの選定、カスタム画像データセットにおける要素識別の最適モデル発見などのベンチマークが作成された。Optimaは本日より利用可能となる。
参考: artificialanalysis.ai — 2026年8月13日 09:00 (JST)
原文ハイライト"Optima lets you find the best model for your task, or an equally performant alternative"