Artificial Analysis（アーティフィシャル・アナリシス）は2026年8月4日(現地時間)、オープンウェイトモデルのサーバーレスAPIエンドポイントが、元のモデルの精度をどの程度保持しているかを測定する新指標「Artificial Analysis Endpoint Accuracy Index」を発表した。この指標は、GLM-5.2、gpt-oss-120b、DeepSeek V4 Proの各モデルでのカバーを開始しており、Kimi K3も近日中に対応予定である。プロバイダーが速度とコスト最適化のために精度を犠牲にしている現状に対し、開発者が価格や速度だけでなく精度に基づいてプロバイダーを選択できるよう、エンドポイントの測定に厳密性をもたらすとArtificial Analysisは説明している。
Artificial Analysisは、各サーバーレスエンドポイントを、公式ウェイトの自社ホスト型参照デプロイメントと比較してベンチマークを測定する。100%は参照との一致を意味し、エンドポイントの結果が参照の95%信頼区間内に収まる場合、参照パリティにあると見なされる。この指標は、ツール呼び出し（BFCL-500、500問）、科学的推論（HLE-250、250問）、長文コンテキスト記憶（AA-LCR-25、25問）の3分野で構成され、それぞれ均等に重み付けされている。
各モデルの主な結果は以下の通りである。
GLM-5.2では、出力トークン制限が精度を制約しており、最も厳しいエンドポイントはHLE-250で参照の半分以下を記録した。 gpt-oss-120bでは、ツール呼び出しの処理方法がエンドポイント間で差異を生み、一部のエンドポイントはBFCL-500で22%のスコアに対し、参照は37%だった。また、推論設定が同じでも、モデルが行う処理や推論トークン数が変化するケースが確認された。 DeepSeek V4 Proのエンドポイントは参照に近く、大半が参照パリティに達した。DeepSeek自身のファーストパーティーエンドポイントは、参照をわずかに上回るスコアを示している。
指標の計算は、各エンドポイントと参照デプロイメントに対して同じ3つの評価を実行し、それぞれを参照結果のパーセンテージとしてスコア化し、3つの平均を等しい重みで算出することで行われる。低スコアのエンドポイントは、タスクあたりの出力トークン数が少ない傾向にあり、出力制限や推論努力の削減がトークン使用量に直接現れるとしている。
参考: x.com — 2026年8月5日 03:05 (JST)