Supabaseは2026年7月30日(現地時間)、AIコーディングエージェントの性能を評価するベンチマークフレームワーク「supabase/evals」をオープンソース化した。このフレームワークは、Claude CodeやCodex、OpenCodeといったAIエージェントをSupabaseの実際のタスクでテストし、そのパフォーマンスを採点する。これにより、エージェントによる開発体験を定量的に測定する。
Supabaseは、AIエージェントがSupabaseを用いて構築する際の性能をテストするためのベンチマークおよびフレームワーク「supabase/evals」をオープンソースとして公開した。これは、データベーススキーマの構築、Edge Functionのデバッグ、RLS（Row Level Security）ポリシーの修正といった実際のSupabaseタスクに対してエージェントを実行し、その動作を採点する。
エージェントがSupabase CLI、MCPサーバー、エージェントスキル、ドキュメントを通じて構築する主要な手段となりつつあるため、Supabaseはエージェントの性能を一貫して測定する方法を必要としていた。このフレームワークは、エージェントが困難に直面する箇所を特定し、意図的な修正を適用し、後退がないか検証し、新機能をリリース前に自信を持ってテストするために構築された。
これまでの評価では、エージェントがスキルを読み込んでいない状態でもほとんどのシナリオで合格していることが判明した。例えば、Opus 5とKimi K3は「Build」ステージでスキルなしでも100%を達成している。一方で、エージェントが宣言型スキーマワークフローではなく手書きのマイグレーションを試みる傾向や、新しいライブラリ@supabase/serverの発見性が低いといった課題も特定された。また、スキルの活性化にばらつきがあり、Postgres best practicesスキルの活性化は説明の改善により60%に向上した。ドキュメントの利用状況もエージェント間で一貫性がなく、CodexベースのエージェントはClaude Codeエージェントよりも頻繁にドキュメントを参照する。
Supabaseは今後、問題領域におけるエッジケースのカバレッジを拡大し、エージェントと製品の変更に合わせて新しいシナリオを追加する計画である。採点の一貫性と安定性も向上させ、エージェントが困難に直面した際にフィードバックを送信できる新しいCLIコマンドとMCPツールも開発中である。
参考: Supabase Blog — 2026年7月31日 09:00 (JST)
原文ハイライト"our benchmark and framework for testing how well AI agents build using Supabase."