Googleは7月8日(現地時間)、Android開発向け大規模言語モデル (LLM) リーダーボード「アンドロイドベンチ (Android Bench)」の評価方法論を「ハーバーフレームワーク (Harbor framework)」へ移行したと発表した。これにより、全てのモデルが新しい基準で再評価され、8つの新規モデルがリーダーボードに追加された。最新のスコアリングでは、クロード フェイブル 5 (Claude Fable 5) が84.5のスコアで首位を獲得した。
Googleは、3月に導入したAndroid Benchの評価方法論をハーバーフレームワーク (Harbor framework) に標準化したと説明した。これにより、従来使用されていたミニ スウェ エージェント V1 (mini-swe-agent v1)という汎用ベンチマークエージェントは、Harbor frameworkに含まれる更新版エージェントに置き換えられ、モデルの評価がより厳密に行われる。全てのモデルは新しい基準で再評価され、これまでのスコアはウェブサイトのアーカイブで閲覧可能とされている。
今回の更新で、Android Benchリーダーボードには8つの新規モデルが追加された。これにはクロード フェイブル 5 (Claude Fable 5)、クロード ソネット 5 (Claude Sonnet 5)、クロード オーパス 4.8 (Claude Opus 4.8)、ジーエルエム 5.2 (GLM 5.2)、キミ K2.7 コード (Kimi K2.7 Code)、ミニマックス M3 (MiniMax M3)、クウェン 3.7 プラス (Qwen 3.7 Plus)、クウェン 3.7 マックス (Qwen 3.7 Max)が含まれる。最新のリーダーボードでは、Claude Fable 5が84.5のスコアでトップに立ち、次いでGPT-5.5が80.2、Claude Sonnet 5が76.2で続いている。Open-weightモデルの中では、GLM 5.2が72.2で首位、Kimi K2.7 Codeが70.4で続いている。これらのモデルは、ジェットパックコンポーズ (Jetpack Compose) 移行、ウェアラブルネットワーキング、プラットフォームAPI更新といったAndroid固有の課題に対するパフォーマンスと効率性が評価されている。
Googleは、Android開発者コミュニティからの貢献も受け付けることを表明した。開発者は独自のAndroid開発タスクを設計・提出したり、モデルを評価するためのベンチマークを自ら実行・共有したりすることが可能になる。提出されたタスクはGoogle側で審査され、ベンチマークに追加される可能性がある。
今回のHarbor frameworkへの移行は、Android開発者にとってLLMの選定基準に大きな影響を与える可能性がある。従来の汎用ベンチマークからAndroidに特化した評価基準へと進化したことで、より実用的なモデル性能の比較が可能になると見られる。これにより、開発者は新しいリーダーボードで上位に位置するモデルの適用可能性を評価する機会を得る。
参考: android-developers.googleblog.com — 2026年7月8日 09:00 (JST)