Sophon（ソフォン）は2026年10月24日(現地時間)、大規模言語モデル（LLM）のテキストリーダーボードに関する情報を自身のウェブサイトに公開した。これはLMArena（エルエムアリーナ）が運営し、最終更新から「6d ago」と記されたもので、人間による選好投票に基づくEloレーティングを毎週更新している。現在、Gemini 4 Argon（ジェミニ4アルゴン）が1532ポイントで最高位を記録しており、合計380モデルが評価対象となっている。この評価方法は従来のベンチマークテストとは異なるアプローチを採用している。
Sophonのウェブサイト上で提供されているこのリーダーボードは、大規模言語モデルを評価するためのコミュニティプロジェクトであるLMArenaが採用するHuman-preference投票システムに基づいている。このシステムは、従来のベンチマークテストや客観的な性能指標に依存せず、人間による直接的な比較投票を通じてモデルの優劣を決定する点が特徴だ。ユーザーは匿名で提示された複数のモデルからの応答を比較し、最も好ましいものを選択することで評価に参加する。これにより、純粋な出力品質に基づく公平な評価が保証される。
リーダーボードに掲載されている各モデルは匿名で比較され、ユーザーからの選好投票に基づいてEloレーティングが算出される。このEloレーティングは、チェスのプレイヤー評価システムから着想を得ており、モデルの相対的な強さを数値で示す。一般的なベンチマークでは、特定のタスクに対する正答率や精度が重視されるが、LMArenaのEloレーティングは、より複雑で人間的なコミュニケーション能力、例えば応答の適切さ、自然さ、創造性、ユーザーの意図を汲み取る能力などを総合的に評価する指標として機能する。ランキングは毎週更新され、モデル間の進化やコミュニティからの評価の変化をリアルタイムに反映する仕組みとなっている。現在、チャートには選ばれた21モデルが表示されており、Gemini 4 Argonが1532ポイントでトップに位置している。これに続くモデル群は、1226ポイントから1180ポイントの範囲で順位を争っている。これらのモデル間のポイント差は、特に上位において僅差であり、競争の激しさを示している。
この評価方法の根幹にあるのは、モデルの出力品質を人間が直接判断することの重要性である。従来のベンチマークが特定のタスクにおけるモデルの性能を測定するのに対し、LMArenaのリーダーボードは、より広範な対話能力や応答の自然さ、有用性といった、複雑な人間の選好を捉えることを目指している。モデルは匿名で提示されるため、評価者は先入観なく純粋な出力内容に基づいて判断を下すことができる。このアプローチは、多様なモデルが市場に存在する中で、その真の競争力をユーザーコミュニティの集合的な知見を通じて浮き彫りにする。これにより、開発者は実際のユーザーが重視する品質をより深く理解し、モデルの改善に役立てることが可能となる。詳細なリーダーボードはlmarena.ai/leaderboardからアクセス可能である。