Dwarkesh Podcastは6月8日(現地時間)、人工知能 (AI) の能力向上が、より多くの高品質なデータと、そのデータを開発するための計算資源のスケーリングに主に依存していると報じた。同記事は、AIの知能を特定の領域で流暢かつ適切に機能するために必要なデータ量である「サンプル効率」で定義し、このサンプル効率の点では過去数年間で大きな進展が見られない可能性を指摘している。むしろ、データ分布の劇的な拡大と改善が主な進歩の原動力であると分析した。
人工知能の性能向上を実現する主要な手法の一つとして、強化学習（RL）が挙げられる。これは、大量の計算を用いて検証者に対し「良い」データを探索する一種の合成データ生成として機能する。このプロセスが有効に機能するためには、モデルが正しい解決策を予測する事前確率をある程度持っている必要があり、そのためには人間による専門的な軌跡が膨大に求められる。データはタスク固有であり、特定のスキルには何百人もの人間専門家が例示的な完了を生成し、評価基準を作成し、思考プロセスを説明している。
これらの専門家ラベルを生成するデータ産業は、年間数十億ドルの収益を上げており、まもなく数百億ドルに達すると見られる。モデルがWordファイルの作成を習得するのに数十年分の講義と数百万の練習タスクが必要な状況と比較すると、人間とAIの学習効率には大きな乖離がある。Epochの報告によると、オープンモデルは最先端のクローズドモデルに4ヶ月遅れを取るのみであり、これはデータが真の進歩の原動力であり、パブリックAPIから容易に抽出できるためだと分析されている。
人間が誕生から成人になるまでに平均で約2億トークンを処理するのに対し、最先端のAIモデルは10兆から100兆トークンのデータで訓練されている。これは約百万倍の差に相当する。人間がロボットアームの遠隔操作を数時間で習得できる一方で、ロボティクス分野がまだ兆ドル規模の産業になっていないのは、AIの学習効率が人間よりもはるかに低いためであると指摘されている。自動運転車の訓練に必要なデータ量も、人間が運転を学ぶのに必要なデータ量と比較して少なくとも3桁から4桁多くなっている。
進化による事前学習やマルチモーダルデータを取り入れた比較に対する反論も検討されているが、これらがAIの非効率性を完全に説明するものではないとしている。スケーリング法則によれば、パラメータ数を無限に増やしてもデータ必要量の減少は最大で約10分の1にとどまる。人間は現在のAIモデルよりも数千から数百万倍サンプル効率が高く、現在のモデルのスケーリングではこの差を埋めることはできないと結論付けられている。
参考: Dwarkesh Podcast — 2026年6月9日 03:09 (JST)