プレプリントサーバーのarXiv cs.LGは11月9日(現地時間)、ニューラルネットワークが類似の表現空間へ収束する現象を示す「プラトニック表現仮説 (Platonic Representation Hypothesis、以下PRH)」について、その出現箇所と意味を詳細に調査した研究論文を公開した。同研究は、言語モデルの能力向上に伴う、その表現が視覚モデルの表現とアラインメントするPRHの傾向が、新しいモデルでも特定の条件下で持続することを示唆している。
PRHは、ニューラルネットワークが類似の表現空間に収束する可能性を示唆する概念である。これまでの研究では、言語モデルの能力が高まるにつれて、その表現が視覚モデルの表現とアラインメントする傾向があることが指摘されてきた。しかし、最近の研究では、この傾向が新しい言語モデルにも当てはまるかについて疑問が呈されていた。さらに、表現類似性指標はモデルの深さや幅によって影響を受ける可能性があり、その解釈には適切なベースラインが必要であることが示唆されている。
本研究ではまず、単一モダリティモデル（unimodal models）間において、モデルの層と表現次元の全体でアラインメントがどこで出現するのかを調査した。その結果、キャプションが十分にクリーンで情報量が多い限り、新しいモデルにおいてもPRHにおける能力とアラインメントの傾向が持続することを発見したと報告している。
次に、研究チームは異種モダリティ（cross-modal）アラインメントを文脈化し、さまざまなデータセット上で単一モダリティおよびマルチモダリティのベースラインを導入した。研究の結果、単一モダリティモデルの異種モダリティ表現アラインメントは、明示的にアラインされたビジョン-言語モデルのそれを上回ることが判明した。しかし、同じモダリティのモデルで観測されるアラインメントには依然として大幅に及ばないことも示された。
この研究のコードは、本論文に記載されたURLで公開されている。本論文は、NeurIPS 2026 Workshop on Neural Network Artifacts as a New Data Modalityでスポットライト論文として採択された。
参考: arXiv cs.LG (アーカイブ) — 2026年11月10日 03:53 (JST)