Hugging Faceは2026年9月2日(現地時間)、効率的なマルチモーダル・マルチリンガルエンコーダー「NeoMME」を発表した。このモデルは2億6000万と8億の2つのサイズで提供され、単一の双方向Transformerがテキストトークンと生の画像パッチの両方を処理する。事前学習済みのビジョンタワーや因果言語モデルを使用しないアーキテクチャが特徴である。
NeoMMEは、既存の事前学習済みコンポーネントに依存せず、ゼロから学習された基盤エンコーダーである。画像パッチとテキストトークンは同一の双方向Transformerで処理され、単一の計算パスで両モダリティをサポートする。モデルは、ネイティブマルチモーダル入力、動的な画像解像度、16,384トークンの長尺コンテキスト、および最新のエンコーダースタックを採用している。
多言語テキスト対応のため、BPEトークナイザーが多言語テキスト、コード、数学、機械生成された画像トランスクリプトでゼロから学習された。NeoMMEの事前学習は、マスクされた離散拡散テキストデノイザーとして行われ、画像情報を活用してマスクされたテキストを再構築するよう設計されている。学習にはNorMuonオプティマイザーが使用され、データ効率が向上している。
NeoMMEは視覚文書検索向けにNeoMME-Retrieverとしてファインチューニングされている。これはColPaliのページ画像アプローチを利用し、PDFからのOCRプロセスを迂回して文書ページのスクリーンショットを直接ランク付けする。これにより、レイアウト、図表、フォントなどの視覚的情報が保持される。NeoMME-Retrieverは、密な埋め込みと遅延相互作用埋め込みの両方を単一の順方向パスで生成するデュアルヘッド設計を採用している。
ベンチマークViDoRe v3において、NeoMME-Retriever-260Mは0.523のnDCG@10スコアを達成し、8億パラメータ未満のモデルで最高スコアを示した。NeoMME-Retriever-800Mは0.556に達した。2億6000万モデルはNVIDIA L40S GPU上で1秒あたり約51ページをエンコードし、ColModernVBERTの約2倍のスループットを実現する。また、階層的トークンプーリングと非対称量子化により、遅延相互作用インデックスのストレージがページあたり約1.5 MBから6 kBに削減され、95%以上のnDCG@10を維持する。NeoMMEはHugging Face Transformersで利用可能であり、すべてのモデルチェックポイントはApache 2.0ライセンスの下で公開されている。
参考: Hugging Face Blog — 2026年9月3日 06:47 (JST)
原文ハイライト"A single bidirectional Transformer processes both text tokens and raw image patches"