Hugging Faceは2026年11月20日(現地時間)、ローカルAIセットアップ向けに最適化された新しいループ型トランスフォーマーモデル「Inkling 2 Mini」を発表した。このモデルはマルチモーダルなMixture-of-Experts (MoE) アーキテクチャを採用し、約260億の物理パラメーターとトークンあたり30億のアクティブパラメーターを持つ。一部の層を3回ループさせることで、物理層24層ながら48論理層と同等の性能を発揮するとされる。100万トークンのコンテキストサイズをサポートし、画像およびテキスト入力を受け付ける。
Thinking Machines Labによって出荷されるInkling 2 Miniは、NVFP4とMXFP8の専門家重みを持つ混合精度形式で提供される。モデルには、メモリコストを抑えつつ高速化を実現するDSpark drafterも含まれている。Inkling 2 Miniは、以前のInkling 2 Smallよりも大幅に小型化されており、ローカル環境での利用を想定して設計された。
アーキテクチャの詳細として、Inkling 2 Miniは24個のデコーダー層を持ち、中間の12層を3回ループ実行する。これにより、モデルは24個の物理層で48個の論理層のように機能する。隠れサイズは2,304に設定されており、各層の訪問で128個のエキスパートの中から8個が選択される。各ループパスは最初の6層の出力から始まり、クロスパスメッセージを介して情報が移動する仕組みが採用されている。6層のブロックは5つのsliding-window層と1つのfull-attention層で構成され、ローカルウィンドウは最大1,024トークンを保持する。
ベンチマーク結果では、Artificial Analysis Intelligence Index v5 (AAv5)において同クラスで最先端の性能を示している。Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VLと比較した48のベンチマーク中、32でInkling 2 Miniがリードした。これにはコーディングや自動研究、エージェント的検索、知識作業のためのツール利用、ビジョン解釈と生成、推論と知識、安全性とアライメントの各カテゴリが含まれる。また、FrontierCode v2.0ではトップの成績を収め、Terminal-Bench 4.0ではQwen3.8-27Bと同等の結果を残した。
推論サポートはtransformers、Llama App (llama.cpp)、MLX、SGLangを通じて提供される。研究目的のバリアントであるTML-d24-varloop-researchもリリースされ、ループのパス数を可変に設定できる機能を持つ。画像およびテキスト入力に対応し、推論時にはreasoning_effortパラメータで処理の難易度を調整できるほか、ツール呼び出し機能も備える。
参考: Hugging Face Blog — 2026年11月20日 22:55 (JST)
原文ハイライト"Inkling 2 Mini is a new looped transformer model. It’s a multimodal Mixture-of-Experts"