Tag
8 件の関連記事
Moonshot AIは2026年6月15日(現地時間)、Kimi K2.7-CodeのHighSpeed Modeの提供を開始したと発表した。同社はこれにより、中央値長コーディング入力で約180トークン/秒、短コンテキストタスクで最大260トークン/秒のスループットを実現し、標準版と比較して約6倍高速だと主張している。しかし、同社はモデルを独立したコーディングベンチマークに提出しておらず、開発者はベンダーが報告した数値のみを判断基準としている。
ムーンショットAIは2026年6月12日(現地時間)、1兆パラメータのMixture-of-Experts (MoE) コーディングモデル「Kimi K2.7-Code」をModified MITライセンスでオープンソース公開しました。このモデルはコーディングに特化しており、Hugging Faceを通じてモデルウェイトが提供されます。同社によると、Kimi K2.7-Codeは既存のK2.6モデルと比較して、Kimi Code Bench v2で21.8%の性能向上を達成し、推論トークンの使用量を約30%削減したと報告されています。
Cohereは2026年6月9日(現地時間)、開発者向けモデル「North Mini Code」をHugging Face上で公開した。これは同社初のモデルファミリーとなる300億パラメータのMixture-of-Expertsモデルで、30億のアクティブパラメータを持ち、エージェント型ソフトウェアエンジニアリングタスクに特化して設計・訓練された。Apache 2.0ライセンスで利用可能。
JetBrainsは2026年5月31日(現地時間)、自然言語とコードでゼロから学習した12BパラメータのMixture-of-Experts (MoE) モデル「Mellum2」を発表した。このモデルは、トークンごとに2.5Bのパラメータのみをアクティブにするため、高スループットかつ低レイテンシーの推論に効率的である。Apache 2.0ライセンスのもとで公開された。
オープンウェイトのMellum 2 (メラム2)は5月29日(現地時間)、その言語モデルに関する技術レポートを公開した。このモデルは120億パラメータのMixture-of-Experts (MoE)モデルであり、トークンあたり25億のアクティブパラメータを持つ。Mellum 2はソフトウェアエンジニアリングに特化した汎用言語モデルとして設計され、コード生成・編集、デバッグ、多段階推論、ツール利用と関数呼び出し、エージェントコーディング、対話型プログラミング支援といった幅広い領域をカバーする。
Ellwil Sharma氏とArastu Sharma氏は5月14日(太平洋時間)、マルチフィジックス基盤モデルにおける「ネガティブトランスファー」（互換性のない知識が学習を妨害する問題）を克服する新手法を発表した。これは「Shodh-MoE」と名付けられた潜在トランスフォーマーアーキテクチャを導入し、疎な混合エキスパートルーティングを用いる。異なる偏微分方程式（PDE）レジームの同時学習で生じる勾配衝突や不安定な最適化を抑制し、スケーラブルな科学機械学習（SciML）の実現を目指す。
arXiv cs.LGは2026年5月7日(現地時間)、Minbin Huang氏らがMixture-of-Experts (MoE) アーキテクチャの新しい設計「UniPool」を提案したと報じた。UniPoolは、従来層ごとに独立していたエキスパートセットをグローバルな共有プールとして扱い、各層のルーターからアクセスさせる構造を持つ。この設計変更により、LLaMAアーキテクチャの多様なモデルスケールにおいて、既存のMoEと比較して検証損失とパープレキシティの改善が確認された。
論文公開サイトarXiv cs.CLが2026年5月7日(現地時間)付けで報じたところによると、大規模言語モデル (Large language models) のモジュール性を高める新しいMixture-of-Experts (MoE) モデル「EMO」が発表された。EMOは、事前学習中に文書の境界のみを用いて、人間の定義する事前知識なしで首尾一貫した専門家グループを形成する。これにより、メモリ制約のある環境での大規模疎モデルの実用性が向上する可能性が示されている。