オープンMoEモデルのルーティング設定比較——専門家数とtop-k

MarkTechPostは11月8日、設定ファイルや技術報告に基づいて検証した10種類のオープンソースMoE（Mixture-of-Experts）モデルのルーティング方式比較を公開した。専門家数は8から384、1トークンあたりの選択数（top-k）は1から8まで異なる。

比較の枠組み

総パラメータ35B・活性3BのQwen3.6-35B-A3Bから、総1.6T・活性49BのDeepSeek-V4-Proまで。ルーティングの疎性は、Mixtral（8専門家・top-2）の4倍からLlama 4 Maverick（128専門家・top-1）の128倍まで幅がある。10モデルともトークン側が専門家を選び、専門家数、選択数、共有専門家の有無、スコア関数、負荷分散手法の5項目が異なる。

各モデルの設計差

DeepSeek-V3は256の専門家をシグモイドでスコアリングし、選択8件にバイアスで舵を切る方式を採る。Kimi K2はDeepSeek-V3系のアーキテクチャに384専門家・top-8を組み合わせる。Qwen3.6-35B-A3Bは256専門家・8選択＋1共有に路線を変えた。Llama 4 Maverickは128専門家から1つの選択で、総400Bのうち活性17Bを保つ。gpt-oss-120bは128専門家に線形ルーターでtop-4を選ぶ。Llama 4とgpt-ossはゲーティングや負荷分散方式をconfig.jsonに記載していない。

編集部の見解

実務的な含意は、表示上の「活性17B」という数字が同じでも、ルーターの設計は別物であり、遅延やメモリの挙動がモデルごとに異なることだ。設定ファイルでルーティングが監査可能なのはオープンモデルの利点で、日本の導入検討では構成の確認をモデル比較の項目に入れる価値がある。

my-best.ai 編集部

出典：MarkTechPost「各MoEモデルはどのルーティングを使うのか？DeepSeek、Qwen、Mixtral、Llama 4、gpt-ossを比較」（2026年11月8日）

あわせて読みたい

• DeepSeekの機能と評価｜my-best.ai
• ChatGPTの機能と評価｜my-best.ai

本日のAIニュース（一次情報源ベース）です。最新記事の一覧から他のニュースも読めます。