Mixture of Experts（専門家混合）

Mixture of Experts（MoE、専門家混合）は、1 つの大きなモデルの中に複数の小さな「専門家」ネットワークを置き、入力ごとにその一部だけを使う設計です。計算に使うパラメータを一部に抑えながら、全体のパラメータ数は大きくできるため、大規模モデルの効率化手法として広く採用されています。このページでは、定義・仕組み・出典・活用例・プロンプト例・FAQ をまとめて解説します。

Mixture of Expertsとは（ひとことで）

• 複数の「専門家」のうち、入力ごとに一部だけを選んで計算する設計
• 全体のパラメータ数を増やしつつ、1 回の計算量を抑えられる
• どの入力をどの専門家に割り当てるか（ルーティング）の設計が要

仕組み・考え方

① 層を複数の「専門家」に分ける

通常のニューラルネットワークは、1 つの層をすべての入力が共通で通ります。MoE では同じ層を複数の「専門家」サブネットワークに置き換え、それぞれが異なるデータ傾向を担当します。パラメータは専門家の数だけ増えますが、後述のルーティングにより、1 回の推論で使うのはその一部だけになります。

② ゲート（ルーター）が専門家を選ぶ

入力トークンごとに、ゲートと呼ばれる小さなネットワークが「どの専門家に任せるか」をスコアで決め、上位 K 個（多くは 1〜2 個）の専門家だけを起動します。この選択が学習によって最適化される点が、単純な分割との違いです。

③ 選ばれた専門家だけを計算する（スパース化）

全体の専門家のうちごく一部だけを使うため、計算量（FLOPs）はパラメータ数に比例せず、実際に起動した分だけになります。これにより「パラメータは巨大だが、推論コストは比較的小さい」という特性が生まれ、同じ計算予算でより大きなモデルを扱えるようになります。

④ 学習時の負荷分散が課題

特定の専門家にトークンが偏ると、その専門家だけが学習され、他が育ちません。そのため、各専門家への割り当てが均等になるよう促す補助的な損失（ロードバランシング損失）を加えるのが一般的です。ルーティングの設計が、性能と安定性の両方を左右します。

成り立ち

Mixture of Experts の考え方は 1991 年、Jacobs らが「Adaptive Mixtures of Local Experts」で提唱したのが起源です。その後 2017 年、Google の Shazeer らが「Sparsely-Gated Mixture-of-Experts Layer」で、専門家をまばらに選ぶ大規模な構成を言語モデルに適用し、学習効率と性能の両立を示しました。2021 年には Switch Transformer が上位 1 個だけを選ぶ簡潔な方式でパラメータを1 兆規模まで拡大し、現在の大規模言語モデルの効率化設計の土台になっています。

• Shazeer et al., “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer”（ICLR 2017 / arXiv:1701.06538）
• Fedus et al., “Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”（2021 / arXiv:2101.03961）

主な活用場面

メリット

• 全体のパラメータ数を増やしながら、1 回の計算量を抑えられる
• 多言語・複数分野のように、性質の異なるデータを分担させやすい
• 推論コストを一定に保ちやすく、応答時間の見積もりがしやすい
• 大規模化の手段として、学習効率と品質の両立が期待できる

デメリット・注意点

• 専門家の選択が偏ると、使われない専門家が生まれ学習が非効率になる
• ゲート（ルーティング）の設計と負荷分散の調整が難しい
• 全パラメータを保持する必要があり、メモリ要件は小さくならない
• 実装・分散学習・運用が複雑で、通常のモデルより扱いにくい

よくある誤解

MoE はモデルを小さくする技術だ

逆です。全体のパラメータはむしろ増えます。削減できるのは「1 回の推論で実際に使う計算量」であり、メモリに載せるパラメータ総数は大きくなります。

専門家は人間が分野を割り当てている

通常はゲートが学習を通じて自動的に割り当てを決めます。「数学担当」「英語担当」のように人がラベル付けしているわけではなく、結果として特定の傾向を持つことがあります。

専門家の数が多ければ多いほど良い

専門家を増やすほど管理が難しくなり、負荷分散も崩れやすくなります。モデル品質・推論コスト・運用の複雑さのバランスで決めるべき設計です。

関連用語

transformer　/　neural-network　/　deep-learning　/　parameter　/　hyperparameter　/　llm　/　foundation-model　/　latency

よくある質問

MoE と通常のモデルは何が違いますか？

通常のモデルはすべての入力が同じ重みを通りますが、MoE は入力ごとに一部の専門家だけを使います。全体のパラメータは増えますが、1 回の推論で使う計算量を抑えられる点が最大の違いです。

MoE を使うとメモリは節約できますか？

できません。全パラメータを保持する必要があるため、メモリ要件はむしろ大きくなります。削減できるのは計算量であり、メモリ削減には量子化や蒸留など別の手法が必要です。

専門家の数はどう決めますか？

一律の正解はありません。パラメータ総数・推論コスト・負荷分散の安定性・運用の複雑さを天秤にかけます。多くは上位 1〜2 個だけを起動する疎な構成が採用されます。

どのモデルが MoE を使っていますか？

多くの大規模モデルで採用が進んでいますが、構成の詳細は公開範囲が限られます。利用者としては、パラメータ数だけでなく、実際の推論コストと品質を指標に選ぶのが実務的です。

まとめ

Mixture of Experts は、層を複数の専門家に分け、入力ごとに一部だけを使う設計です。パラメータを巨大化しながら計算量を抑えられる利点がある一方、ルーティング設計・負荷分散・運用の複雑さが課題になります。

• 「計算量を削る技術」であり、メモリが減るわけではないと理解する
• 専門家の割り当て（ルーティング）と負荷分散の設計が成否を分ける
• パラメータ数ではなく、推論コストと品質で評価する

出典：Shazeer et al. (2017) Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer — arXiv:1701.06538／Fedus et al. (2021) Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity — arXiv:2101.03961／Vaswani et al. (2017) Attention Is All You Need — arXiv:1706.03762