Prime Intellectは2026年10月29日、MoEモデルの学習を速めるカーネル「Prime Mega MoE」を公開しました。既存の融合カーネルに欠けていた逆伝播を書き足したものです。
待ち時間を計算で埋める
MoEでは各トークンが一部の専門家にだけ振られ、その専門家は別のGPUに載っています。DeepSeekの融合カーネルは、振り分けと計算と受け取りを一つの呼び出しにまとめ、通信中も別の計算を進めます。
公表された速度
Qwen3の30Bと235Bで、学習1ステップが自社基盤比32〜34%、TorchTitan比48〜55%短縮したとしています。層単位の順伝播は3.11倍、逆伝播は大きなモデルで1.24倍です。
使うときの前提
ライセンスはApache 2.0で、prime-rlの設定から切り替えます。カーネル本体は別配布で、通常のビルドには入っていません。Qwenの重みを自前で学習し直すなら、この差はGPU時間に直結します。
編集部の見解
学習の高速化はモデルの賢さとして表に出にくく、社内で説明しづらい投資です。日本語モデルを継続的に学習させるなら、GPU時間の削減は試行回数に変わります。
my-best.ai 編集部
出典：MarkTechPost「プライム・インテレクト、「Prime Mega MoE」を公開──学習可能な融合MoEカーネル」（2026年10月29日）
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。