DeepSeekは2026年10月20日、社内の推論フレームワーク「DeepInfer」とトークン符号化部品を公開しました。NVIDIAと華為（ファーウェイ）Ascendの双方で動作し、1クラスタで1日155兆トークンを処理したと説明しています。
何を公開したのか
分散推論や投機的デコード、構造化出力に対応する基盤です。同社はモデル本体や演算子ライブラリも公開しており、今回そこに運用層が加わりました。
設計の勘所
入力処理のPrefillと生成のDecodeを分け、負荷に応じて比率を自動で変えます。KVキャッシュは3FS上に約100PiB、チャットで7日、エージェント経由で3日保持します。
数字は自社条件の試算
「1カード1時間38ドル」は、日155兆トークンと夜間の安い電力を前提にした値です。KVCacheの管理と負荷分散は内部基盤との結び付きが強く、コードは一部のみ公開されています。
編集部の見解
性能競争が一段落すると差が付くのは運用費です。DeepSeekがモデルからフレームワークまで一続きで出すのは、自社構成を標準にしたい狙いと読めます。既存のOllama運用と比べ、キャッシュ保持と構造化出力の扱いを確認してから検証環境で試すのが安全だと考えます。
my-best.ai 編集部
出典：36Kr（2026年10月20日／華爾街見聞）
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。