Underdogは10月24日までに、Qwen3.8-27Bを約2ビットに量子化した「Saluki 27B」をHugging Faceで公開しました。ファイルは7.9GBです。
54GBのモデルを8GB弱へ
土台はISTA-DASLabのGSQ-RCO量子化のIQ2_XS版（8.42GB）です。Salukiは851個のテンソルのうち146個の型を変えて7.9GBに縮め、352個の量子化行列では98.4%のバイトが一致するとしています。
ツール呼び出しの公表値は88対76
開発元の120タスク評価では、Salukiが88、ISTA版が76、量子化前のフルモデルが84でした。ただしタスクの中身は非公開で、筆者はBFCL v4から120タスクを自作して再現しています。
注意力はGated DeltaNet中心
64ブロックのうち48ブロックがGated DeltaNetの線形注意力で、KVキャッシュは1トークンあたり64KiBです。
編集部の見解
7.9GBはOllamaやLM Studioで扱いやすく、Qwen系27Bを試す敷居は下がります。ただしサンプルが小さく、公表値だけで実力を判断するのは早計です。
my-best.ai 編集部
出典：MarkTechPost「Underdog Saluki 27Bの動かし方：2ビットQwen3.8-27Bツール呼び出しガイド」（2026年10月24日）
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。