
小規模言語モデル(SLM)とは、パラメータ数を絞って端末や限られた環境で動かせるようにした言語モデルです。調査論文が示すパラメータの範囲、軽量化の手法、向く用途と限界を整理します。
読み方:しょうきぼげんごもでる。小規模言語モデル(Small Language Model、SLM)とは、パラメータ数を絞ることで、端末や限られた計算資源でも動かせるようにした言語モデルです。このページでは、定義の考え方、調査論文が示す範囲、代表的なモデルの公表値、向く用途を整理します。
「小規模」の線引きに、業界で共有された厳密な基準はありません。調査論文の一つは、Transformer ベースで decoder-only の言語モデルのうち、1億から50億パラメータのものを対象に、70件のオープンソースモデルを比較しています。つまりSLMは、モデルの大きさを基準にした呼び方であり、特定のアーキテクチャや学習手法を指す言葉ではありません。
同じ論文は、SLMの研究目的を「機械知能を、日常的なタスクに対してより身近で、安価で、効率的に使えるようにすること」と位置づけています。データセンターで動かすLLMとは、想定する設置場所と用途が異なります。
パラメータは、モデルが学習で獲得する数値のことで、多いほど表現力が上がる代わりに、必要なメモリと計算量も増えます。SLMはこの数を意図的に抑え、スマートフォンやノートPC、社内の小規模サーバーで動かせる範囲に収めます。通信せずに処理できるため、入力した内容を外部に送らない構成も作れます。
Phi-3の論文は、38億パラメータのモデルを3.3兆トークンで学習させた例を報告しています。同論文によれば、このモデルはMMLUで69%、MT-benchで8.38を記録し、スマートフォンで動かせる大きさでありながら、より大きなモデルに匹敵する性能を示したとされています。これらは論文著者の測定条件での値です。
| 観点 | SLM | 大規模モデル |
|---|---|---|
| 主な設置場所 | 端末、社内サーバー、エッジ | クラウド |
| 得意なこと | 定型処理、分類、要約、短い対話 | 複雑な推論、長文の理解、幅広い知識 |
| 注意点 | 知識の量と推論の深さに限界がある | 通信費と利用量の管理が必要 |
小さいモデルを作る方法は、大きく2つに分かれます。規模を抑えて最初から学習させる方法と、大きなモデルの知識を移す方法です。後者は知識蒸留と呼ばれ、教師となるモデルの出力を使って生徒側のモデルを学習させます。学習済みモデルを圧縮する量子化を組み合わせると、さらに省メモリになります。
問い合わせ文の分類、社内文書の要約、音声アシスタントの受け答えなど、答えの形が決まっている作業はSLMで足りることが多いです。一方、長い契約書の矛盾を突き合わせる、複数資料をまたいで推論するといった作業は、大きいモデルのほうが安定します。端末側で動かす構成はエッジAIの考え方と重なります。
どのモデルを選ぶかは、扱うデータの機密性と処理量で決まります。料金と提供条件は各サービスの公式情報で確認してください。
出典:arXiv「Small Language Models: Survey, Measurements, and Insights(小規模言語モデル:調査・測定・知見)」(2024年9月24日提出)。1億から50億パラメータという範囲と70件の比較は同論文に基づきます。あわせてarXiv「Phi-3 Technical Report(Phi-3 技術報告)」(2024年4月22日提出)の38億パラメータ・3.3兆トークン・MMLU 69%・MT-bench 8.38という記載を参照しました。
本記事にはアフィリエイトリンクを含む場合があります。経由での申し込み時に当サイトが報酬を受け取ることがありますが、掲載内容・評価は報酬の有無に左右されません。記載情報は公開時点のものであり、最新情報は各公式サイトをご確認ください。
編集部の評価方法論を見る →