知識蒸留— 読み：ちしきじょうりゅう
知識蒸留とは、 大規模で複雑なモデル（教師モデル）から、より小型で効率的なモデル（生徒モデル）へ知識を伝達する機械学習の手法 です。教師モデルは高い精度をもつものの、計算コストやメモリ使用量が大きいため、リソースが限られた環境での利用には適さない場合があります。
導入Introduction
知識蒸留とは、 大規模で複雑なモデル（教師モデル）から、より小型で効率的なモデル（生徒モデル）へ知識を伝達する機械学習の手法 です。教師モデルは高い精度をもつものの、計算コストやメモリ使用量が大きいため、リソースが限られた環境での利用には適さない場合があります。
用語の定義Definition
知識蒸留とは、 大規模で複雑なモデル（教師モデル）から、より小型で効率的なモデル（生徒モデル）へ知識を伝達する機械学習の手法 です。教師モデルは高い精度をもつものの、計算コストやメモリ使用量が大きいため、リソースが限られた環境での利用には適さない場合があります。
そこで、知識蒸留を用いて、教師モデルの知識を保持しつつ、軽量な生徒モデルを訓練することで、実用的なAIシステムを構築します。精度を落とさずにモデルを小さくする、という発想が中心にあります。
「蒸留」という言葉は、大きなモデルが持つ知識の本質を、小さなモデルに凝縮して受け渡す様子を表しています。
出典：my-best.ai 用語辞典「知識蒸留」（https://my-best.ai/ai-dictionary/knowledge-distillation/）
仕組み・原理How it works
基本的なプロセス
知識蒸留の基本的なプロセスは、まず教師モデルを訓練し、その出力（ソフトターゲット）を生徒モデルの訓練データとして利用することです。ソフトターゲットは、教師モデルが予測した各クラスの確率分布であり、正解ラベル（ハードターゲット）よりも多くの情報を含んでいます。
| 種類 | 内容 | 例 |
|---|---|---|
| ハードターゲット | 正解ラベル。正しいクラスだけを示す | 「これは犬である」 |
| ソフトターゲット | 教師モデルが予測した各クラスの確率分布 | 犬80%、猫15%、その他5% |
たとえば、ある画像が犬である確率が80%、猫である確率が15%、その他の動物である確率が5%といった情報です。生徒モデルは、このソフトターゲットを模倣するように訓練されることで、教師モデルがもつ知識を効率的に学習できます。
メリット：軽量化と性能維持の両立
生徒モデルは、教師モデルよりもパラメーター数が少ないため、計算コストやメモリ使用量を削減できます。また、ソフトターゲットを用いることで、ハードターゲットだけでは得られない教師モデルの知識を学習できるため、生徒モデルの精度向上が期待できます。
とくに、教師モデルが持つクラス間の類似性や、誤った予測に対する確信度などの情報を生徒モデルが学習することで、汎化性能が向上します。「犬に似ているが猫でもある」といったニュアンスを引き継げる点が、ソフトターゲットの利点です。
応用例
知識蒸留は、さまざまな分野で応用されています。自然言語処理では、大規模な言語モデル（BERTなど）から軽量なモデルへ知識を蒸留することで、モバイルデバイスやエッジデバイスでの自然言語処理タスクを実現できます。
また、画像認識では、高精度な画像認識モデルから軽量なモデルへ知識を蒸留することで、監視カメラや自動運転システムなど、リアルタイム処理が求められる環境での利用が可能になります。エッジAIのように、端末側で処理したい場面と相性がよい手法です。
転移学習との違い
知識蒸留は、学習済みの知識を別のモデルへ活かすという点で転移学習と近い発想を持ちます。
ただし、転移学習がタスクをまたいで知識を移すのに対し、知識蒸留はあるモデルの振る舞いを別のモデルに引き継がせる点が異なります。モデルの大きさを表すパラメータ数の削減が目的の一つであることも押さえておきましょう。
よくある誤解
誤解：知識蒸留はモデルを圧縮するだけの手法である
実際は：軽量化が主目的ですが、ソフトターゲットによって精度や汎化性能が向上することもあり、性能面の利点もあります。
誤解：生徒モデルは教師モデルより必ず精度が低い
実際は：設計によっては、生徒モデルが教師モデルに匹敵する、あるいは上回る精度を示すこともあります。
誤解：知識蒸留と転移学習は同じものである
実際は：どちらも知識の受け渡しを扱いますが、目的と方法が異なります。蒸留は振る舞いの引き継ぎ、転移学習はタスクをまたぐ知識の活用が焦点です。
原始出處Origin
本項の定義・解説は、my-best.ai 用語辞典の同項目記事（編集部執筆）を底本に再構成したものです。初出時期や命名者について確立した一次資料が本文中に明記されていない場合は、推測での記載を見送っています。
応用シーンUse cases
知識蒸留は、さまざまな分野で応用…
知識蒸留は、さまざまな分野で応用されています。自然言語処理では、大規模な言語モデル（ BERT など）から軽量なモデルへ知識を蒸留することで、モバイルデバイスやエッジデバイスでの自然言語処理タスクを実現できます。
また、画像認識では、高精度な画像…
また、画像認識では、高精度な画像認識モデルから軽量なモデルへ知識を蒸留することで、監視カメラや自動運転システムなど、リアルタイム処理が求められる環境での利用が可能になります。 エッジAI のように、端末側で処理したい場面と相性がよい手法です。
メリット・デメリットPros & Cons
メリット
- 生徒モデルは、このソフトターゲットを模倣するように訓練されることで、教師モデルがもつ知識を効率的に学習できます
- 生徒モデルは、教師モデルよりもパラメーター数が少ないため、計算コストやメモリ使用量を削減できます
- また、ソフトターゲットを用いることで、ハードターゲットだけでは得られない教師モデルの知識を学習できるため、生徒モデルの精度向上が期待できます
デメリット・注意点
- Q.教師モデルは必要ですか？A.必要です
よくある誤解Misconceptions
関連用語Related terms
- モデル
- BERT（Bidirectional Encoder Representations from Transformers）
- 転移学習
- 自然言語処理（Natural Language Processing, NLP）
用語同士は相互リンクされています。
プロンプト集Prompt collection
理解を定着させるためのプロンプト例です。コピーして〔 〕内を置き換えてご利用ください。
理解を深める質問
前提知識なしで概念を掴む
あなたは AI 教育の講師です。「知識蒸留」を、AI に詳しくない日本の社会人にも分かるように説明してください。専門用語を使った場合は、その直後に噛み砕いた言い換えを添えてください。最後に要点を 3 行でまとめてください。
整理・比較
関連用語との違いを表で整理する
「知識蒸留」について、①定義 ②仕組み ③代表的な活用例 ④よくある誤解 を見出し付きで整理してください。同じ分野の類似用語があれば、その違いを表形式で示してください。
実務への検討
自社業務への適用を検討する
「知識蒸留」を〔業種・業務〕で活用する場合に期待できる効果と注意点を、それぞれ 3 つずつ提案してください。判断の前提条件や、確認すべき事実があれば明示してください。
FAQ（よくある質問）FAQ
知識蒸留とは、一言でいうと何ですか？
知識蒸留のポイントはどこですか？
知識蒸留を扱うときの注意点は？
出典・参考文献References
定義の記述は my-best.ai 用語辞典（編集部執筆）に基づきます。リンク先の内容は公開時点のものです。
まとめSummary
知識蒸留とは、大規模で複雑なモデル（教師モデル）から、より小型で効率的なモデル（生徒モデル）へ知識を伝達する機械学習の手法です。
- まず「知識蒸留」の定義を自分の言葉で言い換えられるようにする
- 関連用語との違いを「関連用語」セクションから確認する
- プロンプト集の型を使って、理解した内容をアウトプットで確認する