過学習(Overfitting)とは、 機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象 です。このページでは、原因、見分け方、対策、よくある誤解を解説します。
過学習(Overfitting)とは、 機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象 です。このページでは、原因、見分け方、対策、よくある誤解を解説します。
過学習(Overfitting)とは、 機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象 です。このページでは、原因、見分け方、対策、よくある誤解を解説します。
過学習とは、機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象を指します。モデルが訓練データに含まれるノイズや異常値まで学習してしまうことが原因で、汎化能力が失われることが問題となります。
出典:my-best.ai 用語辞典「過学習」(https://my-best.ai/ai-dictionary/overfitting/)
| 原因 | 内容 |
|---|---|
| モデルが複雑すぎる | ニューラルネットワークの層が深すぎたり、決定木の分岐が細かすぎたりして、訓練データ特有のパターンを過剰に学習する |
| 訓練データが不足している | データ量が少ないと、より一般的なパターンを学べない |
| 訓練データに偏りがある | 特定のクラスのデータが極端に少ないと、偏った学習になる |
データの量や質が関わる問題については学習用データ、モデル側の複雑さはハイパーパラメータの記事もあわせてご覧ください。
訓練データに対する性能は高いのに、検証データに対する性能が低い場合は、過学習が発生している可能性が高いと判断できます。交差検証では、データを複数のグループに分割し、一部を訓練データ、残りを検証データとして使用します。このプロセスを繰り返すことで、モデルの汎化性能をより正確に評価できます。また、学習の進行を学習曲線で観察することも有効です。
関連する手法としてドロップアウトやデータ拡張も広く用いられます。詳しい内容はドロップアウトの記事もあわせてご覧ください。
正則化は、モデルのパラメーターに制約を加えることで、複雑なモデルを抑制し、汎化性能を高める効果があります。
機械学習の目的は、学習に使ったデータだけでなく、未知のデータに対しても正しく予測できることです。この能力を汎化性能と呼びます。過学習はこの汎化性能を損なうため、モデルの見た目の精度が高くても、実運用では役に立たないという事態につながります。
過学習かどうかは、訓練データと検証データの性能差で判断するのが基本です。訓練では高精度なのに検証で精度が伸びないなら、モデルが訓練データの細部を覚えてしまっている可能性があります。
過学習とは逆に、モデルが単純すぎて訓練データにさえ十分に適合できない状態をアンダーフィッティングと呼びます。両者は表裏の関係にあり、モデルの複雑さを適切な水準に保つことが求められます。
実際は:訓練データでの精度が高くても、未知のデータで性能が低ければ過学習です。検証データでの評価が重要です。
実際は:データ量の確保は有効ですが、モデルの複雑さの調整や正則化など、あわせた対策が必要な場合があります。
実際は:モデルの複雑さ、データの量や偏りなど、複数の要因が重なって起こります。
本項の定義・解説は、my-best.ai 用語辞典の同項目記事(編集部執筆)を底本に再構成したものです。初出時期や命名者について確立した一次資料が本文中に明記されていない場合は、推測での記載を見送っています。
過学習 の定義と位置づけを押さえ、AI 関連の資料や記事を正確に読み解く土台にします。
ニュースや製品紹介で 過学習 に触れたとき、本ページの定義と突き合わせて過不足なく理解できます。
関連するチュートリアルで手を動かしながら、自社の業務への適用可否を検討できます。
用語同士は相互リンクされています。
理解を定着させるためのプロンプト例です。コピーして〔 〕内を置き換えてご利用ください。
前提知識なしで概念を掴む
あなたは AI 教育の講師です。「過学習」を、AI に詳しくない日本の社会人にも分かるように説明してください。専門用語を使った場合は、その直後に噛み砕いた言い換えを添えてください。最後に要点を 3 行でまとめてください。
関連用語との違いを表で整理する
「過学習」について、①定義 ②仕組み ③代表的な活用例 ④よくある誤解 を見出し付きで整理してください。同じ分野の類似用語があれば、その違いを表形式で示してください。
自社業務への適用を検討する
「過学習」を〔業種・業務〕で活用する場合に期待できる効果と注意点を、それぞれ 3 つずつ提案してください。判断の前提条件や、確認すべき事実があれば明示してください。
定義の記述は my-best.ai 用語辞典(編集部執筆)に基づきます。リンク先の内容は公開時点のものです。
過学習(Overfitting)とは、機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象です。