過学習 の用語ページの内容を、手を動かして定着させるためのチュートリアルです。手順どおりに進めると、定義を自分の言葉で説明できる状態まで到達できます。
「過学習」が何を指すのか、最初の一文を自分の言葉で言い換えてみます。過学習とは、機械学習モデルが訓練データに対して過剰に適合してしまい、未知のデータに対する予測性能が低下する現象を指します。— この一文を土台にすると外れません。
原因内容モデルが複雑すぎるニューラルネットワークの層が深すぎたり、決定木の分岐が細かすぎたりして、訓練データ特有のパターンを過剰に学習する訓練データが不足しているデータ量が少ないと、より一般的なパターンを学べない訓練データに偏りがある特定のクラスのデータが極端に少ないと、偏った学習になるデータの量や質が関わる問題については学習用データ、モデル側の複雑さはハイパーパラメータの記事もあわせてご覧ください。この節を読み、仕組みの該当部分をページで確認しましょう。
訓練データに対する性能は高いのに、検証データに対する性能が低い場合は、過学習が発生している可能性が高いと判断できます。この節を読み、仕組みの該当部分をページで確認しましょう。
モデルの複雑さを適切に調整する:ニューラルネットワークであれば層の数を減らし、決定木であれば分岐の深さを制限する訓練データを増やす:データ量を増やすことで、より一般的なパターンを学習し、ノイズに影響されにくくなる正則化を行う:モデルのパラメーターに制約を加えて複雑さを抑え、汎化性能を高めるドロップアウトを使う:学習時に一部のニューロンを無効化し、特定の経路への依存を減らす関連する手法としてドロップアウトやデータ拡張も広く用いられます。この節を読み、仕組みの該当部分をページで確認しましょう。
プロンプト集の型を使って「過学習」を誰かに説明する文章を書いてみます。最後に「まとめ」(過…)と突き合わせて不足を補います。