活性化関数

活性化関数（Activation Function）とは、ニューラルネットワークにおいて、ニューロンが受け取った入力信号に対してどのような出力をするかを決定する関数です。ニューラルネットワークは人間の脳の神経回路を模倣した数学モデルで、入力層・隠れ層・出力層が組み合わさって構成されます。本記事では、活性化関数の役割、代表的な種類、選び方、よくある誤解を順に解説します。

活性化関数とは（意味・定義）

各層のニューロンは、前の層からの出力に重みを掛けたものを入力として受け取り、その総和に対して活性化関数を適用します。そして、その結果を次の層へ出力します。つまり活性化関数は、「入力の合計を、どれだけの強さの信号として次へ渡すか」を決める変換であり、信号をそのまま通すか、抑えるか、どこから発火させるかを制御する役割を担います。

ニューラルネットワーク全体は、この変換と重み付けを層の数だけ繰り返すことで、複雑な入出力関係を表現します。活性化関数の設計は、モデルが学習できる表現力の上限に直接関わります。

なぜ必要か：非線形性の導入

活性化関数は、ニューラルネットワークに非線形性をもたらすために不可欠です。もし活性化関数が線形であれば、層をどれだけ重ねても、ネットワーク全体の計算は結局ひとつの線形変換にまとめられてしまい、複雑な問題を解決する能力が著しく低下します。

非線形な活性化関数を用いることで、ネットワークは複雑なデータパターンを学習でき、高度な予測や分類が可能になります。画像認識や自然言語処理といった分野で活性化関数が重要な役割を果たすのは、この非線形性があるからです。関連する構成要素はニューラルネットワークで解説しています。

代表的な活性化関数の種類

活性化関数にはさまざまな種類があり、それぞれ異なる特徴をもっています。代表的なものを次の表に整理します。

シグモイド関数

出力を0から1の範囲に収めるため、結果を確率として解釈しやすいという特徴があります。一方で、値が両端に張り付くと勾配が小さくなり、学習が進みにくくなるという性質もあります。

ReLU関数

計算が簡単で学習がはやいという利点がありますが、入力が負の値の場合に勾配が消失してしまうという問題点も抱えています。この弱点を補うために、負の領域にも小さな傾きをもたせた改良版が使われることがあります。

tanh関数

出力を-1から1の範囲に収めるため、シグモイド関数よりも勾配消失の問題が軽減されるという特徴があります。値がゼロ中心である点も、学習を安定させやすい要因として挙げられます。

活性化関数の選び方と活用シーン

活性化関数を選ぶ際には、解決したい問題やニューラルネットワークの構造、学習データの特徴などを考慮する必要があります。たとえば、出力が確率である必要がある場合にはシグモイド関数が適しています。また、深いニューラルネットワークを学習する場合には、ReLU関数やその改良版がよく用いられます。

こうした選択は、ディープラーニングの内部で行われる計算にも関係するため、モデル設計の基本として押さえておきたいポイントです。用途とデータの性質を踏まえて選ぶことが、学習の成否を左右します。

よくある誤解

誤解：活性化関数は省略しても結果はほぼ同じになる

実際は：活性化関数を外すとネットワーク全体が線形になり、層を重ねる意味が失われます。複雑なパターンを学習できなくなるため、省略はできません。

誤解：よい活性化関数がひとつあれば全部それでよい

実際は：用途によって適した関数は異なります。確率を扱いたいのか、深い層を安定して学習させたいのかによって選び分けます。

誤解：ReLUは欠点がない

実際は：ReLUは便利な反面、負の入力で勾配が消失する問題をもちます。そこで改良版が併用されます。

FAQ（よくある質問）

Q. 活性化関数と重みは何が違いますか？

A. 重みは入力の重要度を調整する係数で、学習によって更新されます。活性化関数は入力の総和を出力に変換する側の役割で、学習で変わる部分と決まった形の部分があります。

Q. 出力層にも活性化関数を使いますか？

A. 使う場合と使わない場合があります。確率を出したい場合などは、目的に合った関数を出力層に適用します。

Q. Leaky ReLUとは何ですか？

A. ReLUの改良版で、入力が負の領域でも小さな出力を返すようにしたものです。勾配が完全に消失しにくくなる点が特徴です。

関連用語

• ニューラルネットワーク — 活性化関数を層ごとに適用する計算モデル
• MLP（多層パーセプトロン） — 多層化した基本的な構成
• ディープラーニング — 活性化関数を含む深いネットワークの学習

用語の一覧はAI用語辞典トップからたどれます。実際のツール比較はAIツール一覧をご覧ください。

参考出典

• Google Cloud「生成 AI の用語集」: docs.cloud.google.com
• Salesforce「AI用語虎の巻」: salesforce.com