シグモイド関数

あらためてシグモイド関数 by GPT。数式を打ち込む必要がなく、とても楽です。 

 　

1. ロジット関数と逆関数：ロジスティック関数（シグモイド関数）

2値分類（バイナリ分類）では、対象のデータを2つのクラス、通常は 0 と 1 に分類する。

ロジスティック回帰はこのような分類問題に用いられる手法で、線形予測子の出力を確率に変換するために、ロジスティック関数を利用する。また、対数オッズ（ロジット）として

$$ \text{logit}(p) = \ln\left(\frac{p}{1-p}\right) $$

と定義され、これの逆関数としてロジスティック関数が用いられる。 $$ z = \ln\left(\frac{p}{1-p}\right) $$ $$ e^z = \frac{p}{1-p} $$ $$ e^z (1-p) = p $$ $$ e^z - e^z p = p $$ $$ e^z = p + e^z p = p(1+e^z) $$ $$ p=\frac{e^z}{1+e^z} $$ $$ p=\frac{1}{1+e^{-z}} $$

2. シグモイド関数の微分

シグモイド関数を以下のように定義する。

$$ S(x)=\frac{1}{1+e^{-x}} $$

シグモイド関数 \( S(x) \) を微分するため、次の形に変形する。

$$ S(x)=\left(1+e^{-x}\right)^{-1} $$

ここで、外部関数 \( f(u)=u^{-1} \) と内部関数 \( u(x)=1+e^{-x} \) と置くと、連鎖律により

$$ \frac{dS}{dx}=\frac{df}{du}\cdot\frac{du}{dx} $$

外側の関数の微分

$$ f(u)=u^{-1}\quad\Rightarrow\quad\frac{df}{du}=-u^{-2} $$

内側の関数の微分

$$ u(x)=1+e^{-x}\quad\Rightarrow\quad\frac{du}{dx}=-e^{-x} $$

連鎖律の適用

$$ \frac{dS}{dx}=-\left(1+e^{-x}\right)^{-2}\cdot\left(-e^{-x}\right) =\frac{e^{-x}}{\left(1+e^{-x}\right)^2}. $$

3. 微分式の形の簡略化

シグモイド関数の定義を用いると、その補数は $$ 1-S(x)=\frac{e^{-x}}{1+e^{-x}} $$ となり、積は $$ S(x)\left(1-S(x)\right)=\frac{e^{-x}}{\left(1+e^{-x}\right)^2} $$ となる。

したがって、シグモイド関数の微分は

$$ \frac{dS}{dx}=S(x)\left(1-S(x)\right) $$

と自身のみで表現可能。