シグモイド関数

あらためてシグモイド関数 by GPT。数式を打ち込む必要がなく、とても楽です。 

 　

1. ロジット関数と逆関数：ロジスティック関数（シグモイド関数）

2値分類（バイナリ分類）では、対象のデータを2つのクラス、通常は 0 と 1 に分類する。

ロジスティック回帰はこのような分類問題に用いられる手法で、線形予測子の出力を確率に変換するために、ロジスティック関数を利用する。また、対数オッズ（ロジット）として

$$\text{logit}(p) = \ln\left(\frac{p}{1-p}\right)$$

と定義され、これの逆関数としてロジスティック関数が用いられる。 $$z = \ln\left(\frac{p}{1-p}\right)$$ $$e^z = \frac{p}{1-p}$$ $$e^z (1-p) = p$$ $$e^z - e^z p = p$$ $$e^z = p + e^z p = p(1+e^z)$$ $$p=\frac{e^z}{1+e^z}$$ $$p=\frac{1}{1+e^{-z}}$$

2. シグモイド関数の微分

シグモイド関数を以下のように定義する。

$$S(x)=\frac{1}{1+e^{-x}}$$

シグモイド関数 $S(x)$ を微分するため、次の形に変形する。

$$S(x)=\left(1+e^{-x}\right)^{-1}$$

ここで、外部関数 $f(u)=u^{-1}$ と内部関数 $u(x)=1+e^{-x}$ と置くと、連鎖律により

$$\frac{dS}{dx}=\frac{df}{du}\cdot\frac{du}{dx}$$

外側の関数の微分

$$f(u)=u^{-1}\quad\Rightarrow\quad\frac{df}{du}=-u^{-2}$$

内側の関数の微分

$$u(x)=1+e^{-x}\quad\Rightarrow\quad\frac{du}{dx}=-e^{-x}$$

連鎖律の適用

$$\frac{dS}{dx}=-\left(1+e^{-x}\right)^{-2}\cdot\left(-e^{-x}\right) =\frac{e^{-x}}{\left(1+e^{-x}\right)^2}.$$

3. 微分式の形の簡略化

シグモイド関数の定義を用いると、その補数は $$1-S(x)=\frac{e^{-x}}{1+e^{-x}}$$ となり、積は $$S(x)\left(1-S(x)\right)=\frac{e^{-x}}{\left(1+e^{-x}\right)^2}$$ となる。

したがって、シグモイド関数の微分は

$$\frac{dS}{dx}=S(x)\left(1-S(x)\right)$$

と自身のみで表現可能。