主成分分析と固有値問題

先の参考書では主成分分析と固有値の関係がピンとこなかったのですが、他の本で展開を追えば「なるほど」でした。統計って、物理的意味として曖昧なイメージがあったのですが、数学的には明快ですね。

主成分分析の流れです。

1.主成分得点の定義
主成分得点：z、重み（主成分）：a、データ：x とすると、
z1=a1x1+a2x2　(2次元を1次元に縮約) Zn*k=Xn*pAp*k　(p次元をk次元に縮約)

2.主成分得点Zの分散を最大にする（第1）主成分Aを求める。

2-1.Zの分散を数式で表現（といっても2次元なら中学数学）。

2-2.Σai2=1の制約条件を付ける。( ai に制約がないと、zi がいくらでも大きくなる。2次元でa1=cosθ1,a2=cosθ2とすると座標回転とベクトル化の中間的なイメージ)

2-3.2-1.の式を2-2の制約のもと、Lagrange の未定乗数法で解く。

 2-4.解けた式が、(Xの分散共分散行列)A=λAとなる。つまり、固有値λ（Zの分散に対応）と主成分Aが固有ベクトル（主成分の軸に対応）として求められる。

2-5.n次の正方行列の場合、固有値はn個求められる。 固有ベクトルは、固有値が最大のものから第1主成分、第2主成分・・・と定義。