書誌: Shimizu, S., Inazumi, T., Sogawa, Y., et al. (2011). DirectLiNGAM: A Direct Method for Learning a Linear Non-Gaussian Structural Equation Model. JMLR, 12, 1225–1248.
AI要約
【背景】
- 共分散構造のみを使う従来の構造方程式モデルやベイジアンネットワークの推定は、構造に関する事前知識なしには、因果順序と接続強度を含む完全な構造を識別できない。
- 非ガウス性を利用するLiNGAM(Shimizu et al., 2006)では、完全な構造が識別可能である。しかし既存のICAベースの推定(ICA-LiNGAM)は反復探索に依存する。初期値や収束基準しだいで局所最適に陥る。有限ステップでの正解収束も保証されない。
- ICA-LiNGAMの置換ステップは尺度不変でない。そのため、変数のスケールの違いで誤った順序を返しうる。
【手法】対象は線形非ガウス非巡回モデル(LiNGAM)である。このモデルはx=Bx+eと書ける。外生擾乱eは非ガウスで相互に独立とする。潜在交絡はないと仮定する。提案手法DirectLiNGAMは、このモデルの因果順序を反復探索なしに直接推定する。核は、Darmois-Skitovitchの定理から導いた補題である。この補題によれば、変数x_jが外生であることと、他の各変数をx_jに単回帰した残差のすべてがx_jと独立であることは同値である。そこで、カーネル法による相互情報量の推定(Bach-Jordanのカーネル独立性尺度)を用いる。残差との独立性が最も高い変数を外生と判定し、因果順序の先頭に置く。次に、その変数の影響を最小二乗回帰で残りの全変数から除去する。残差ベクトルにも再びLiNGAMが成り立つ。残差の因果順序は、元の変数の因果順序と一致する。したがって、この操作の繰り返しだけで、変数の個数と同じ固定ステップ数で因果順序全体が決まる。順序の確定後、接続強度行列Bは最小二乗などの通常の回帰で推定する。さらに、「x_iからx_jへ有向道がある/ない」を成分とする事前知識行列を組み込む拡張も与えた。この拡張は、外生候補の絞り込みと残差計算の省略により、精度と計算時間を改善する。評価では、人工データ(変数10〜100、標本500〜2000、疎・密ネットワーク×18種の非ガウス分布)でICA-LiNGAMと比較した。物理(二重振り子)と社会学(地位達成モデル)の実データにも適用した。実データではPC・GESとも比較した。【結果】
- モデル仮定が満たされ標本サイズが無限のとき、DirectLiNGAMは変数数と同じ固定ステップ数での正解収束を保証する。初期値や収束基準などのアルゴリズム的パラメータは不要である。
- 人工データの全条件(疎・密×次元10〜100×n=500〜2000)で、真のBとの誤差(Frobenius距離)はICA-LiNGAMより小さかった(例: 疎・100次元・n=2000で2.35対36.52)。
- 事前知識(50%)の利用で、精度はさらに向上した。計算時間も短縮された(密・100次元・n=2000で17.24時間→19.80分)。
- 計算量はO(np^3M^2+p^4M^3)で、ICA-LiNGAMより大きい。ただし収束保証と既知の計算量をもつ。
- 実データでは、領域知識と整合する結果を得た。二重振り子では、「角速度は角度で決まる」という知識と整合する有意な辺を検出した(ICA-LiNGAMは有意な辺なし、PC/GESは一部の辺の向きを誤る)。社会学データでは、推定された辺のほぼすべてが領域知識と整合した(誤りは息子の学歴→父の学歴の1辺のみ)。
【考察】
- 非ガウス性を使えば、辺の向きまで識別できる。このLiNGAMの理論的利点を、収束保証つきの実用アルゴリズムとして実現した。
- カーネル独立性尺度の計算が、実行時間のボトルネックである。仮定(線形性・非ガウス性・潜在交絡なし)の破れの検定、計算効率の改善、潜在交絡がある場合への拡張が、今後の課題と明記されている。社会学データでの1辺の誤りは、仮定の破れの兆候と解釈されている。
- 事前知識行列により、「有向道の有無」を制約として与えられる。部分的な領域知識の注入で、精度と速度の両方が改善する。
0 件のコメント:
コメントを投稿