文献：Double/Debiased Machine Learning for Treatment and Structural Parameters

DOI: 10.1111/ectj.12097
URL: https://doi.org/10.1111/ectj.12097
書誌: Chernozhukov, V., Chetverikov, D., Demirer, M., Duflo, E., Hansen, C., Newey, W., & Robins, J. (2018). Double/Debiased Machine Learning for Treatment and Structural Parameters. The Econometrics Journal, 21(1), C1–C68.

AI要約

【背景】

• 高次元の局外(ニュイサンス)パラメータの存在下で、低次元の因果パラメータθ0を推定したい。しかし、局外パラメータ空間の複雑さが標本サイズとともに増える現代的設定では、古典的セミパラメトリック理論の前提(Donsker性など)が破綻する。
• 機械学習で局外関数を推定して素朴に推定式へ代入すると、正則化バイアスと過学習がθ0の推定量に一次で流れ込む。その結果、√N一致性が失われる。
• lasso・ランダムフォレスト等の任意の機械学習手法を局外推定に使いながら、θ0の妥当な信頼区間を得られる一般理論が必要だった。

【手法】

本論文は、部分線形回帰モデル Y=Dθ0+g0(X)+U、D=m0(X)+V を主導例とする。まず、素朴なプラグイン推定量の誤差を分解し、g0の学習バイアスに由来する項の発散を示す。この問題を除去する要素として、2つが提案される。第一は、Neyman直交スコアの使用である。これは、局外パラメータの推定誤差への感度が一次でゼロになるモーメント条件を指す。具体的には、処置Dから調整変数Xの効果を回帰m0で取り除いた残差と、結果Yからg0の寄与を取り除いた残差の双方を使って回帰する。この「二重の予測」が、double machine learning(DML)の名の由来である。第二は、cross-fitting(交差適合)である。標本を分割し、局外関数を補助標本で学習し、主標本でθ0を推定する。役割を入れ替えて平均すると、過学習による自己バイアスを避けつつ全標本の効率を回復できる。理論条件は、局外推定量の収束レートに関する弱い要請のみである。このため、lasso・ridge・ランダムフォレスト・ブースティング木・深層ニューラルネットやそれらのアンサンブルを利用できる。この一般理論は、部分線形回帰、部分線形IVモデル、非交絡下のATE・ATT、IV設定のLATEの推定に適用された。さらに、3つの実証例(ペンシルベニア再就職ボーナス実験、401(k)の資産効果、Acemoglu et al. (2001)の制度と経済成長のIV)が使用法を例示する。

【結果】

• DML推定量は、真値のN^(−1/2)近傍に集中する。近似的に不偏で、正規分布に従う。妥当な信頼区間も構成できる。これらの性質が、弱い条件下で証明された。
• 数値実験では、非直交の素朴な機械学習推定量の分布が真値から大きく偏った。正規近似も破綻した。直交化したDML推定量は、ほぼ不偏だった。正規近似も良く成立した。
• ボーナス実験の再分析では、失業期間(対数)へのATEがどの機械学習手法でも−0.073〜−0.085となった。いずれも、5%水準で有意だった。
• 401(k)適格性の純金融資産へのATEは、無調整で$19,559(SE 1413)だった。柔軟な調整により、推定値は大幅に減衰した。適格性を操作変数とする加入のLATEは、全手法で正かつ有意($8,944〜$11,764)だった。
• lasso・回帰木・フォレスト・ブースティング・ニューラルネット・アンサンブルの推定値は、広く整合した。この結果は、直交化の理論的予測と一致する。

【考察】

• Neyman直交化とcross-fittingという2つの単純な要素が、任意の高性能な機械学習器を因果パラメータ推定へ安全に組み込む汎用手続きを与える。
• 局外関数の推定には、収束レート条件が必要である。極端に複雑な局外関数では、推定は依然として失敗しうる。
• 401(k)の例では、5分割の交差適合が2分割より標準誤差を小さくした。ただし、分割数と精度の一般的関係はないと注意されている。