因果推論と機械学習 その3

Meta-Learner; 「任意の汎用 ML モデル（回帰・分類器など）を部品として組み合わせ、因果効果（ATE/CATE など）を推定する“枠組み”」とのことですが、DR（Doubly Robust）、DML（Double / Debiased ML）等はこれに含めないそうです。いずれもMLを部品として組み合わせて CATE を推定しているのですが、図書を読んだだけではその差を理解できませんでした。

3. DR / DML 系、因果フォレスト

Learner	step	モデルNo.	説明変数	目的 変数	推定対象
DR	1	1a 1b	X (T=0) X (T=1)	Y Y	T-Learnerと同じ
		1c	X	T	傾向スコア；e(X)
	2				DR擬似効果の計算；（例）ṫ(X) = (μ₁(X) − μ₀(X)) + [(T − e(X)) / (e(X) * (1 − e(X)))] * (Y − μ_{T=T}(X))
	3	2	X	ṫ(X)	CATE; τ(X) = E[ṫ(X)|X]
DML	1	1a	X	Y	Yの応答関数 μY(X) = E[Y|X]
		1b	X	T	Tの応答関数 μT(X) = E[T|X]
	2				残差を計算：εY= Y - μY(X), εT= T - μT(X)
	3	2	εT	εY	CATE; τ(X)（LinearDML ではεT の係数をτと解釈）
Causal Forest	1	1a 1b	X X	Y T	DMLと同じ
	2				DMLと同じ
	3		X, εT, εY		ランダムフォレストを使用して、各ノードで処置効果の異質性（分散）を最大化する分割を選択。ノードでの処置効果 = Σ(εY × εT) / Σ(εT²)
	4				CATE; τ(X)（各特徴量Xの組み合わせに対して、局所的な処置効果を推定）

 

• e(X)は「データからの比率」から求めるか、X→T のモデルで推定（DR）。
• DR：μ₀, μ₁, e を一つの式で混ぜた DR擬似効果 ṫ(X) を作り、それを1本の τ(X) モデルで学習。
• DML（LinearDML）：Y と T を X による予測で残差化し、残差同士を線形回帰して τ(X) を得る。

3つの中だとDMLが好みです。

因果推論と機械学習 その2

 S-、T-、X-Learner は meta-learner（メタ学習器）とと呼ばれる枠組みに属し、機械学習による因果推論を実現する基本的アプローチのようです。X は比較的新しいとのことですが、SとTは古くから利用されています。

これらは「条件付き平均処置効果（CATE）」を推定するための推論フレームワークで、「もしこの人、モノ、事象に介入したら、しなかった場合と比べてどうなるか？」という効果（潜在的結果）を、観察データ（処置＋特徴量＋結果）から推測・推定する方法です。S, T に最新の機械学習フレームワークを組み込むことで発展し、推定精度も向上するのでしょう。

2. Meta-Learner

Learner	step	モデルNo.	説明変数	目的 変数	推定対象
S-Learner	1	1	(T, X)	Y	処置TとX特徴量が与えられたときの結果Yの期待値（平均値）; μ(T, X) = E[Y|T, X]
	2				CATE 条件付き平均処置効果; τ(X) = μ(1,X) - μ(0,X)
T-Learner	1	1a 1b	X (T=0) X (T=1)	Y Y	対照群（処置なし）における結果Yの期待値;μ₀(X) = E[Y|T=0, X] 処置群（処置あり）における結果Yの期待値; μ₁(X) = E[Y|T=1, X]
	2				CATE; τ(X) = μ₁(X) - μ₀(X)
X-Learner	1	1a 1b	X (T=0) X (T=1)	Y Y	T-Learnerと同じ
	2				対照群の補完効果（反事実予測 - 実際の結果）; d₀ = μ₁(X) – Y 処置群の補完効果（実際の結果 - 反事実予測）; d₁ = Y - μ₀(X)
	3	2a 2b	X (T=0) X (T=1)	d₀ d₁	対照群で学習した補完効果の条件付き期待値; τ₀(X) = E[d₀|X] 処置群で学習した補完効果の条件付き期待値;  τ₁(X) = E[d₁|X]
	4				CATE; τ(X) = e(X)·τ1(X) + (1-e(X))·τ0(X)

• S-, T-はモデル（応答関数）で潜在的結果を推定（期待値として算出）し、後処理としてCATEを算出。X-はモデルでCATEを推定。
• e(X)は「データからの比率」から求めるか、X→T のモデルで推定（DR）。

因果推論と機械学習 その1

因果推論は古くからある手法のようですが、現代では機械学習と結びついて発展しているようです。
あらためて、それらの関連用語を整理します。

1. 基本用語

Terms	用語	記号	意味
Treatment	処置	T	処置群か対照群かを示す二値変数（1: 処置群, 0: 対照群）
Outcome	結果	Y	目的変数
Covariates / Features	共変量・特徴量	X	説明変数
CATE; Conditional Average  Treatment Effect	条件付き平均処置効果	τ(X)	共変量 X が与えられた場合の平均処置効果
Average Treatment Effect	平均処置効果	ATE	集団全体の平均的な処置効果
Propensity Score	傾向スコア	e(X)= P(T=1|X)	処置を受ける確率
Potential Outcome	潜在的結果	Y(t)	ある個人が、各処置状態t（例: t=0,1）をもし受けていた ならば観測されるであろう結果。各個人は、Y(0)とY(1)の 両方の潜在的結果を持つと仮定する。
Counterfactual	反事実	Y(１－T)	ある個人が実際に受けた処置Tとは異なる処置1−T を受け ていたならば観測されたであろう、実際には観測されて いない方の潜在的結果。
Imputed Treatment Effect	補完された効果	d₀, d₁	観測されなかった反事実を推定・補完することで得られる、 処置効果の推定値。特にX-Learnerで用いられる概念を指す。
Response Function	応答関数	μ(·)	共変量 X と処置 T の関数として、結果 Y の条件付き期待値を モデル化する関数。
Expectation	期待値	E[·]	確率変数の平均値
Conditional Expectation	条件付き期待値	E[Y|条件]	ある条件下での結果の平均値
DR pseudo-outcome	DR擬似効果	ṫ(X)	DR推定量に基づくCATE学習用の擬似ラベル
Residual	残差	ε	予測値と実測値の差