交错DID偏误与CATE：新式估计量选型实战

双重差分DID这套方法我最早是当成两个差分一减就完事的工具来用的——找个对照组、找个处理组、各看前后变化差值再相减系数就是政策效应。真到了自己上手做项目尤其是碰到那种政策分批铺开、单位在不同年份陆续被纳入处理的场景才发现事情远没有教科书写的那么干净。这是我写这个系列笔记的第四篇前三篇把基础设定、平行趋势假设、事件研究图这些地基铺完了这一篇专门啃两块硬骨头——交错处理下的双重差分偏误与新式估计量选型以及从平均处理效应ATT走向条件平均处理效应CATE。如果你已经会用最基础的Y ~ treat*post跑回归但每次看到政策是分批实施的就心里发虚或者你的老板开始问这个政策对哪类人效果最好那这篇就是写给你的。我会把 Goodmna-Bacon 分解、Callaway SantAnna 的 group-time ATT、Sun Abraham 的交互加权、Borusyak 的插补法这几条路线摊开讲清楚再落到 CATE 上用因果森林和双重机器学习把谁受益更多这个问题答出来。所有代码我给 R 和 Python 两套能直接抄。1. 为什么第四篇要把镜头从ATT转向交错DID和CATE前三篇我们其实一直在默认一个理想场景有一个明确的处理组、一个干净的对照组政策在某一个统一时点落地处理一旦发生就不再撤销。这个设定在实验室里成立在现实政策里几乎从不成立。真实的项目里政策往往是从试点城市开始、分批推开企业培训是不同部门在不同季度上线平台上新功能是灰度发布、用户在不同时间被纳入。这种处理时点因人而异、因单位而异的结构就是交错采纳staggered adoption也是这一篇的第一个核心议题。第二个议题是视角的切换。传统 DID 报出来的是一个数——ATT平均处理效应。它回答的是这个政策平均而言有没有用、有多大用。但决策者真正关心的问题往往更细政策对年轻人效果好还是对中年人效果好对高收入群体还是低收入群体效果好在哪个地区投放回报最高这些都是异质性处理效应的问题需要估计 CATE也就是在给定协变量 X 的条件下处理组和对照组的潜在结果之差。热搜里那个因果推断CATE英文说的正是 conditional average treatment effect这个词在近两年的因果推断圈子里热度一直往上走原因很简单——平均效应已经不够用了。1.1 前三篇留下的三个坑把前三篇的经验串起来看有三个坑一直没填上。第一个坑是平行趋势没法真正被检验。我们画事件研究图看处理前系数是不是接近零但这只能证伪、不能证实——预趋势不显著不等于平行趋势成立样本量小的时候你根本看不出问题样本量大又容易因为微小偏离就判死刑。第二个坑是处理效应被假设成常数。基础回归里我们默认所有单位的处理效应一样跑出来的系数是各处理效应在一个隐含加权下的平均一旦权重是负的系数方向都可能反过来。第三个坑也是最致命的就是交错处理下双向固定效应TWFE回归的偏误。很多人以为只要加上单位固定效应和时间固定效应跑个两向固定效应回归就万事大吉。Goodman-Bacon 在 2021 年那篇经典论文里把 TWFE 估计量做了分解证明它其实是所有可能的2×2 DID的加权平均而这些 2×2 里混进了大量已经处理过的单位被拿来当对照组的比较。这种比较是被禁止的forbidden comparison它给整个估计量带来的权重可能是负的结果就是偏得离谱。这个发现直接引爆了这几年一堆新式 DID 估计量的诞生也是这一篇的主线。1.2 交错处理下TWFE偏误到底长什么样我用一个具体场景来解释这个偏误。假设有三组城市A 组 2015 年就开始执行某个政策B 组 2018 年开始C 组从头到尾没执行。真实的政策效应是正向的、比如说每年拉动增长 2 个百分点。你如果直接跑传统 TWFE模型会做几类比较第一类B 组 vs C 组在处理前2018 前这是干净的对照第二类A 组 vs C 组早期处理组和从未处理组的比较也还算干净第三类后期处理组 B 组把早期已经处理过的 A 组当成对照组——这时候 A 组身上已经带着政策效应了用它做基准B 的相对增长就被“抹掉”了一部分。更麻烦的是当处理效应在不同时点出现异质性或者随时间动态变化时这类坏比较会被赋予负权重。极端情况下哪怕每个个体真实的政策效应都是正的TWFE 估计出来的系数都可能是负的。这不是数值误差是估计量的结构性问题。所以凡是碰到交错处理我的第一反应就是别再无脑跑 TWFE 了先做好分组结构排查然后选一个专门处理交错场景的估计量。2. 双重差分假设体系的再梳理新估计量不是把假设变没了而是把假设写得更明确、更容易被检查。在进入估计量选型之前必须先把假设体系重新过一遍。很多人上手新方法时只看代码不问假设最后结论全靠运气。我见过最典型的翻车现场是作者用了 Callaway SantAnna 的did包跑出漂亮结果但对照组里混了大量已经处理过的单位结果和 TWFE 的偏误其实是同一类问题只是换了个马甲。2.1 平行趋势假设从看图到敏感性分析平行趋势假设的正确用法不是检验通过了就放心了而是我做了哪些努力去逼近它以及在它不成立时结论有多稳。实践里我一般分三步走。第一步画事件研究图把处理前若干期的系数和置信区间画出来看趋势是否系统性偏离零。第二步做安慰剂检验比如人为把处理时间提前两期看伪处理效应是否显著如果显著就说明整组的趋势本身就不平。第三步也是最被低估的一步做敏感性分析。Rambachan 和 Roth 提出的 HonestDiD 方法可以回答一个关键问题如果平行趋势允许有一定程度的违反我的结论还能不能撑住如果微小的趋势偏离就能把结论推翻那这个结论的稳健性其实很差。这里有个我踩过的坑要提醒不要用处理前趋势的 t 检验作为唯一标准。这种预检验会带来条件推断偏差——你先用数据决定平行趋势成立再用同一批数据估计效应等于用统计数据给自己开了后门。正确做法是把预趋势的偏离程度当成一个稳健性参数而不是一个通过/不通过的门槛。2.2 容易被忽略的三个假设SUTVA、无预期效应、吸收性平行趋势之外DID 还依赖几个经常被无视的假设。**SUTVA个体处理稳定性假设**要求一个单位的潜在结果不受其他单位处理状态的影响。翻译成人话就是政策不能有溢出效应。但现实里溢出到处都是——隔壁城市出台了补贴政策本地企业可能跨区注册同行业头部公司上线新产品会挤压同行的空间。一旦存在溢出对照组就不干净了估计的效应会被系统性高估或低估。无预期效应假设要求单位在政策正式实施前不会提前反应。如果企业提前半年听说政策要来开始囤货、提前投资处理前一期就已经被污染了事件研究图上会看到处理前最后一期系数抬头。吸收性假设要求处理一旦发生就持续存在不能撤销。如果政策中途取消或者力度减弱简单 DID 的设定就错了需要引入更复杂的状态转移模型。我在实操里一般会先列一张假设清单逐个对照数据去核确认没有明显违反再往下走。这套动作看着繁琐但它能帮你避开 90% 的返工。3. 交错DID的新式估计量怎么选假设体系理顺之后进入这一篇的核心面对交错处理到底该用哪个估计量现在市面上的主流方案有四五种思路各不相同选错了不会报错但结果会悄悄偏掉。我把它们拆成三组来讲。3.1 Callaway SantAnnagroup-time ATT 的清晰框架Callaway 和 SantAnna 在 2021 年提出的方案是我个人最推荐作为默认选项的。它的核心思想非常直观不再追求一个笼统的平均效应而是把效应拆成group-time ATT记作 ATT(g, t)表示在第 g 期首次接受处理的组在第 t 期的处理效应。然后所有你能想到的汇总方式——按处理时点汇总、按时间汇总、按已处理期数汇总——都是在这个基础矩阵上做加权平均。这样做的最大好处是透明度你能看到每一组、每一时点的效应长什么样偏误藏不住。它的对照组选择也很干净默认用从未处理组never-treated或尚未处理组not-yet-treated作为对照从根上避免了用已处理单位当对照的禁止比较。R 里对应的包是didPython 里社区有对应的实现。用起来大概是这样library(did) out - att_gt( yname outcome, tname year, idname unit_id, gname first_treat_year, # 从未处理的单位填 0 data panel_data, control_group notyettreated, clustervars unit_id ) # 汇总成事件研究形式 es - aggte(out, type dynamic) summary(es) # 按处理时点汇总 group_es - aggte(out, type group)我第一次跑这个包的时候最惊讶的是它输出的分组结果和 TWFE 差不多能差出三成。那次数据里处理时点跨度有六年异质性又不小TWFE 的负权重问题非常明显。从那以后只要是交错结构我一律先跑att_gt再看 TWFE把两者的差异当成一个诊断信号。3.2 Sun Abraham 与 Borusyak 的插补法Sun 和 Abraham 的思路和 Callaway 类似但实现角度不同。他们用交互加权的方式把每个处理组与其最后处理前一期进行交互从而估计出干净的相对时间效应再按处理组的规模加权汇总。R 里通过fixest包的sunab()函数就能调用和固定效应回归的语法无缝衔接library(fixest) # 构造相对时间变量未处理单位设为 NA panel_data$rel_time - ifelse( panel_data$first_treat_year 0, NA, panel_data$year - panel_data$first_treat_year ) mod - feols( outcome ~ sunab(first_treat_year, year) | unit_id year, data panel_data, cluster ~unit_id ) summary(mod)Borusyak、Jaravel 和 Spiess 的插补法imputation走的是另一条路先用从未处理组和尚未处理组估计一个时间趋势模型然后插补出处理组如果没有被处理时的潜在结果实际结果减去插补结果就是处理效应最后再平均。这套逻辑在概念上最好懂对异质性的处理也最干净对应的 R 包是didimputation。还有 de Chaisemartin 和 DHaultfœuille 的did_multiplegt擅长处理处理强度变化和处理可撤销的情况Wooldridge 的 ETWFE 则是从回归框架出发把交错处理直接塞进一个扩展的双向固定效应模型里。3.3 估计量选型的决策表面对这么多方案我用一张表来收敛决策。这张表是我自己整理并反复验证过的不是照抄文档场景特征推荐估计量R 包关键理由交错处理、有从未处理组Callaway SantAnnadid框架透明能出 group-time 矩阵支持动态和分组汇总交错处理、无从未处理组Sun Abrahamfixest::sunab交互加权语法贴近固定效应回归想要概念最简单的方案Borusyak 插补法didimputation先插补反事实再求效应直观处理强度可变、可撤销de ChaisemartinDIDmultiplegt专门处理非吸收性处理想沿用回归框架Wooldridge ETWFEfixest手写与既有工作流兼容注意选估计量之前一定要先确认是否存在从未处理组。如果所有单位最终都被处理了只剩 not-yet-treated 作为对照那对照组的选择会显著影响结果必须做敏感性对比。这张表能帮你快速定位方向但真正决定成败的还是数据清洗和对假设的检查方法本身解决不了数据里已经存在的混杂。4. CATEDID框架下的异质性处理效应怎么落地到这里我们有了干净的 ATT 及其分组分解但还没回答谁受益更多。差旅补贴对高收入员工的激励更弱还是更强职业培训对低学历群体的工资增长更明显还是更小这些都是 CATE 要回答的问题。CATE 的定义是 τ(x) E[Y(1) − Y(0) | X x]也就是在协变量取值为 x 的那群人里处理组和对照组的潜在结果之差。注意它和 ATT 的区别ATT 是对整个人群的加权平均CATE 是按 X 切片之后的局部效应。4.1 DID语境下CATE的识别与难点在 DID 框架下识别 CATE难点在于我们永远看不到同一个体的反事实。方法上一般走两步第一步用 DID 的设定把处理组相对于对照组的额外变化提取出来第二步把这个变化作为结果用机器学习方法建模它和协变量 X 的关系。这里要特别小心一点——不能用预测性机器学习直接去挑变量做分组因为预测 Y 的能力强不等于对处理效应有异质性有解释力。一个变量能把 Y 预测得很准但对 τ(x) 可能毫无贡献反之一个对 Y 预测很弱的变量可能恰恰是调节效应最强的那个。这是 CATE 估计里最容易被新手搞反的地方。4.2 因果森林与双重机器学习的实操实践里我最常用的两个工具是因果森林causal forestWager Athey 提出和双重机器学习DMLChernozhukov 等提出。因果森林的思路是把随机森林改造成专门估计 CATE 的版本分裂标准不再是预测误差而是让左右子节点的处理效应差异最大化同时用诚实分裂honest splitting避免过拟合和推断偏差。R 里的grf包、Python 里的econml和causalml都有实现。一段 R 的调用大概长这样library(grf) # Y: 结果变量, W: 处理指示, X: 协变量矩阵 cf - causal_forest( X X_matrix, Y panel_data$outcome, W panel_data$treated, num.trees 4000, honesty TRUE ) # 估计每个人的 CATE tau_hat - predict(cf)$predictions # 检验异质性是否显著 test_calibration(cf)test_calibration的输出很关键它告诉你最高的 CATE 估计值是不是真的对应更大的处理效应如果这个检验不显著说明你的 X 里根本没有足够强的异质性信号硬拆分组只会得到噪声。DML 则是另一种思路用机器学习分别拟合结果模型和处理模型再用交叉拟合cross-fitting消除过拟合偏差最后对残差做回归得到 CATE。它对线性假定要求更低在高维协变量场景下表现更稳。4.3 CATE结果怎么解读才不翻车跑出 CATE 之后最忌讳的是挑出 CATE 最高的那 10% 人群宣称政策应该重点投给这群人。这种做法有个专门的名字叫Cherry-picking问题在于你挑出来的高效应组可能完全是由于过拟合或者小样本波动造成的换一批数据结论就没了。规范做法是先做 calibration 检验确认异质性真实存在再把人群按 CATE 分位数切成若干组做分组平均效应对比比如最高四分位 vs 最低四分位看差异是否显著且方向稳定最后做留出样本验证——在训练样本上找出来的高效应组必须换一批独立数据复现。我在一个用户增长项目里就吃过这个亏第一版模型挑出的最该投放人群在灰度实验里完全没有超额收益复盘发现是几个高度共线的变量把 CATE 估计带偏了。5. 端到端实操一个交错DID的完整案例理论讲完我们把全流程走一遍。这个案例我用了模拟面板数据结构贴近真实场景300 个地区跨越 2010 到 2022 年共 13 年政策从 2014 年起分五批铺开另有一批地区从未实施政策。5.1 数据构造与面板清洗第一步是造一个可控的模拟数据这样才知道真值和估计值差多少。这一步的目的不是替代真实分析而是验证估计量在这个数据结构下是否可信。数据里我刻意设置了两类异质性一是政策效应随时间递增动态效应二是政策效应和处理组规模相关组别异质性。清洗环节有三件事必须做确认面板是平衡的每个单位在所有年份都有观测、构造首处理年份变量从未处理填 0、检查处理状态是否单调一旦处理不回头。代码如下set.seed(2024) n_unit - 300 years - 2010:2022 # 分配首处理年份0 表示从未处理 first_treat - sample( c(rep(0, 60), rep(2014:2018, each 48)), n_unit, replace FALSE ) panel - expand.grid(unit_id 1:n_unit, year years) panel$first_treat - first_treat[panel$unit_id] panel$treated - ifelse( panel$first_treat ! 0 panel$year panel$first_treat, 1, 0 ) # 单位固定效应与时间固定效应 panel$unit_fe - rnorm(n_unit)[panel$unit_id] panel$year_fe - (panel$year - 2010) * 1.2 # 动态处理效应处理第几期效应逐渐增强 panel$rel_period - ifelse(panel$treated 1, panel$year - panel$first_treat 1, 0) panel$true_effect - ifelse(panel$treated 1, 1.5 0.4 * panel$rel_period, 0) # 结果变量 panel$outcome - panel$unit_fe panel$year_fe panel$true_effect rnorm(nrow(panel), sd 1.5)5.2 三种估计量的实现与结果对照数据准备好之后我把 TWFE、Sun Abraham、Callaway SantAnna 三个估计量都跑一遍对比它们的结果。这种对照不是为了选出最好的而是让你亲眼看到偏误有多大。library(fixest) # 传统 TWFE twfe - feols(outcome ~ treated | unit_id year, data panel, cluster ~unit_id) # Sun Abraham sunab_mod - feols( outcome ~ sunab(first_treat, year) | unit_id year, data panel, cluster ~unit_id ) # Callaway SantAnna library(did) csa - att_gt( yname outcome, tname year, idname unit_id, gname first_treat, data panel, control_group notyettreated, clustervars unit_id ) csa_agg - aggte(csa, type dynamic)我跑下来的典型结果是TWFE 给出的系数明显偏小因为后期处理组被前面已处理的单位拉平了Sun Abraham 和 CSA 给出的平均效应更接近真值而且事件研究图上处理前的系数都稳稳压在零附近。CSA 的分组结果还会告诉你哪个处理批次效应更强这一层信息 TWFE 完全给不出来。放到 Python 里可以用differences或csdid等库实现类似逻辑思路一模一样。5.3 稳健性检验与可视化结果出来后一定要做三件事。第一换对照组把 not-yet-treated 换成 never-treated看结论稳不稳。第二换汇总方式动态效应、分组效应、简单平均都算一遍看是否一致。第三做敏感性分析用 HonestDiD 检查平行趋势的微小违反会不会推翻结论。可视化方面事件研究图是标配横轴是相对处理时点纵轴是效应估计和置信区间我把处理前系数画成空心点、处理后画成实心点一眼就能看出趋势是否平整。这一步常常被当成交差用的图但对我来说它是最重要的诊断工具图上一旦出现处理前系数系统性上翘或下沉整个结果就要打问号。6. 常见问题与排查技巧实录最后这部分是我这么多年真正踩过、修过、被坑过的经验专门整理成速查表。6.1 报错与数据问题速查表现象可能原因处理办法att_gt报no valid control group所有单位最终都被处理改用 not-yet-treated或找外部对照事件研究图处理前系数全部显著偏离零平行趋势不成立或存在预期效应检查处理前一期考虑 HonestDiD 敏感性分析TWFE 和新式估计量差异巨大存在禁止比较和负权重优先采用新式估计量把差异作为诊断信号CATE 分组结论无法在留出样本复现过拟合或 Cherry-picking做 calibration 检验跑独立样本验证估计效应符号与业务直觉相反溢出效应违反 SUTVA或对照组被污染检查是否存在跨单位干扰隔离空间外溢6.2 几个不写在文档里的踩坑经验第一个经验是首处理年份的构造一定要反复核。我见过太多案例first_treat填错了——把从未处理填成 0 没问题但有人把处理中断的年份也填进去导致整组时序错位。跑之前用table(panel$first_treat)看一眼分布确认没有异常值、没有缺失这一步只要花两分钟能省一整天排查。第二个经验是别迷信任何一个包的默认设置。did包的默认对照组是 not-yet-treated但如果你所有单位最终都被处理这个默认会导致后期几乎没有有效对照估计不稳定这时候要么换 never-treated 外部对照要么退回到更保守的方法。选估计量之前先摸清自己数据的处理结构是有从未处理还是全部最终处理这一步决定了大方向。第三个经验是CATE 的报告方式决定了它有没有用。不要只给一张 CATE 分布图要落到业务可执行的切片上比如按用户活跃度、地区层级、入职年限分组给出效应区间让决策者能直接对应到自己的策略动作。我习惯在报告里同时给出平均效应和高效应人群画像两块前者回答问题要不要推后者回答推给谁。第四个经验是把整个分析写成可复现的脚本。交错 DID 涉及数据清洗、多个估计量、稳健性检验、CATE 估计一长串步骤任何一步手工操作都可能引入不一致。我现在的做法是把数据准备、估计、可视化全部脚本化参数集中在一个配置文件里换数据只改路径和变量名逻辑一行不动。这样别人复现你的结论、你自己半年后回头看都不会抓瞎。这一篇的笔记就到这里。如果你正在处理分批实施的政策评估我建议的最小工作流是先跑att_gt看分组-时点效应矩阵再画事件研究图核平行趋势然后上因果森林看异质性最后做留出样本验证。这套流程跑下来你拿到的不是一个孤零零的系数而是一份能回答有没有用、对谁有用、有多稳的完整证据链。