货运双边市场因果推断系列（第十二期）

前言 INTRODUCTION

当无法进行AB实验或者AB实验不够有效（如存在不依从现象）时，正确评估因果效应就需要排除混淆变量的干扰，而排除混淆变量干扰最常用的方法之一就是倾向性得分匹配。

倾向性得分匹配通过估计样本被分配到干预组的概率，并将干预组和对照组的参与者匹配来提高因果推断的可靠性。

目录 CATALOGUE

因果推断目标：测算干预对结果产生的真实影响，即干预效果

以上案例中，「能力、年龄、完单需求」为混淆变量（Confounders），指对干预（Treatment：学历，药物，活动）和结果（Outcome：收入、死亡率、完单量）同时产生影响的变量。

混淆变量的存在导致「干预和结果的相关关系」（或干预样本和未干预样本的差异）无法代表「干预和结果的因果关系」。想要获得准确的因果关系，需要剔除混淆变量的干扰。

需要“阻断”混淆变量对干预的影响，使混淆变量和干预从相关变为不相关/正交，进而准确测量干预效果

例如，通过进行关于药物的随机试验，是否用药便和年龄或其他混淆变量无关了（阻断了年龄等混淆变量对是否用药这一干预的影响），从而得出药物对死亡率的真实影响。AB实验能最有效地剔除混淆变量的干扰，是因果推断的黄金准则

场景

无法进行AB实验：如学历和收入，这种场景无法无法进行AB实验

实验无法有效评估干预效果：即便有AB实验，实验组也可能因用户“不依从”（Non-Compliance，例如虽然对实验组用户开放了某个功能，但实验组用户不一定都会去使用），导致只有少数用户真正受到干预（干预覆盖率低），干预即使对这部分用户有效，但从整体看效果往往不显著

方法

匹配：以药物-死亡率的案例为例，一种很自然的想法是比较不同年龄层内服药和死亡率的关系，每个年龄层内相对同质。这其实是一种匹配（Matching），即将同质（混淆变量近似）样本放到一起比较，避免因不同质而不可比。通过这种方式阻断了年龄对服药的影响

倾向性得分匹配（Propensity Score Matching）: PSM是一种使用倾向性得分进行匹配的因果推断方法，由Paul R. Rosenbaum和Donald Rubin两位统计学家在1983年首次提出，可以降低或消除混淆变量的干扰，从而更准确地测算干预的效果

1. 倾向性得分计算

建立机器学习模型，模型预测每个样本“受干预概率”（Propensity Score），即倾向性得分

2. 样本匹配

匹配：为「受干预样本」寻找倾向性得分接近的「未受干预样本」

检验匹配样本同质性

3. 干预效果计算

对比匹配样本差异，计算干预效果

Y：关注的结果指标，如单量、GTV

X：混淆变量集合，同时也是模型特征。数据时间需要在T发生之前

T：是否受到干预，1-是，0-否

1.1 构建模型：

样本：

    特征：需要尽可能包含所有对 T 和 Y 都有重要影响的混淆变量（X）

标签：样本是否受到干预（T：1-受到干预，0-未受干预）

a. 样本筛选：

    如果是观察性数据（无AB实验），则使用所有样本

    如果是AB实验数据，则只使用实验组数据（因为对照组无法受到干预，如果包含对照组数据，则会导致模型学习到有偏的 X 和 T 的因果关系）

b. 模型训练：

    以X为自变量，T为因变量，训练二分类模型（如逻辑回归、Xgb等）

    模型效果要求：    

    没有明确要求。PSM的最终目标并非训练一个AUC很高的模型，模型的预测结果是为下一步的匹配服务的，关键在于匹配的样本是否同质

1.2 倾向性得分输出：

使用模型预测所有样本的受干预概率，这个概率就是倾向性得分

匹配：从空白组中为干预组样本匹配倾向性得分接近的样本

以最常用的卡尺最邻近匹配（Nearest Neighbor Caliper Matching）为例，过程为：对每个干预组样本，从空白组中寻找一个（通常为一个，但也可以是多个）与其倾向性得分最接近的样本，且两者差异小于某阈值

倾向性得分∈[0，1]，下面例子为了表述方便没有做这一限制

2.1 卡尺最近邻匹配

根据使用细节的不同有以下细分类型：

否：不重复抽样（without replacement），更常用

是：可重复抽样（with replacement）

1个：1对1匹配（one-to-one matching），更常用

>1个：1对多匹配（one-to-many matching）

此外，还有一些其他匹配算法（相对不常用），如核函数匹配、半径内匹配等

2.2 匹配的偏差与方差

不同算法的主要差异在于匹配到的空白组样本数量的多少。一般来说，匹配到的空白组样本越多，Bias（估计值和实际值的系统性偏差）越大，Variance（估计值本身的波动）越小

2.3 算法选择

    没有某种算法严格优于其他（不同场景优劣排序可能有不同）

    推荐使用卡尺最邻近匹配（常用、简单、一般而言效果好），通常选择不重复抽样、1对1匹配，遇不同场景可进行微调：

a. 空白组样本相对不足：可使用可重复抽样

b.     空白组样本相对充足：不可重复抽样

1. 检验「配对的干预组」

和「配对的空白组」

混淆变量（X）同质性：

a. 图示法：画出干预组和空白组变量的分布，比较是否存在显著不同

b. 假设检验法：使用Z检验、t检验、卡方检验等

下图展示了PSM的作用，匹配前（Before Matching）空白组和干预组分布差异较大，匹配后（After Matching）分布则非常近似

2. 若使用卡尺最近邻匹配，则可能有部分干预组样本被丢弃，此时需要检验获得匹配的干预组和原始干预组的分布是否有显著差异

3. 根据检验结果，决定是否进入下一步骤

计算「配对的干预组」

和「配对的空白组」

场景：无AB实验

背景：

活动种类：2022金秋拉货节期间全量上线了「司机战队」、「王者小程序」、「开大奖」、「积分抽奖」等活动，无AB实验

活动目的：

    借助大型活动，提升平台影响力，抢占更多市场份额

    九月为高峰期，通过司机活动促进司机接单完单，提升响应率

目标：评估司机活动是否对司机完单有正向影响

PSM活动效果评估流程：

司机范围：6-9月存在完单的司机

特征数据（混淆变量）：截止8.31司机历史单量、GTV、属性相关特征

预测标签（干预）：是否参与拉货节活动

倾向性得分输出：预测每个司机在9月份参与活动的概率

匹配：使用卡尺最近邻匹配（1对1，不重复抽样）对于每个参与活动的司机，找到其对应预测参与概率最接近的未参与活动的司机

同质性检验：

    匹配司机实验前核心指标同质

    部分参与活动司机未配对，但差异在可接受范围内

对比结果：对比两类司机的单量及GTV指标差异，拉货节活动对司机单量及GTV存在显著正向效果，人均单量较未参与司机高31.6%，人均GTV较未参与司机高12.2%

本文来自数据科学团队- 孙崇衍分享

(●'◡'●)

孙崇衍，高校合作实习生，来自货拉拉数据科学组。就读于香港中文大学市场学博士项目，目前专注于经济学结构化模型在双边市场的研究及应用。