货运双边市场因果推断系列（第十五期）

前言 INTRODUCTION

在货运AB实验的场景中，分流单元与分析单元不一定相同。当分流单元与分析单元不一致时，常用的假设检验方法会使得指标方差被错误计算，影响统计量与p值的计算，对检验结果造成干扰。

以在订单分流实验中，检验GTV配对率差异的显著性为例。

该实验分流单位是订单ID，而GTV配对率的分析单位是交易单元，即¥1。此时分流单位与分析单位出现了不一致的现象。

当前GTV配对率的假设检验方法为单量矫正法。定义检验统计量Z为

其中变量及其指标含义分别对应下表：

本文提出了基于Delta Method的假设检验计算，通过构造

的无偏估计，从而得到假设检验统计量，解决分流单元与分析单元不一致时，犯第一类错误概率过高的问题。同时会结合Bootstrap方法进行数据对比，比较两种纠偏方法的效率。

目录 CATALOGUE

1. Delta Method

Delta Method在统计里通常可用来求渐近分布。利用连续可导的函数，将一种或多种随机变量转化为新的随机变量，可用于求样本均值、样本矩函数等。

Delta Method的公式有单变量与多变量两种形式，多变量的公式如下：

以GTV配对率为例

GTV配对率是反映交易金额转化效率的指标，其计算公式为 GTV配对率 = 配对GTV / 执行单GTV 。在订单ID分流的实验中，业务方与分析师会对比不同实验分组间该指标的差异，从而判断策略是否能够提升交易效率。

2.1 分流单元与分析单元一致化

记GTV配对率为r，改写公式

2.2 利用Delta Method计算方差

2.3 构造假设检验与计算统计量

2. Bootstrap方法

Bootstrap 是现代统计学较为流行的一种统计方法。通过对给定数据集进行有放回的重抽样以创建多个数据子集，生成统计量的经验分布，可以计算标准误差、构建置信区间并对多种类型的样本统计信息进行假设检验,其应用范围逐步扩大，是目前业界对工业化 ABTEST 实验效果常见的处理方法。

在实验中我们采用非参数的 Bootstrap 方法，其核心思想和基本步骤如下：

1. 订单ID随机分流

1.1 对比方案

为了更直观地理解使用错误的方差所带来的危害，利用当前真实数据模拟AA实验。实验信息如下：

1.2 对比结果

在GTV配对率差异的假设检验计算中，Delta Method可有效控制犯第一类错误的概率，相对Bootstrap效率更高。

Delta Method与分位数Bootstrap法中，犯第一类错误的概率与

取值接近。原始方法与单量矫正法中，犯第一类错误的概率过大，原始方法的拒绝域区间宽度过窄，稍有偏差就会导致第一类错误的发生。

Bootstrap方法虽然准确，但复杂度过高，需要对全体样本有放回地抽样，计算时间长，相较之下Delta Method方法效率更高。

2. 用户ID随机分流

2.1 对比方案

实验信息如下：

2.1 对比结果

在用户下单配对率的假设检验计算中，Delta Method可有效控制犯第一类错误的概率，相对Bootstrap效率更高。

三种方法的MDE接近，但是犯第一类错误的概率差异较大。Delta Method与分位数Bootstrap法犯第一类错误的概率与

取值接近，而原始方法犯第一类错误的概率过大。

某采取订单id分流的实验，实验组的GTV配对率正向0.4p.p.。

现需要判断：GTV配对率是否显著不为0

对比原始方法、单量矫正法与Delta Method方法可得到下表：

• 原始方法的方差过小，进而导致统计量过大，很难得到差异不显著的结论，缺乏科学性。

• Delta Method与单量矫正法都得到不显著的结论，但Delta Method方差更大，检验结果相对更科学。

某采取用户id分流的实验，实验组的用户下单配对率负向2p.p.，用户下单量多0.6%。

现需要判断：用户下单配对率差异是否显著不为0 

2.1 用户下单配对率

本文来自数据科学团队- 潘卉怡分享

(●'◡'●)

潘卉怡，来自货拉拉数据科学团队，目前承担拼车、低价车型等项目的分析工作