可信实验白皮书系列07：高阶实验工具

本章目录

• 7.1 统合分析

• 7.1.1 统合分析概述

• 7.1.2 统合分析原理

• 7.1.3 统合分析的实际选取逻辑

• 7.2 多重比较

• 7.2.1 多重比较概述

• 7.2.2 二阶段Benjamini-Hochberg方法规避假阳性

• 7.3 拓展与展望

在前面的几个章节中，我们已经详细讨论了许多实验方法的适用场景以及实验设计与评估流程，然而在实际操作中，实验者仍会面临一些常见的困难和疑问。例如由于业务约束，实验者常常无法在单个城市选取足够流量进行实验，即单次实验的样本量难以达到检测出预期提升的功效，从而无法得到显著的实验结论。为此，实验者可能会在多城进行实验或者在同一个城市多次进行实验，以期积累样本量使得能够检测出显著的实验效果。此时，实验者需寻求新手段，科学地整合多次实验的结果，以最终确定策略的有效性。

此外，在一些在线实验中，实验者可能需要考察十几甚至几十个指标的变化情况，或者分多个实验组以同时考察多个策略的效果，甚至实验者有时还会倾向于在完整实验周期结束之前监控实验结果，提前查看显著性。这些操作本质上都涉及到多重的假设检验，当实验指标、组别数量增多和查看结果的频率提高时，假设检验的次数也随之增加。虽然单次假设检验能将第一类错误率控制在5%，但在多次假设检验中犯第一类错误（无效策略错误判为有效）的概率却不再是5%，而是可能远大于这个概率。

7.1 统合分析

| 7.1.1 统合分析概述

在实际业务中，可能在不同城市等（可不同时）开展同一个实验，或者在同一城市进行正交随机化后的重复实验，亦或是两者皆有。这些实验相互之间可以认为是独立的。统合分析旨在综合考虑多个考察同一策略的独立实验，对这些实验的实验结果进行统合分析，从而给出对于这些实验整体效果的评估结果。一种业务上常用的整体评估方式是打包分析，即将多次实验的实验单位数据放在一起进行计算。

统合分析相比直接打包分析有几个主要优势：

1. 统合分析提高实验功效。例如在多个城市分别开展多次实验时，如图7-2所示，城市间的差异可能导致打包分析的方差较大，而统合分析实际上考虑了按子实验的分层，降低子实验之间差异带来的方差，提高检验灵敏度。而从估计量业务口径上来说，统合分析在很多时候也能与打包分析的估计结果对齐。
2. 统合分析快捷方便。当在不同时间进行多次实验得到各自单个实验的结果后，打包分析需要拿到所有实验的明细数据进行整体的显著性计算，而统合分析只用在各个实验的结果基础上进行二次处理即可。
3. 当使用逆方差等加权方式来进行统合分析时，能够有效避免辛普森悖论对分析结果的影响，得到业务上较好解释的整体结果。

| 7.1.2 统合分析原理

p值：

1. 逆方差加权（固定效应模型）

逆方差加权（固定效应模型）提高实验功效的效果是最佳的，因为它在所有加权方式中选取了使得统合后方差最小的加权方式。从统计学直观上来说，对于方差较大的实验，我们可以认为其估计结果相对不太精确，会给予较低的权重。反之对于方差较小的实验，我们可以认为其估计结果相对精确，会给予较高的权重。但同样逆方差加权的使用所依赖的假设条件也是最强的，需要假设每个实验的实验效果都能认为是相同的。此外需要注意的是，使用固定效应模型的逆方差加权在解释意义上与传统的打包实验意义会有不同，导致口径存在区别（在每个实验样本独立同分布时往往比较类似）。

2. 逆方差加权（随机效应模型）

逆方差加权（随机效应模型）与逆方差加权（固定效应模型）的核心思想类似，但在假设上相对较为宽松，认为多个实验的策略效果估计量实际上是在一个平均效果附近波动的随机变量，通过正态分布来刻画多个实验结果。同样在解释意义上，会与打包分析的口径存在一定区别。具体的对于随机效应模型，权重可以取为：

由此，我们可以得到统合估计量：

统合方差为：

3. 分母求和加权（比率型指标）

这个权重取法的假设前提是：

4. 样本量加权（连续型指标）

| 7.1.3 统合分析的实际选取逻辑

面对多种统合分析权重，以履约实验为例，在兼顾业务解释意义以及功效角度下，建议实际选取逻辑为：

Step1：先判断是同城多实验统合，还是多城实验统合。如果是同城多实验统合，则直接使用逆方差加权（固定效应模型），否则进入下一步。

Step2：判断是比率型指标还是连续型指标。

7.2 多重比较

| 7.2.1 多重比较概述

多重比较问题（Multiple Comparison Problem）是统计分析中常见的一个挑战，特别是在同时进行多个假设检验时。随着检验数量的增加，出现假阳性结果（即错误地拒绝原假设）的概率也显著增加。这会导致结果的不可靠性和科学发现的误导性。

| 7.2.2 二阶段Benjamini-Hochberg方法规避假阳性

在业界与学界当中，对于多重比较情况有很多方法可以来纠正P值，例如Bonferroni、Holm、Conditional Calibration  BH等技术，受限于篇幅这里一一列举。我们主要依赖的理论是Benjamini-Hochberg方法。

Benjamini-Hochberg方法

具体步骤如下：

1. 多个假设检验：假设我们有个独立的假设检验，每个检验都有一个对应的值。我们记这些值为。
2. 排序值：将所有的值按从小到大的顺序进行排序。假设排序后的值为，对应的原假设分别为。
3. 选择FDR阈值：设定一个较为宽松的FDR阈值，这通常是一个较高的值，以便在第一阶段识别更多的可能显著的假设。
4. 计算临界值：对于每个排序后的值，计算其对应的临界值：临界值=。这里，是当前值的排序位置。找到最大的，使得：。这意味着从第一个到第个值都被认为是显著的。
5. 筛选显著假设：将所有满足的假设标记为显著。记录不显著的假设数量为。

二阶段Benjamini-Hochberg方法

上面Benjamini-Hochberg方法可以证明严格控制，其中为零假设正确的个数。为调整实现恰好，二阶段BH方法在传统 一阶段BH方法的基础上，通过初步估计真假设数量，然后在第二阶段对临界值进行更精细的调整，以控制FDR。在一阶段应用BH方法以初步筛选出不显著的个假设后，我们在二阶段进入循环过程：

1. 调整临界值：对于一阶段中得到的阈值，我们进行调整得到新的阈值。
2. 筛选显著假设：根据这个新阈值可以重新筛选假设，仍记录新的不显著假设数量为。

7.3 拓展与展望

在互联网的线上实验当中，实验者往往期望在实验运行期间就不断监控实验结果，来观测实验的走势是否符合策略预期以及样本量是否能满足需求。这里常常会有一个误区，例如在传统的随机对照实验中，实验者在实验中期观察到有策略显著的情况时，会认为策略有效从而提前结束实验，以缩减实验周期并加快策略迭代频率。

然而，学界有不少研究指出，在实验期间不断偷窥实验结果会带来假阳性问题，因为直观来说，实验者每看一次结果都相当于进行了一次假设检验，多次查看即会有多重比较问题。理论上如果实验周期足够长，并且在实验期间不断进行数据收集和分析，那么几乎一定观察到一次显著的情况，这显然是不符合实验的初衷的。

在这种情况下，为了兼顾实验者缩减实验周期提前观测结果的诉求与多重比较情况下的显著性结果科学性，我们探索了混合序贯概率比检验、成组序贯分检验等序贯分析的方式，能够在控制第一类错误的情况下进行中期分析，一旦统计学上足够显著即可立即停止实验，节省实验成本。一般来说，这些序贯分析的方式通常要求在不同时间进入实验的实验单元相互是独立的，因此通常较为适用于订单随机分流等实验单元只会随着时间唯一出现的情形。

此外，一般实验者在策略中会涉及到很多参数的选择，如何对合适的策略对象选择效果最优的参数也是实验者十分关心的问题。异质性因果效应估计即HTE方法会关注不同子群体对同一策略的不同反应。传统的随机对照实验通常假设所有实验单元对策略的响应是均匀的，但在实际情况中，不同的用户群体可能对同一策略有不同的反应。在实验中，HTE方法允许实验者在实验过程中进行更细粒度的分析，识别不同子群体的反应差异。

在参数寻优方面，MAB（多臂老虎机）是一种动态分配策略，旨在在实验过程中不断调整资源分配，以最大化策略的整体收益。它模拟了赌博机的操作，试图在不同策略（臂）之间找到最优选择。MAB适用于需要在实验过程中快速迭代和调整策略的场景。通过动态分配资源，MAB能够在保证探索和利用之间取得平衡。MAB方法在实验中期允许实验者根据实时反馈调整策略分配，减少资源浪费并提高实验效率。这在资源有限或时间紧迫的情况下尤其有用。

在搜索、广告和推荐等排序场景中，为解决溢出效应以及提高实验灵敏度，Interleaving（交错式）实验设计不失为一种可行的解决方案。与传统的A/B实验不同，Interleaving实验考虑将A、B两种策略的推荐结果依次随机交织到同一个推荐列表后再展示给用户，而不是将用户分成不同组分别展示不同算法的结果。通过观察用户在这些混合结果中的行为（如点击行为），可以更快速和精确地评估哪种算法更优。该方法的优势在于使用较少的样本量就能区分出两种策略的优劣，然而其无法直接给出具体的差异值，并且工程实现成本较高。在使用时也可考虑先通过该方法快速筛选出较优的策略，如有需要再使用其他实验方法得到具体的提升幅度。