Netflix 系列(一）：Netflix 如何做决策

这一系列文章将涵盖了 A/B 测试的基本统计概念、实验在 Netflix 中的作用，以及 Netflix 是如何投资基础设施，从而支撑和扩展实验，以及 Netflix 内部实验文化的重要性。

Netflix 的经营理念是：「消费者的选择与掌控权，是娱乐体验的中心」。

作为一家公司，他们不断开发其产品，并不断追求这一价值主张。例如，Netflix UI 在过去十年中经历了彻底的转变。

早在 2010 年，用户界面是静态的，导航选项有限，演示文稿的灵感来自视频租赁店的展示。

而现在，用户界面是沉浸式和可视频转发，导航选项更丰富，但不那么突兀，并且 「Box Art」的展现形式更充分地利用了数字体验。

图 1：2010 年的 Netflix TVUI

图2 ：2020 年的 Netflix TVUI

从 2010 年的体验过渡到现在（2021年）的体验，需要 Netflix 做出无数决定。例如，

• 单个标题的大显示区域与显示更多标题之间的正确平衡是什么？

• 视频比静态图像好吗？

• 如何在受限网络上提供无缝的视频转发体验？

• 如何选择要显示的标题？

• 导航菜单属于哪里，它们应该包含什么？

这个问题列表还在继续增长。

• 领导：让领导做出决定。

• 内容专家：聘请一些设计、产品管理、用户体验、流媒体交付和其他学科方面的专家，然后用他们最好的想法去做。

• 内部组辩论，让同事中最有魅力的观点占据一席之地。

• 外部：复刻竞争对手。

图 2：不同的决策方式。从左上起顺时针：领导、内部专家、内部组辩论、复刻竞争对手。

这些决策方式中的每一种，总会有一些观点和角度，有助于做出决定。在 Netflix ，领导小组很小，内部组辩论也不会太大。在其需要做出决策的每个领域，专家资源也做不到「取之不尽」。

然而，可能有几十种流媒体或相关服务可以作为我们的灵感来源。此外，这些方式并没有提供一种系统的方式来做出决策，或解决相互冲突的观点。

Netflix 认为，有更好的方式来决定如何改善其向会员提供的体验：

他们使用 A/B 实验，而且，实验是可以规模化的。

实验不是让一小群高管或专家参与决策，而是让 Netflix 所有会员有机会用他们的行动投票，决定如何继续发展他们愉快的 Netflix 体验。

更广泛地说，A/B 测试以及其他因果推理方法是 Netflix 使用「科学方法」为决策提供信息的方式。例如后续文档将讨论了的 「A/B实验」，以及「准实验」。

简单来说，就是：

 首先，要形成假说；

然后，再收集经验数据，包括实验数据，为刚形成的假说提供支持或反对的证据；

最后，得出结论，并产生新的假说。

「实验」在支撑科学方法的演绎（从一般原理中得出具体结论）和归纳（从具体结果和观察中形成一般原理）的迭代循环中起着至关重要的作用。

接下来的系列文章中，我们会讨论：

• 什么是 A/B 实验？

• 如何解释A/B测试结果：假阳性和统计意义？

• 解释A/B测试结果：假阴性和它的用途

• 什么是「准实验」？

• 建立决策信心

• 实验是整个Netflix 数据科学的一个主要焦点

• 持续学习的文化

科学方法是一种获取知识的经验性方法。

至少自17世纪以来，一直是科学发展的特征（前几个世纪有著名的实践者）。

考虑到认知假设可能会扭曲人们对观察结果的解释，它需要仔细观察，对观察到的内容应用严格的怀疑态度。

科学方法包括根据这些观察结果通过归纳形成假设；对从假设中得出的推论进行基于实验和测量的统计检验；以及根据实验结果完善（或消除）假设。