简介

我开发了tea-tasting，一个用于 A/B 测试统计分析的 Python 包，其特点是：

• 学生 t 检验、Bootstrap、CUPED 方差减少、功效分析以及其他开箱即用的统计方法和方法。
• 支持广泛的数据后端，例如 BigQuery、ClickHouse、PostgreSQL/GreenPlum、Snowflake、Spark、Pandas 以及 Ibis 支持的其他 20 个后端。
• 可扩展 API：定义自定义指标并使用您选择的统计测试。
• 用于减少手动工作的便捷 API，以及最小化错误的框架。
• 详细文档。

在这篇博文中，我探讨了在实验分析中使用品茶的每一个优点。

如果您渴望尝试，请查看文档。

统计方法

品茶包括统计方法和技术，涵盖了您在实验分析中可能需要的大部分内容。

使用学生 t 检验和 Z 检验分析指标平均值和比例。或者使用 Bootstrap 来分析您选择的任何其他统计数据。并且有一种使用 Bootstrap 分析分位数的预定义方法。 品茶还可以检测 A/B 测试不同变体的样本比例不匹配。

品茶采用Delta法来分析平均值的比率。例如，假设会话不是随机化单位，则每平均会话数的平均订单数。

使用实验前数据、指标预测或其他协变量来减少方差并提高实验的灵敏度。这种方法也称为 CUPED 或 CUPAC。

学生 t 检验和 Z 检验中百分比变化置信区间的计算可能很棘手。只需取绝对变化的置信区间并将其除以控制平均值就会产生有偏差的结果。 品茶采用delta法计算正确的间隔。

分析学生 t 检验和 Z 检验的统计功效。有三种可能的选项：

• 给定统计功效和观察总数，计算效应大小。
• 给定统计功效和效应大小，计算观察总数。
• 给定效应大小和观察总数，计算统计功效。

请参阅详细的用户指南了解更多信息。

路线图包括：

• 多重假设检验：
  • 系列错误率：Holm–Bonferroni 方法。
  • 错误发现率：Benjamini–Hochberg 程序。
• A/A 测试和模拟，用于分析任何统计测试的功效。
• 更多统计测试：
  • 频率数据的渐近和精确检验。
  • 曼-惠特尼 U 检验。
• 顺序测试：mSPRT 的 p 值始终有效。

您可以使用您选择的统计测试来定义自定义指标。

数据后端

有许多不同的数据库和引擎用于存储和处理实验数据。而且在大多数情况下，将详细的实验数据拉入 Python 环境的效率并不高。许多统计检验，例如学生 t 检验或 Z 检验，仅需要汇总数据进行分析。

例如，如果原始实验数据存储在 ClickHouse 中，则直接在 ClickHouse 中计算计数、平均值、方差和协方差比在 Python 环境中获取细粒度数据并执行聚合更快、更高效。

手动查询所有必需的统计信息可能是一项艰巨且容易出错的任务。例如，使用 CUPED 分析比率指标和方差减少不仅需要行数和方差，还需要协方差。但别担心——品茶这一切都可以为您服务。

tea-tasting 接受 Pandas DataFrame 或 Ibis Table 形式的数据。 Ibis 是一个 Python 包，用作各种数据后端的 DataFrame API。它支持 20 个后端，包括 BigQuery、ClickHouse、PostgreSQL/GreenPlum、Snowflake 和 Spark。您可以编写 SQL 查询，将其包装为 Ibis 表，然后将其传递给 tea-tasting。

请记住，品茶假设：

• 数据按随机化单位分组，例如个人用户。
• 有一列指示 A/B 测试的变体（通常标记为 A、B 等）。
• 指标计算所需的所有列（例如订单数、收入等）都包含在表中。

一些统计方法，例如 Bootstrap，需要精细的数据进行分析。在本例中，tea-tasting 也会获取详细数据。

在数据后端指南中了解更多信息。

便捷的API

您可以仅使用 NumPy、SciPy 和 Ibis 执行上面列出的所有任务。事实上，tea-tasting 在幕后使用了这些包。 tea-tasting 提供的是一个方便的高级 API。

展示比描述更容易。这是基本示例：

import tea_tasting as tt


data = tt.make_users_data(seed=42)

experiment = tt.Experiment(
    sessions_per_user=tt.Mean("sessions"),
    orders_per_session=tt.RatioOfMeans("orders", "sessions"),
    orders_per_user=tt.Mean("orders"),
    revenue_per_user=tt.Mean("revenue"),
)

result = experiment.analyze(data)
print(result)
#>             metric control treatment rel_effect_size rel_effect_size_ci pvalue
#>  sessions_per_user    2.00      1.98          -0.66%      [-3.7%, 2.5%]  0.674
#> orders_per_session   0.266     0.289            8.8%      [-0.89%, 19%] 0.0762
#>    orders_per_user   0.530     0.573            8.0%       [-2.0%, 19%]  0.118
#>   revenue_per_user    5.24      5.73            9.3%       [-2.4%, 22%]  0.123

具有独立参数化和推理的两阶段方法在统计建模中很常见。这种分离有助于使代码更加模块化且更易于理解。

品茶执行的计算可能很棘手且容易出错：

• 用Delta方法分析比率指标。
• 使用 CUPED/CUPAC 减少方差（也结合比率指标的增量方法）。
• 计算绝对变化和百分比变化的置信区间。
• 统计功效分析。

它还提供了一个表示实验数据的框架以避免错误。按随机化单位对数据进行分组并包含数据集中的所有单位对于正确分析非常重要。

此外，tea-tasting提供了一些方便的方法和功能，例如漂亮的结果格式和度量参数的上下文管理器。

文档

最后但并非最不重要的一点：文档。我相信良好的文档对于工具的采用至关重要。这就是我编写多个用户指南和 API 参考的原因。

我建议从用户指南中的基本用法示例开始。然后您可以在同一指南中探索特定主题，例如方差减少或功效分析。

请参阅数据后端指南，了解如何将您选择的数据后端与品茶一起使用。

如果您想要执行品茶中未包含的统计测试，请参阅自定义指标指南。

使用 API 参考探索 tea-tasting 中可用的所有参数和有关函数、类和方法的详细信息。

结论

有多种统计方法可以应用于实验分析。但在大多数情况下实际使用的只有少数。

另一方面，有一些特定于 A/B 测试分析的方法，这些方法不包含在 SciPy 等通用统计包中。

品茶功能包括最重要的统计测试，以及特定于 A/B 测试分析的方法。

品茶提供了方便的API，有助于减少分析时间并最大限度地减少错误概率。

此外，品茶通过在您选择的存储数据的数据后端中计算统计数据来优化计算效率。

通过详细的文档，您可以快速学会如何使用品茶来分析您的实验。

附：套餐名称

包名“品茶”是一个双关语，涉及两个主题：

• 女士品茶是罗纳德·费舍尔设计的一个著名实验。在这个实验中，费舍尔开发了零假设显着性测试框架来分析一位女士的说法，即她可以辨别是先将茶还是牛奶先添加到杯子中。
• “茶品尝”在语音上类似于“t 测试”或学生 t 测试，这是由 William Gosset 开发的统计测试。