数据分析【实践】——AB测试的应用、案例及关键点

案例：某客户端当前大盘次日留存率45%，最近决定准备上线一个直播功能，预估至少提升0.2%留存率，最终也上线了一周的数据，发现实验组与对照组留存率一直差不多(或者提升太多)，怀疑是不是实验组和对照组本身就有差异。

这种情况下：测试之前应该要做一个AA测试

实验组：10w
对照1组：10w
对照2组：10w

通过对比对照1组和对照2组的留存率指标看流量分配是否有问题。

数据分析：实验天数

案例：某客户端当前大盘次日留存率45%，最近决定准备上线一个直播功能，预估至少提升0.2%留存率，每天只有10w的用户量可以做测试，问实验需要多久。

最少样本量为：98w，每天10w，至少需要10天
用户新鲜效应：3天
用户行为周期：周末与平时产品差异很大，需要覆盖一个周末

因此总共实验天数为10+3=13天，也就是测试大约2周

而且在上线后的实验组前几天数据是不可信的，需要长期观察。

数据分析：提升是否显著

案例：某客户端每天有5万用户进入，最近2级功能UI整改，目的是提升点击率，用户在第一次进入的时候被随机分配到A/B组，并后续持续为该组用户。

统计结果：实验组点击率0.02，对照组0.018
问题：现在业务方无法判断提升是否明显？

可以用z检验进行去计算，一般取95%置信区间，求出对应的z值，求出P值，对比其显著性。

这里1.637小于z值1.645，所以提升不明显。

数据结论

• 即时实验效果不会也要及时同步数据，并及时排查原因
  例子：对过去30天薅羊毛特征未活跃用户，实验组通过短信方法发送优惠券，最好和对照组相比数据没有任何提升，排查发现是短信点击率非常低，后改为app弹窗效果明显提升。
• 即时实验组功能指标好于对照组，仍然要评估两组的收入成本指标
  例子：某汽车页面实验组增加了一个点击按钮，对照组没有增加，实验组点击率显著优于对照组，但在最终交易额上，对照组更高，因此选择对照组方案。
• 实验组和对照组可以按照用户基础属性来做拆分，看的更加全面
  例子：对于新用户往往产品接受度更高，实验组UI改版上转化率明显要提高；而对于老用户产品习惯已经养成，实验组UI改版上转化率反而下降。

—————————————————————————————————————————————————
博主码字不易，大家关注点个赞转发再走呗 ，您的三连是激发我创作的源动力^ - ^