【假设】
比如有1、2两个实验层。
1层开了一个实验,对照组A,实验组B,各n%流量。
2层开了另一个实验,对照组C,实验组D。各%m流量。
【说明】
正交的意思就是1层的流量会
随机均匀
地影响2层的流量。
【现象】
这样2层对照组C中,会有n%*m%的流量命中实验B,
实验组D中,也会有n%*m%的流量命中实验B。
【解决的问题】
1层的实验如果流量分配不均可能导致2层实验数据不可信,但是既然C、D两组受到B实验组的影响是一致的都是n%*m%的用户,那这个影响就可以忽略了。
【假设】比如有1、2两个实验层。1层开了一个实验,对照组A,实验组B,各n%流量。2层开了另一个实验,对照组C,实验组D。各%m流量。【说明】正交的意思就是1层的流量会随机均匀地影响2层的流量。【现象】这样2层对照组C中,会有n%*m%的流量命中实验B,实验组D中,也会有n%*m%的流量命中实验B。【解决的问题】1层的实验如果流量分配不均可能导致2层实验数据不可信,但是既然C、D两组受到B实验组的影响是一致的都是n%*m%的用户,那这个影响就可以忽略了。...
由于对照
实验
遵循单一变量原则,能通过对比发现因果性,并根据
实验
结果量化正向和负向的影响程度。
当实现了某个新的特性,我们无法准确预估上线后是增益还是减益,从风险和成本的角度考量,会切分小
流量
进行验证。
小型
实验
也意味着大部分能在单研发团队自助完成,时间和效率也能得到保障。
1-2、适..
一、什么是
AB
测试?
A/B 测试是一种产品优化方法;为同一个优化目标制定两个方案,让同一部分用户中的一部分用户命中 A 方案,同时另一部分用户命中 B 方案,统计并比较不同方案的点击率、转化率等数据指标,通过不同方案的数据表现,在确定数据表现通过假设检验后,决定最终方案的
实验
方法。
二、
AB
测试的意义?
AB
测试是支持数据决策最有力的工具。
以下为最基础的数据驱动流程,方案验证即为
AB
测试过程,
实验
才是检验真理的唯一标准。
三、
AB
测试
实验
什么是n阶拉丁方?
用n个不同的拉丁字母排成一个n阶方阵(n如果每行的n个字母均不相同,每列的n个字母均不相同,即每个字母在任一行、任一列中只出现一次,则称这种方阵为n*n拉丁方或n阶拉丁方。
如,3阶拉丁方
测试用例设计之
正交
法" title="测试思想-测试设计 测试用例设计之
正交
法" border="0">
什么是
正交
拉丁方?
设有两个n阶的拉丁方,如果将它们叠合在一起
1、什么是:测试多个方案后选择一个最佳方案进行全面推广。
2、为什么:通过
实验
方式提升核心指标,进而撬动留存、扩大用户群体、增加收入。
3、如何做:保证足够的样本量、选取无偏差的样本、遵循互斥或
正交
原则。
4、
实验
架构:
流量
分配管理、埋点设计开发、数据收集处理、
实验
效果评估。
5、
实验
流程:需求评审、
实验
创建、埋点圈层、官方放量、渠道放量、
实验
结论、代码下线。
6、统计应用:假设检验依据小概率事件不太可能发生的思想,通过证明假设出现的概率(P值)很小来反证假设的对立面可能成立。