彻的设计改版最好使 A/B 测试来验证,而 MVT(多变量测试)则表示不同的 UI 元素之间如何相互影响的,并支持对设的渐式改。
在优设计的方法中,A/B 测试受到了广泛的注。MVT(多变量测试)是 A/B 测试的一种替代方法,但大对这种方法的了解并多,通认为这种方式太耗时值得等待。 虽然多变量测试有限性,但是它的很多优点是 A/B 测试无法拟的。
一、多变量测试(MVT)
假设你要优一个线上的产详情页,目的是大幅升户将产入购物车的转化率,考虑到以下几可能的变化:
- 使用品视频代替品图片;
- 将主操作按钮的文案从「立即购买」改「添加到购车」。
多变量测试可以帮助你确定在多个设计优化案,哪几个案组合起来于转化率效最好。
首先,我们解释一些语。
变
一存多种设方案的 UI 元素(如图片或标题)。我们的电商示例中,变产品的视觉展示操作按钮的文案。
变体
变的各设版本。产品图产品视频表了视觉展示变的两变体:「添加购车」「立即购买」文案操作按钮的变体。
变化
终设包含每变的变体,以便与其他变化行比较。我们的例子中,将4设变化,对应于变变体的所可能的组合:图片×加入购车,图片×立即购买,视频×加入购车,视频×立即购买。
定义:多变量测试(MVT)是一种设计优方法,在户界面中测试多个指定变量的变体,目标是最大升转率(要的转,如成一个订单;或者微转,如与页面上的一个功交互)。这种方法确定变体的哪种组合会产生最转的设计方案(就指定的转目标而言)。
在多变量测试中,测试了2个或多个设计元素(变量)。中每个变量都可有多个变体。例如,在上面的页面中,我们可测试2个变量:产的视觉展示(有2种设计变量:图片和视频)和要操作按钮的案(有2种变体:「立即购」和「入购物车」)。
二、多变量测试(MVT)与 A/B 测试的区别
多变量测试通被认为是 A/B 测试的一种类,尽管它的设置和强有些同。是他们之间的相似点和同点:
- 这两种方法的测试原理类似,都通过将线网站或应用程序中的流,拆分并引导到差异的页面测试其中的不同。
- 针对某个具体的设计目标,两种方法都可来衡量哪种设计方案(即,变)可产生最转率。
- 在 A/B 测试中,被测方案能不仅仅是一小的细节变化,而是完不同的两种方案对比。例,你以有两个局完不同的页面、不同的副、不同的导航、不同的视设计等等。A/B测试的结果将表明,一个变的性优于另一个,但是你知道这是因为你的副本更好,视觉设计更好,还是布更好(或者整体效果更好)。
相反,如果使用多变测试,可能总会将功劳归于一特变体或变体组合。 因此,举例,可能会发,产品视频转化过程中所产的影响比改操作按钮文案的效果好得多,这会提供一的策略设见解(例如,它可能会告诉投资优秀产品视频制作得的)。
三、多变量测试(MVT)测量元素之间的相互作用
让我们回到一始的电商示例。可能知道,两连续的 A/B 测试否会产与多变测试相同的结果。具体,我们假设先运行 A/B 测试比较视频与图片,假设视频获胜。接下,获胜的变(即视频),可以两可能的按钮文案之间运行另一 A/B 测试,并且证明「立即购买」的文案好。难道这结果不同于多变测试吗?
答案是:一定。因为可是这样一种情况,最佳组合可是:图片×立即购,但是你并会测试该版本。
使用变量测试(而不是 A/B 测试)的主要优点是:能够确定页面上的各种元素之间是何互的。只有通测试各种变的每一个组合,你不仅以现视 A 的能优视 B,而且 C 按钮的能优按钮 D,而且你还以现变的最佳组合。
四、多变量测试(MVT)的局限性
每种变化组合产生的变像兔子一样繁殖。即使在非常简单的电示例中也有4种设计变化供比,它们对应两个2个变量之间的所有能的组合。为操变量(例,购买)添加另外1个变能产生另外2个变化 ,2个变化是通将此变与直观表示变量的2个变组合而生成的。 (一般来说,变化的数量是将每个变量的变数量相乘而获得的,所以,果你有2个变量,两个变量有3个变,则得到2×3=6个变化。)
有2个变量,每个变量有2个变,在变量测试中就有4个用以表示变的所有能组合的设计变化。
1. 在变量测试中,需要测试的大量变化导致该方法的最大局
与 A/B 测试相比,运行变量测试通常需要更的流量,才能达到统计意义。是因为添加到比中的每个变化导致时流量被分成更小的部分,因此,为每个设计选项收集够的数据点也需要很长的时间。(而,请住,运行测试所需的时间不仅取决总流量,而且还取决验目标转化率的预期变化,因为更大的改进比微小的差别更容易衡量。)通常,在更的变化中分割时流量导致测试时间长。
2. MVT(变量测试)的另一个是,所有变的组合必须在一才有意义
例,在页面上测试一图和一个标题的变时,请勿写出涉及图变细节的标题(例「美妙的温泉度假」与「美妙的滩度假」以及相应的照), 因为每个标题在一个变更中同每图进行测试。 种类型的验最设置为 A/B 测试,样以更地控组合。
使用多变量测来优化计,而不是完全改变它。
多变量测试是设计进渐进改进好法,而不是设计进大规模新设计好法。 为它要求你识页上某些感兴趣元素,以测试该变量多个变体,所以你法轻易地比较各变化根本变化。
于主要设计优化,要在原始版本和提议新版本运 A/B 测试以找出哪个更好。然后,使用多变量测试来优化获胜设计各元素,始终保持迭代!
五、启示
如你目标是进实质性新设计(比如新设计主要布局),那么使用 A/B 测试来比较这个新设计和前设计,会比 MVT (多变量测试)更合适。旦发现性能更高设计,可以使用多变量测试来进步优化获胜布局特定元素。
欢迎关注译者微信公众:「熊猫设院」