日常工作,在品原型设计阶段,很多时候品经理和设计师评估设计案,会存在隐忧:
- 设计方案的改进方向对吗,为什么一定要改掉「旧版」?契机到吗?
- 设计案改再改,多个版本到底哪个案更好?好在哪里?
是因为设计师在处理设计方案的时,大部分采用用户访谈,竞品分析,用测试甚至直经验判断等定的方式,即使使用定量问卷,也无法直接询问「哪个方案更?」种用户「容易说谎」的问题。就使得设计方案的推导具有一定的主观,在 C 端产品的设计中尤为容易遭受质疑。
体验设计要更「学」,要求设计师培养数据意识,将体验设计成场「实验」,讲求从品数据发现问题,找到问题信息,并最终验证案有效性。
管是在产的成长初期探索方向,还是产的成熟期商阶,使数据思维都可以帮助品快速迭代,调。如何进数据思维案设计呢,可以归类为个框架:
△ 数据思维框架
如微信信卡还款是一个体量较大的成熟期产,一方面户养成了固有习惯,适合大刀阔斧地进行版本优;另一方面,小的体验改一定会带来数据的升。
因此就对应了文章开头所说的隐忧,这个候采用数据验证的方式来进行一些计方案的判断,是比较适的方法。
下面我将结合近微信信用卡还款-分还款改版的产品案例,按照述框架,详细讲解一下行版本 A/B test 数据验证的过程。
当更大功能的迭代需要收集数据信息,进行数据分析,结合性方法,再行线测试数据验证,越科学严谨越好。因分还款流程简单,因此重关注改版数据验证。
对于设方案,明确目标第一。这目标可能脱胎于产品的方向,比如拉新,活跃,商业化。对应到具体的产品流程中,可能就提升转化率,提升客单价,提升用户粘性。
拿次要改进的分期还款设计来说,分期还款既是一种为用户提供的还信用卡的补充方式(用户价值);又以通和银行合获得分润(业价值)。
分期接入,从 2016 年到现在,有个银递增过程。功能搭完成后,分润模可以帮助我们明确分期案业务目标为:提升用户分期笔数。(至于目标设定德伦理和诚实设计,是另个话题了)
△ 分期款银不断接入
明确目标后,需要品流程进分析,进指标进步拆分。看下流程哪些指标提升有助于目标实现,比如在分期流程,提升用户笔数可以拆分为:增加分期用户数量和击用户转化率。
就是在流程中的第二、第步是最容易成目标的,缩小了问题的范围。
△ 分期流程图
理想的情况下,针对第二步和第三步可以有多种方案,针对关键息进行排列组直找最优解(如歌计冲刺等方法可以提供帮助)。
但本次改版里,我们可以通过走查线版本体验问题,提出改假设。同时线数据走查也后续对比准备。
△ 线分还款页面走查
走查,通定分析和点击数据总结问题下:
- 入口弱:分还款置「多还款方式」中,用户浏览低;
- 金额不清晰:页面中出现「能分期的金额」和「每期要还金额」「手续费」,且有能与前一个页面中的期要还款的总金额有差距(因为银行分期金额是由系统测给出的);
- 用户试算不便:在选择分期期数和额比存在隔,多分期期数是隐藏。
提升的关键指标已拆分:增加分用户的数点击用户的转化率;
要决的页面问题点也已经达成共识,此时就以着手提供一个方案,也以称之为一个假设。
案假设需要关注以下信息:
1. 核心用户群(用户标签和分类)
在本分期用户「核心用户群」提取不在此赘述,是为分期银用户本身有个区分;是由于时问题没有提取完用户画像,后续接入 Bi 系统再进仔细盘查。
2. 需要优化变量
本案主要是分期用户最关心变量「期数和手续费」展示进了优化。
3. 案要实现目标是什么
也是案设计初,我们想到什么结。上文已经提到了,增加平台商业收入,为此要提升分期款笔数。
4. 案设计依据是什么
在设计案时候,制定了设计原则,如下图:
△ 设计原则
设计原则是在第二步做问题定位的时候推导来的,作为后续方案产生的依据。
△ 界面元素规划
需要注的是在 A 和 B 方案之间尽量控制变量,一变量的差距越显,结果越有说服力;反之,多种变量导致的对比越模糊,结果就会越模糊,因为没有法追溯底是什响了结果。
本次分还款改版中,我认需对比的变:「分数金额的对比」,它对用户的转化直接影响。因此设方案的改中,也重优化了这块内。
5. 观察什么测试结果(测结果对比)
本方案中观察的结果对比分试算页面提交按钮的点击,以及后整分转化率的对比。
△ 方案改造后对比
△ 试算、完、账单记录全面优化
此次方案线的过程中,我们将新旧版本作 A/B test 同时线行灰度测试,用以对比单一变「分数手续费」不同展示况下,对用户分笔数的影响。
除定灰度策略,还需要控 A/B 方案用户包,定测试时间,以证在单位时间内,A/B 方案的用户质量、用户浏览量基一致,样的数据才具有对比。还要避免在期拉取数据的时出错,或者数据差距太大失去比。
本前端小伙伴先上线了针两家银白名单,然后制定了 10% 灰度策略,全程监测问题后逐步放量灰度至各 50%,灰度后进了数据收比。
△ 上线A/B test案
分期改版结如何呢?可以认为这是个「成功」改版,为预期结(用户击和转化提升)到了验证。时为是商业化项目,转化率提升意味着实实在在业务收入增加。
△ 界数据提升和数据提升
关键结论:
- 入口从多还款方式中提出后,用户入口点击提升3.61倍;
- 用户试分期方案页面点击转化提升 24.20%(同比);
- 用户分期笔数比上个月期提升了 5.92%(比,基数到笔以上)。
同时进行 A/B 方案的热力点击图对比:
△ A/B 方案热力图对比
在热力图可以看出:
- A方案(旧版)用户点击页面为凌乱,而且在很不是操区的地方也有点击;
- B案(新版)用户击更为,基本上在分期期数和额比上。而选择案跟系统「荐」案很接近。开始猜想到验证。
数据验证设,并不每设师都需精通统学,深入研究数学问题,试一始用数据的思考方式行一方案的目标设、问题点分解、方案设、线验证。
以称之为「以终为始」服务业务的一种方法。以更地帮助设计师与业务方沟通,证明设计的价值。
后续我也会更多从已有数据采分析来进设计导,进更「学」设计。结以下几经验可以后续复用:
1. A/B test 适用于测试单元素变量
如文案、操作、图片场景,较长流程需要进拆分测试,以准确定位到影响元素,找到最佳组合。
2. 少量数据依然有效
即使短时内生少量转化,仍然能很快确定用户最喜欢哪个版本,时要把控测试耗费时、力,不能滥用。
3. 成功元素具有可复用性
如使用 A/B test 找到为服务带来好转化表单或页设计后,应该在后续复用,或进升级。
4. 大大降低改版风险
在大决策或意见分歧时,避免风险实现资利用率最大化。
数据不是能,是数据可以帮助我们。
我们发现一件事,增你测量的东西的数量或者升你测量的保真,并带来确定性。因为它实际上并没有产生的东西,来说明这个那个好。它只是揭示了更深层次的复杂性,涉及到了更多的容。然后它就变成了一种平衡。我们仍然需要有直觉,我们仍然需要判断么是重要的,么是重要的。
参考献:
- 《Becoming a data-aware designer》
欢迎关注「腾讯FITdesign」的公众号: