编者注:产觉得公司绩取决于营和产,设计师作大,老甚至想取消年绩效,该怎么办?该如何衡量和验证UE设计效果?看这篇高手的验总结。
前时间在项目复盘会上,产经向设计团队了这个问题。
我认为是一个很的问题,我目前负责的业务是一款教育问答产品,受众是以大学生年群为主,机构悬赏题目来吸引大学生回答,从而帮助完善机构题库,大学生从中获取悬赏报酬,而我们平台则从中赚取佣金。
于是开始思考究竟怎的衡量和验证方法,能够应用在当前的业景内。
绝大多数设计岗位存在意义是为了到目标。那么该怎么判断目标过我设计成了?成效好不好?我设计生影响又该怎样被量化,是否有足够客观评价?
相信很多人会回答我,可以通过数据行化。
的确如此,但的问题随之到来:
- 展设,我如何知道需检测哪些数据辅验证设效果?
- 在拿到数据后,我又该怎样通过数据来判断我设计的效果究竟是好还是坏?
问题,我查阅了一些资料,参考了Google产品团队义的UX指标,发数据指标可以通过用户体验质产品目标两确。
户体验质量简单来说即你想要观测设计的哪些方面的效果。
产品目标则是基你想要观测的方面,按照「目标 → 标志 → 指标」的顺序确定数据指标。
假以某C端产品为例,结这种方法来制订数据指标,思路会更加清晰了,总体过程会呈现出如下一个矩阵表格(左侧为用户体验质量维度,上方为业角度的思路梳理):
用户体验质量
我们以从下5个度来枚举衡量指标:
用衡量用户使用产品时的态度和感受,例用户对次功能的满意程度、用户对操流程感的易用程度等。
1. NPS净推荐值
(推荐人数-批评人数)/总测试人数
举例说明
推荐人数指打9-10分的人;批评人数指打0-6分的人数。果一个产品的推荐人数有70人,批评人数有30人,么推荐值为(70-30)/100=40%。
数据途
NPS净推荐值测算户对当前产或功的推荐程,是产传播的重要核心指标。
2. Feedback问题占比
通过反馈平台收集的相、功或界面的问题反馈数/总反馈数
举例说明
在某任上线一周后收的3000条反馈中,有800名用户反馈新的任界面不会操作或不好用,那说占比26%的反馈人群对本次计存在不点。
数据用途
Feedback问题占比用以直观评估用户操程中的感受,数以主观感受反馈为主,需要结合进一步研来确定问题生在哪里,以便进一步的优化。
用衡量用户对新产品或新功能的参与度,例每位用户每周对新功能的访问次数或每位用户每天在产品内花费的时长。
1. 活跃用户数
一段时间内访问的已登录用户数,通常分为活(DAU)和月活(MAU)。一个用户一天通相同的渠道次访问产品,DAU仍只一个;在一月内次访问产品,MAU仍只一个。
举例说明
10月15上新功能或新活动,一共有300万个登录用户访问产品(包含通其他渠道链接进),则10月15当天的DAU为300万(去重);截至11月15共有1800万个登录用户访问产品,则该30天的MAU为1800万(去重)。
数据用途
活跃用户数用衡量产品对用户的粘。方便产品和设计人产品的每用户情况,产品的用户变化趋势。
均DAU=DAU/MAU
- DAU越高,说明有刚需的忠用户越。
- MAU越高,说新增的非忠实用户越多。
- 平均DAU值越接近1,说明用户粘性越高,留存效越好。
均DAU变高
- DAU增加显著。说明产品的近期改动或推召回部分老用户。
- MAU减少显著。说非忠实用户开始流失,忠实用户依然保留在内。
平均DAU变低
- DAU减显著。说明户开始严重流失。
- MAU增加显著。说明产品的改动或推使非忠用户活跃度提升,但改动和影响不具备持续。
2. 页面访问次数(PV)和人数(UV)
PV=运营活动/页面/功能曝光用户视野内的次数;UV= 运营活动/页面/功能曝光视野内的用户数,一终端只算一UV。
举例明
用户入首页,算一次访问次数,用户刷新页面/退出重时访问次数累加。用户入首页,算一展UV,退出重新UV不累。一用户00:00-24:00内多次入知乎,则UV只算一。
数据用途
页面访问次数(PV)用于判断该活动/页面/功能被用户查看的次数;页面访问人数(UV)用于判断多少用户查看过该活动/页面/功能。这两指标能够用于衡页面入口的设否足够引人注目。
3. 点击次数和人数
点击次数=点击行发的次数(不去重);点击人数=点击行的用户数(去重)。
举例明
10月15日有400访问任务聚合页,其10击任务聚合页侧边筛选按钮,则该按钮击数为10;10击了12,则击数为12。
数据用途
击数和击数用于了解用户使用为,用于辅助判断PV/UV击率和均击数3处数据。
4. PV点击率和UV点击率
PV击率=击数/页访问数(PV);UV击率=击数/页访问数(UV)。
举例说明
上例子,100个用户访问了任务聚合页,其有10个用户击了任务聚合页上筛选按钮,是平均击了5,那么UV击率为10%,PV击率为50%,说明筛选内容并不是所有用户都合适,那些多击部分用户而言,会觉筛选内容很符合他们需求。如100个都击了,那么UV击率为100%,说明筛选内容所有用户都比较适合。
数据用途
PV击率和UV击率用于衡量页或功能内容用户吸引程度。
5. 人均点击次数
击数/击数。
举例说明
上例子,10月16这天有10击了筛选按钮,其共击了12,那么均击数为12/10=1.2。
数据用途
过均击数可以判断交互/视觉设计要求是否足够引注目,也可以用于衡量该功能用户而言是否为强需求。
6. 平均停留时长
所有用户留时长和/用户数。
举例说明
所有用户在任页的停留长为100万,一共在任页停留的用户有200万,则均停留长为0.5。
数据用途
均停留长用来衡量页面吸引度,对内容页来说,停留间越长,用户粘性越。当然也有反面景,比如登录注册的表填写, 停留间越长,说体验越差。
7. 人均使用时长
用户均每停留在产品的间。
举例说
10月16日有100万个用户一共在产品内使用了50万个,则10月16日的人均使用长为0.5个。
数据用途
用来衡量用户使用产品的深度,判断用户使用产品的粘性和依赖度。用户对产品的使用长越高,说对产品越依赖。
用于衡量上线产品或功能的新用户增长程度。例如功能上线后最近7创建的帐户数或使用该功能的新用户占比。这对于新产品功能或正在重新计的产品别有用。
1. 新用户留存数
一段间内再次访问的新用户数,通常为次日留存、7留存、30留存指标。
举例说
如下虚拟数据,1月,新增用户有80人。2月,1月新增的80人中的75人再度访问了产品,则第二个月的新用户留存数为75人,流失数为5人。
数据用途
用来衡量产品的用户粘和产品的留存用户规模。留存用户数以很地展示留存用户数的人数规模。并新增用户对产品的使用粘。
2. 新用户留存率
某周期内新用户留存数/某周期内一天访问的新增用户总数,一般周期为次、7或者30。
举例说明
接3.1案例,1月新增用户80人,2月留存人数75人,1月新增用户在2月的留存率为75/80=93.75%。
数据用途
留存率通常用来衡量产品粘;周留存率通常用判断产生的忠用户数;月留存率通常用衡量版迭代的效果,例产品改版,月留存率提升,且其他变量没有变化时,说明设计改版成功。通留存率以很观的判断产品的用户粘是上升还是下降,也是产品验最直观的数据。
3. 新用户流失率
某周期内新用户流失数/某周期内一天访问的新增用户总数,一般周期为次、7或者30。
举例说明
接3.1和3.2案例,1月新增用户80人1月新增用户在2月的留存率为75/80=93.75%,新用户流失率为(100-93.75)%=6.25%。
数据用途
用户流失率用追踪之前是什么情况导致流失数据情况,便进一步优化产品问题。
用衡量上产品或功能的老用户稳定程度,具包含现有用户的留存率和流失率。例在上7天内产生的活跃用户在上30天是否仍在活跃?
1. 老用户留存数
一段时间内次访问的老用户数,通常分为次留存、7天留存、30天留存指标。
2. 老用户留存率
某周期内老用户留存数/某周期内老用户总数,一般周期为次、7或者30。
3. 老用户流失率
某周期内老用户流失数/某周期内老用户总数,一般周期为次、7或者30。
用衡量流程设计的合理,通常适用产品中非常注重任务的区域。例任务的完成率和UV转化率。
1. 完成率
完成的操次数/开始操的次数
举例说明
10月15上新任务,用户点击领取任务按钮10万次,最终完成提按钮2万次,则完成率为 2/10= 20%。
数据用途
完成率用衡量操流程的顺畅度。完成率是产品设计中重要的指标之一,完成率越高,说明产品的操验越。
2. UV转化率
必要流程中的下一步节操人数/上一步节操人数。通常节越,UV转化率越低,流失率越高。
举例说明
10月15日上线如翻译任务,当日从任务入口点击进入该任务页的人数为1万人,点击Yes/No项的人数为7000人,那么该环节的转率为7000/10000=70%,流失率为30%;最终点击Submit按钮成交的人数为4000人,那么该环节的转率为4000/7000=57%,流失率为43%。
数据途
UV转率可于针对产中某些键路径的转率的分析,确定各环节的优劣,是否存在优的空间等。对于务流程相对规范、周期较长、环节较多的流程分析,够直观地发现和说明问题在。
3. 页面跳出率
退当前页并在30分钟未再次打开的户数/在当前页面的总人数
举例说明
户通过任务聚合页进入某任务页,然后跳并在30分钟未再次打开的户有1万人,假设进入该任务页的UV为5万人,则跳率 1/5 =20%
数据途
页面跳率于衡量页面的容质量或交互质量。
产品目标
如为从务维的思路梳:
简单说就是,你希望设计上线后,在哪个方面达到么样的结果。
比任务聚合页的筛选功能,在完成指标的关键目标是:用户更快速地找到最相关的任务。
目标确定,什么信号标志着设计达到或没达到目标呢?
比如任聚页在完成指标的成功标志是用户筛选后找了想要的任并进入了任界面。失败标志是用户筛选后没有找想要的任,在筛选环节流失了。
指标比标志更加落地。
例如,「用户筛选后找到了自己想要任务并进入了任务界」这标志成败与否,是过完成维度来进衡量,那么我们可以选取衡量指标是「从筛选按钮到任务页UV转化率」。
通过「目标 → 标志 → 指标」流程,结合用户体验质指标,就能清楚知道验证设的哪些方面,需关注哪些数据达到目的。
请提防数据陷阱
有位发明家打算新设计他个网站,用来宣传他将要发布新品。
设网站时他了 AB两方案。A 方案网页非常详细介绍了将发布的新产品,然后留了一可填写联系方式的输入框;B 方案则任何关于新产品的介绍,仅置了一可填写联系方式的输入框,并只写了「如果喜欢新发明,应该对我的新产品感趣。请填写的联系方式」一段提示。
最终A 方案只收到了 33 个联系方式,而没有任何介绍性容的 B 方案却收到了 77 个联系方式。
么,从个验结果以推断出 B 方案更吗?
事实上可能并不是。
这位发明家设计网站初衷是为了宣传预售他新品,衡量完成指标标志是「有多少新品感兴趣可能会买它」而不是「收到更多联系」,而联系数量数据法成为「有多少新品感兴趣可能会买它」成功标志,此「B 案比 A 案更好」结论并不成立。
因此希望家用以表格整理数据目标,就了避免从一始搞错了目标,那么再精确的数据统也只能得到误导性的结论。
我发了一趣的象,当我们谈论一家公司或一产品否够功时,基本基于单一的数字,比如某APP2亿日活,它很棒;某平台月均UGC内产3000万,它很厉害。
然后和那些盲目喊着要扩大户数和规模的产一样,对我当前处的问答产而言,有人在真正时间解答题目,才是一件意义重大的事情,因此相对单纯的生产数量数据,我们更应该注答题者的产质量。假如日均答题产量很,但户在任务界面上平均停留时长很短,那么我认为并觉得这是一件值得兴的事,因为答题的质量可会有很多问题。
我之前常常在想一个问题,为什么有司内部此热衷推OKR用以取代KPI,直到进字节跳动我才现原KPI 式的价值观常常给人带来误区:数字即规模,规模就是一切。但我们以看到,许产品因用户数量的骤增曾备受瞩目,比闪,用烧钱的方式在前期积累出大量注册用户,但最终大批量流失,走向没落。数字很重要,用户数也很重要,但相比,我们更应该通思路梳理,来帮助我们想清楚对我们的产品来说核心价值是什么、究竟什么样的数据才是最重要的。
数据不是万能的。它就像问卷查、用户访谈等任何用户验研究方法一样有着其局。数据只能告诉你 What,却不能告诉你 Why。
Data can only make a good design great, but can never make a bad design good.
数据可以用于支撑或验证设计师某项决定,数据法代替设计觉,更法代替深入用户研究、可用性测试和设计理心。
欢迎关注作者的微信公众:「愚者笔记」