前段时间在项目复盘上，业务方向设计团提出一个值得深思的问题。
我认为是一个很的问题，之前我在与其他设计师朋流时，也尝试请教他们个问题：你是何衡量和验证你的设计效果？
我得到花八门的答案，有的人拿业务数据来说，有的人用客户反馈来答复，有的人则坦言需要靠老板来进行评估。
也许这些答案各自的环境场景下都具备一的合理性，但因他们的场景并与我当的业务场景契合，所以他们的方法无法我所用。
于是开始思考究竟怎的衡量和验证方法，能够应用在当前的业景内。绝大多数计岗位存在的义是为了达成目标或解决问题。那如何判断计目标或问题是通过的计方案来解决的，解决方案好不好？计的价值是如何被量化的？是否有观的评价方式？
相信很多人会答我，可通过数据来进行量。的确可通过数据来进行设计值量，但的问题来了：
- 在方案计之前，如何知道需要监测哪些数据来辅助验证计效果？
- 在拿到数据之后，我又该怎样通过数据来判断我设计的效果究竟是好还是坏？
带着问题，查阅了一些资料，参考了 Google 产品队定义的 UX 指标，发现数据指标可以通过用户体验质量和产品目标步来确定。
户体验质量简单来说即你想要观测设计的哪些维的效果。产目标则是基于你想要观测的这些方面，按照「目标 → 标志 → 指标」的顺序确定数据指标。结合这种方法来制定数据指标，思路会更清晰明了，总体过程会呈现这样一个矩阵。
Part 1
表格左列表待考的用户体验质维度，他们通常分如下五类：
1. 情感
用衡量用户使用产品时的态度和感受，例用户对次功能的满意程度、用户对操流程感的易用程度等。
1.1 功能满意度
（满意数-贬损数）/测试数
举例说明
满意人数指打 9-10 分的人；贬损人数指打 0-6 分的人数。如果一个产的满意人数有 70 人，贬损人数有 30 人，那么满意为（70-30）/100=40%
数据用途
功能度用以测算用户对当前产品或功能的程度。
1.2 Feedback 问题占比
通过反馈平台收集的相关活动、功能或界面的问题反馈数/总反馈数
举例说明
在某任务上一周收到的 3000 条反馈中，有 800 名用户反馈新的界面不操或不用，么说明占比 26%的反馈人群对次设计存在不满意点。
数据用途
Feedback 问题占比用以直观评估用户操程中的感受，数以主观感受反馈为主，需要结合进一步研来确定问题生在哪里，以便进一步的优化。
2. 参与
用于衡量用户新品或新功能参与度，例如位用户新功能访问数或位用户天在品内花费时长。如下罗列指标类型能够用于衡量设计在场景转化发挥作用。
2.1 活跃用户数
一时间访问的已登录户数，通分为日（DAU）和月（MAU）。一个户一天通过相同的渠道多次访问产，DAU 仍只算一个；在一月多次访问产，MAU 仍只算一个。
举例说
10 月 15 日上线新功能或新活动，一共有 300 万个登录用户访问了（包含通过其渠道链进入），则 10 月 15 日当的 DAU 为 300 万（去重）；截至 11 月 15 日共有 1800 万个登录用户访问了，则该 30 的 MAU 为 1800 万（去重）。
数据用途
活跃用户数用于衡量产品对用户的粘性。方便产品和计人员了解产品的每日用户情况，了解产品的用户变化趋势。
2.2 页面访问次数（PV）和人数（UV）
PV=运营活动/页面/功能曝光用户视野内的次数。
UV= 运营活动/页面/功能曝光在视野内的用户数，一个终端只算一个 UV。
举例明
用户入首页，则只算一次访问次数，用户刷新页面/退出重时访问次数累加。
用户进入首页，则只算一个展现 UV，退出重新进来 UV 不累计。一个用户在 00:00-24:00 内多次进入首页，则 UV 只算一个。
数据用途
页面访问次数（PV）用于判断该活动/页面/功能被用户查的次数；页面访问人数（UV）用于判断有多少个用户查过该活动/页面/功能。
两个指标能够用衡量页面口的设计是否够引人注目。
2.3 点击次数和人数
击数=击为发生数（不去）
点击人数=有点击行为的用户数（去重）
举例说明
10 月 15 日有 400 访问首页，其 10 击首页某按钮，则该按钮击数为 10 ；10 击了 12 ，则击数为 12 。
数据用途
击数和击数用于了解用户使用为，用于辅助判断 PV/UV 击率和均击数 3 处数据。
2.4 PV 点击率和 UV 点击率
PV 点击率=点击次数/页面访问次数（PV）
UV 击率=击数/页访问数（UV）
举例说明
100 个户访问了首页，中只有 10 个户点击了首页上的筛项，但是每人平均点击了 5 次，那么 UV 点击率为 10%，但 PV 点击率为 50%，说明筛容并是对有户都合适，但对那些多次点击的分户而言，会觉得筛的容很符合他们的需求。
如 100 个都击了，那么 UV 击率为 100%，说明筛选内容所有用户都比较适合。
数据用途
PV 击率和 UV 击率用于衡量页或功能内容用户吸引程度。
2.5 人均点击次数
点击次数/点击人数。
举例说
例如 10 月 16 这有 10 万人点击了筛选按钮，其中一共点击了 12 万次，那人均点击次数为 12/10=1.2 次。
数据用途
通过人均点击次数可以判断交互/视觉的计要求是否足够引人注目，也可以用于衡量该功能对用户而言是否为需求。
2.6 平均停留时长
所用户的停留时总/用户数。
举例说明
所有用户在某任务页的停留时长为 100 万小时，一共在某任务页停留的用户有 200 万，则平均停留时长为 0.5 小时。
数据用途
平均停留时长用来衡量页面吸引度，对内容页来说，停留时间越长，用户粘越强。当也有反面场，比登录注册的表单填写， 停留时间越长，说明验越差。
2.7 人均使用时长
用户平均天留在品时。
举例说明
10 月 16 日有 100 万个户一共在某产使了 50 万个小时，则 10 月 16 日的人均使时长为 0.5 个小时。
数据途
来衡量户使产的深，判断户使产的粘性和依赖。户对产的使时长越，说明对产越依赖。
3. 接纳
用于衡量上线产品或功能的新用户增长程度。例如功能上线后最近 7 创建的帐户数或使用该功能的新用户占比。这对于新产品功能或正在重新计的产品别有用。
3.1 新用户留存数
一段时间内再次访问的新用户数，通常分次日留存、7 天留存、30 天留存指标。
举例说明
下虚拟数据，1 月，新增用户有 80 人。到 2 月时，1 月新增的 80 人中的 75 人度访问产品，则二个月的新用户留存数为 75 人，流失数为 5 人。
数据用途
用来衡量品用户粘性和品留存用户规模。留存用户数可以很好地展示留存用户数数规模，并帮助了解新增用户品使用粘性。
3.2 新用户留存率
某周期户留存数/某周期第一天访问的增户总数，一般周期为次日、7 日或者 30 日。
举例说
3.1 案例，1 月新增用户 80 人，2 月留存人数 75 人，1 月新增用户在 2 月的留存率为 75/80=93.75%。
数据用途
- 留存率通常用来衡量产品粘；
- 周留存率通常用于判断产的忠实用户数；
- 月留存率通常用于衡量版本迭代的效果，例如产品改版后，月留存率提升了，且其变量没有变化，说计改版成功。
- 通过留存率可很宏观的判断产的户粘性是上升还是降，这是产体验最直观的数据。
3.3 新用户流失率
某周期内新用户流失数/某周期内一天访问的新增用户总数，一般周期为次、7 或者 30 。
举例说明
接 3.1 和 3.2 案例，1 月新增用户 80 ，1 月新增用户在 2 月留存率为 75/80=93.75%，新用户流失率为（100-93.75）%=6.25%。
数据用途
用户流失率可用于追踪前是什么情况导致流失数据情况，便于进步优化品问题。
4. 保留
于衡量上线产或功的老户稳定程，具体包含现有户的留存率和流失率。例如在上线 7 天产生的跃户在上线 30 天后是否仍然在跃？
4.1 老户留存数
一段间内再次访问的老用户数，通常为次日留存、7 留存、30 留存指标。
4.2 老用户留存率
某周期内老用户留存数/某周期内老用户总数，一般周期为次、7 或者 30 。
4.3 用户流失率
某周期老户流失数/某周期老户总数，一般周期为次日、7 日或者 30 日。
5. 完成
用于衡流程设的合理性，通常用于产品中非常注重任务的区域。例如某任务的完率 UV 转化率。
5.1 完成率
完成的操次数/开始操的次数
举例说明
10 月 15 日上线某任务，用户击领取任务按钮 10 ，最终完成提交按钮 2 ，则完成率为 2/10= 20%
数据用途
完成率可用于衡量操作流程畅度。完成率是品设计要指标，完成率越高，说明品操作体验越好。
5.2 UV 转化率
必要流程中的一步环节操作人数/上一步环节操作人数。通环节越多，UV 转率越低，流失率越。
举例说
10 月 15 日上线某任，当日从任入点击进入该任页的人数为 1 万人，点击 Yes/No 选项的人数为 7000 人，那该环节的转化率为 7000/10000=70%，流失率为 30%；最终点击 Submit 按钮完成提交的人数为 4000 人，那该环节的转化率为 4000/7000=57%，流失率为 43%。
数据用途
UV 转化率可用于针对产品中某些关键径的转化率的分析，以确各环节的优劣、否存优化的空间。对于业务流程相对规范、周较、环节较多的流程分析,能够直观发明问题所。
5.3 页面跳出率
退出当前页并在 30 分钟内未次打开的用户数/在当前页面的总人数
举例说明
用户过首页进入某任务页，然后跳出并在 30 分钟内未再打开用户有 1 ，假设进入该任务页 UV 为 5 ，则跳出率 1/5 =20%
数据用途
页跳出率用于衡量页内容质量或交互质量。
Part 2
表格横向代表从务维的思路梳：
1. 目标
简单说就是，你希望设计上线后，在哪个方面达到么样的结果。如产首页的筛功，在成指标的键目标是：户更快速地到最相的任务。
2. 标志
目标确定了，那么信号标志着设计达到了或没达到目标呢？
比如某页在完成指标成功标志是用户筛选后找到了自己想要任务并进入了任务界。失败标志是用户筛选后没有找到自己想要任务，在筛选环节流失了。
能判断是否达到目标的标志能有很，时要结合际情况取舍。比种标志追踪来方便吗？它能随你的设计变动而观察到明显的变化吗？
3. 指标
指标比标志更加落地。例，「用户筛选找到自己想要的任务并进任务界面」一标志用指标来现就是「从筛选按钮到任务界面的 UV 转化率」。
通过「目标 → 标志 → 指标」流程，结合用户体验质指标，就能清楚知道验证设的哪些方面，需关注哪些数据达到目的。
Part 3
1. 寻找正确数据目标
有位作家打算新设计他个网站，用来宣传他将要写新书。
在设计网站时他做个 AB 两个方案。A 方案在网页上非常详细地介绍将要写的书，留一个填写联系方式的输框；B 方案则没有任何关书的介绍，仅放置一个填写联系方式的输框，并只写「果你是设计师，你应该对书感兴趣。请填写你的联系方式」一段提示。
终 A 方案只收到了 33 联系方式，任何介绍性内的 B 方案却收到了 77 联系方式。那么，从这实验结果可以推断出 B 方案好吗？
事实上可能并不是。
这位设计师设计的初衷是为了宣传预售他的书，衡量成指标的标志是「有多人对这本书感兴趣且可会购它」而是「收到更多联系方式」，而联系方式数量的数据无法成为「有多人对这本书感兴趣且可会购它」的成功标志，因此「B 方案 A 方案更好」的结论并成立。
此希望大家用以上表格来理数据目标，是为了避免从开始搞了目标，那么再精确数据统计也能到误导性结论。
2. 理解业务数据价值
我们会发现个有趣现象，我们在谈论家公司或个品是否够成功时，基本是基于单数，比如某 APP 有 2 亿日活，它很棒；某平台有 3000 量，它很厉害等等。
和盲目喊着要扩大用户数和规模的产品不一样，对题产品来说，有人在正花时间答题目，才是一件意义重大的情，因此相对单纯的生产数量数据，它更应该关注生产或质检的产出质量。假题产品的均产量很高，但用户在任务界面上平均停留时长很短，么我并不得是一件值得高兴的，因为生产和质检的结果能有很问题。
我之常常一问题，什么些公司内部会如此衷于推广 OKR 用以取 KPI，直到入条后我发原本 KPI 式的价观常常给人误区：数字即规模，规模就一切。但我们可以看到，许多产品因用户数的骤增曾备受瞩目，用各种运营手段积累了出注册用户，但终批流失，走向落。数字很重，用户数也很重，但相比这些，我们应该通过思梳理，帮我们清楚对于我们的产品核价什么、究竟什么样的数据重的。
3. 数据不万能的
数据不万能的。它就问卷调查、用户访谈任何用户体验研究方法一样其局限性。数据只能告诉 What，却不能告诉 Why。
Data can only make a good design great, but can never make a bad design good.
数据可以用于支撑设师的某项决，但数据无法替设的直觉，无法替深入的用户研究、可用性测试设同理。
参考文献：
- [1] 如何理解 DAU 和 MAU 这两个数据？- Aaron 余乐回答 – 知乎
https://www.zhihu.com/question/24007425/answer/130382392 - [2] 数据分析｜计算用户留存率 – 狗哥的文章 – 知乎
https://zhuanlan.zhihu.com/p/123292172 - [3]Google HEART 模型：力设果估，提升用户体验 – 人人都产品理
http://www.woshipm.com/user-research/1726864.html
注作者微信公众号：「今日头条UED」
浙公网安备33011002017549号