如何评估设计价值已经成为设计都在思考和研究课题。本篇将过复盘优酷设计构内容业设计质量评估体系过程，盘国内现有体验度量理论和国内已有落地法，结设计模型构流程和法，希望与设计共讨论设计价值量化法。过阅读本文章，设计团队也可以构属于自己业务设计质量评估模型。
设计站在艺术，心理，技术结合交领域，做量化是有很大难度，是为了更学有效做设计，需要立设计评估标准。现在，设计质量评估研究已经成为设计业趋势。里，滴滴，微软等设计团队都设计质量度量进了研究。优酷设计团队基于现有研究，开始搭设计质量评估体系。质量评估体系将帮助设计师明确设计和目标，并量化设计价值。
设计师在具体工作可能临这样问题：在做设计时，设计案和品业务策略高度融合，设计师常常说不楚自己在其贡献了哪些部分；或者由于品偏于企业内部工具而缺乏充足和完善数据来验证结。出于为了设计师指出，量化设计价值目，我们过立设计质量评估体系，构了套“指，定目标，拿结”设计评估法。这套法能够帮助设计师去统和明确设计，正确定义设计目标，过学手段拿到结。
- 指方向：通建立设计质量评估模型，给设计团指明当业务阶段的设计方向。
- 定目标：帮助设计师过业务目标拆解出设计目标，明确设计发力。
- 拿结果：针对量维供量方法和可工具，帮助设计师拿到结果。
我们计划用 3 篇文章来分享下以上 3 点。篇为「设计质量评估系」系列文章的一篇，主要讲一下何构建设计质量评估模型。我们通在优酷设计团建立质量评估模型的程，沉淀何构建设计质量评估模型的程和方法。目前，套设计质量评估系正在落地验和迭代中，欢迎各位提出建议。
优酷的质估模型构建历了以下 3 骤：
Step 1. 构建用户验度量框架：基已有用户验度量模型和相关理论的对比研究，并通研究阿里集团内部及外部司已有设计度量的模型和探索，总结出度量设计度上的通用和差异，提炼出用户验度量模型框架，明确设计在框架中影响的度和比重。
Step 2. 构设计度量模型：这步骤主要是为了将模型度量法和优酷业务立关联。首先，我们提取了优酷各业务核心目标，基于核心目标拆解出设计目标，并将设计指标影响设计素进梳理和优先级排序，反出设计度量模型，和 Step1 用户体验度量框架进拟合，将模型维度迭代为更适合优酷特性设计度量用模型。
Step 3：构建具有务特性的设计量模：为负责同子务的设计团队建立模，基于各设计团队当前的核心目标，为设计师指方向。
在构模型前，我们先要回溯到最初用户体验评估模型和法去，我们带着 4 个问题去进研究：
- 行业中已有的用户验度量模型有哪？
- 从哪些维度可以度量用户体验？
- 户体验和设计的系是么？
- 是否有可以将已有的模型用在的业上？
带着上问题，我们进行了如 4 个方面的研究：
1. 国外相模
国外户体验行兴起早于国，因此在论研究上为户体验的量奠定了基础。我们可借鉴的键模为 3 个，中，HEART 模是目前各公司构建设计质量评估模的基础，如果要构建户体验量模或设计质量评估模，需要深入研究 HEART 模。
- PULSE 模型
- HEART 模
- GSM 模型
2. 国标准
明确国标准下度量标准，以及相关定义:
- ISO-9126 软件质量模型，评价软件质量的国际标准
- ISO-9241 关于办公环境下交互计算系统类工效学国标准
3. 主观估指标
了解行业衡用户体验的主观指标，客观指标共同度设体验。
- 度 CSAT
- 费力度 CES
- 净推荐值 NPS
4. 阿集已有模型
集已有模型研究给予了大启发，这些模型是基于国外已有理论，结本土业点来构建的，更适指导国内的业。通过研究不同队和公的质量度量模型，可以不同业队关注的核心问题是什，是出于什目的来构建模型，这也决定了模型最终的形和应用方式。
- 支付宝：PTECH
- 阿云：UES
- 1688：五度模型
下来则会详细的展开介绍这些行业已有的内容，帮助了解这些方法的来源和发展，以指导目前的研究。
1. PULSE 模型-网页体验度量模型
PULSE 模型是传统网站衡量指标，过商业指标和技术指标，衡量网站体表现。模型有 5 个维度：
Page View 页面浏览量：产指标，衡量页面被户访问的次数，及逐级页面的点击转情况。
Uptime 运行间：术指标，衡量网站持续稳定的运行间。
Latency 延迟：技指标，衡用户打页面的速度。
Seven days active user 七用户活跃：产品指标，反映网站的际运营情况，用估计产品的用户规模。
Earning 收益：商业指标，电商类更关注 GMV 等指标，视频业务关注广告，VIP 售卖等。
PULSE 模型是传统网站衡量指标，从技术、用户忠诚度、商业收益来追逐品体表现，法接过模型去观测到用户体验是怎么样。
2. HEART 模型-以用户为心体验度量模型
HEART 模型由 Google 于 2010 年发表于，是以用户为心度量模型。HEART 模型出发是做以用户为心，能够用于大范围用户体验度量法。虽然是为了网页端而设计，是到今天来看，HEART 模型仍旧可以来指导移动端体验度量。Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications》提出，是以用户为心度量模型。
HEART 模有 5 个维：
Happiness 愉悦度：用户主观体验，用户觉得产品对其有帮助，容易操作，使用产品或者功能总愉悦。
Engagement 参与度：用户对产品内感趣并愿意常使用。
Adoption：用户看到新产品或新功能愿意进行使用。
Rentention：在个时内用户愿意回来继续使用品或者功能。
Task Success：户够效，准确地成任务。
HEART 模是一个构建善的户体验量模，涵盖了户客观数据，及可性指标。如果想要构建一套自己的量模，需要先从 HEART 模入手，解户体验量的维和指标，再看哪些适合自己务特性。
3. GSM 模
「无论一个量标准多么户为中心，它都太可在实践中有，除非它明确地与一个目标相，并且可来跟踪进展」——from Google UX team
为了将度量标准应用于实践，Google 的 UX 队提出了 GSM 模型。G 是 Goal，S 是 Signal，M 是 Metric，是遵从「目标-号-指标」的过程来定义数据指标的方法。
4. HEART+GSM
「通过明确团队的产目标，识别成果或失败的适当信号（signal），然后量来自这些信号的指标，产团队可一致地，有效地评估户体验并做决策」—— from Google UX team
GSM 模型和 HEART 模型相结，构建出了完整的用户体验评估模型。从模型中，可以出每一个度量维度相关的目标、号和衡量的指标，以及拿这些衡量指标的评估方法。因此，模型的落地应用和目标的拆解密不可。
HEART+GSM 模型构建了有效和全面的进行用户体验度量的基础方法论。如果想要构建一套的度量模型，需要先从 HEART 模型入，理解用户体验度量的维度和指标，再基于 GSM 确模型应用的方向。
1. ISO-9126 软件质量模
ISO/IEC 9126 (1991) 软件质量模是评软件质量的国际标准。标准从产、技术、设计 3 个方面，6 个维来评软件质量。在设计方面，要涉及的维有「可移植性 Portability」中的「适应性」和「易性」，及「易性 Usability」中的「易解」「易」「易操作」「一致性」。中，「易性」的概念涵盖了户体验中规易性的维。「Usability」的衡量维有着很大的借鉴值，可解为「可性」的概念拆分。
2. ISO-9241-11 Usability 可用性定义
ISO9241-11 (1998) 从用户度出发定义什么是「可用性 Usability」。可用性定义为个品可以被特定用户，在特定场景下，成特定目标效率和满意度。衡量可用性三个维度为「效益」「效率」「满意度」，相比 9126 评估维度，增加了「满意度」主观评价。
- 效益（effectiveness）：用户完成任务的精确和完整。
- 效率（efficiency）：用户完成任务所消耗资。
- 满意（satisfaction）：户对任务流程的可接受程。
ISO9241 Usablity 定义在今日设计质量评估仍旧有很强指导性和应用性。和 ISO9126 相比较，ISO9241 可用性定义距离可用性评估落地更进步，具备很强可操作性。在衡量完成特定任务过程，用「效率」和「效益」，般为任务完成程度和所消耗时/力即可评估出特定任务可用性，在流程较长 B 端品体验度量尤为常用。
1. 满意度 CSAT
Study of Customer Satisfation，即「满意度」于 1965 提出，其后被广泛应用于衡产品的用户主观感受。满意度的用性非常高，可以用于询问用户各种问题，可以看整体的产品体验满意度，也可以看具体的某功能的满意度。满意度能够体出用户对产品短内的幸福感。满意度的缺陷无法体用户对产品的态度。
2. 净推荐 NPS
Net Promoter Score，即「净推荐」于 2003 被提出，一种某客户将会向其他人推荐某企业或服务可能性的指数。NPS 被用于衡用户的幸福感，广泛用于互联网产品衡用户忠诚度。
3. 费力度 CES
Customer Effort Score，即「费力度」于 2010 提出，基于满意度无法客观体用户忠诚度的研究所提出的。费力度通过询问用户产品否易处理用户的问题，发用户对产品真实的价用户的痛点，从解决用户关注的问题以提升用户忠诚度。目，费力度已内的部分 B 端产品中得到落应用，用于帮设师发解决复杂流程中的问题。
1. 支付宝 PTECH 模
支付宝 UED 团队供户为中心的 UBA（户行为分析）+ APM（应性监测）闭环的体验洞察，产体验可量、可优、可监控。可看到 PTECH 是基于 HEART 模来构建的，但是基于自身务特性做了优，例如：
NPS 改为用户主观度：NPS 对 C 类产品是一个有效的指标，对于企业中后来说，往往由于企业产品的封闭内环、用户基数等众多因，可能还是度来的更加有效。
不强调留存率：企业级产品用户往往太多的可选余，因此留存率未必合用衡用户对于产品的喜好。
参与度和接受度指标合并：对企业级中台系统，用户使用的目标更强，TA 就是来完成某个任务或完成工的，因此活跃度基和产品能否满用户的需求强相关。
2. 阿里云 UES 模型
UES（User Experience System）阿里云设中通过多设实践中沉淀下的云产品使用体验度系统，阿里云的体验度模型从达阿里云平台产品的设体验「一致性」目的所诞，之后的发展中又增加了「易用性」、「任务效率」、产品的「满意度」，技的「性能」，设、产品、技各团队对体验度模型的认可度，以及实际应用，都的落的。UES 不仅一套方法论，一套可运行的体系。目，UES 模型已产品化，并能够集团内其他 BG 所应用。
关个模型更详细的介绍：
如何量化产品体验？来看阿里出品的度量模型
阅读章
3. 1688 五度模型
五度模型是阿巴巴 1688UED 队在 Google 的 HEART 模型的基础上，结国内互网的点，加上多年的计经验总结出来的。五度模型是按照用户使用产品的整个生命周期过程来组织的，从用户的行为度和当下未来这个维度进行解，五度别为吸引度、完成度、度、忠诚度和推度。相比阿云和支付的模型较为适 B 端产品，五度模型的应用景更加适 C 端产品。
1. 过设计维度+设计目标交来立设计价值和业务价值关联性
经过我们比研究，设计质量模型构法是用“HEART+业务特色”来立。过加入 GSM 模型，过业务目标拆解设计目标，则可以让设计价值和业务价值立连接，具体如何拆解设计目标我们将在下篇文章“定目标”里详细阐述。
2. 影响产品用户验度量的关键因素
产品类型：企业级产品（B 端产品）和消费级产品（C 端产品）用的评估方法和度有所不同，也是由其用户的类型和量级不同所导致的。
功能类型：设计需要考量维度也具有较强共性，例如任何功能类型都可以从易用性度考察设计是否晰、易读、高效。是，如某功能需要要用户完成系列复杂操作，则需要更多去考量易用性。
户态：户对产的观感受，包括心智的认知和情感都可作为衡量户体验的维。中，NPS 是 C 端务最为注的户忠指标，如引入 NPS，可将设计或者户体验对 NPS 的影响作为设计的目标考量。
性能体验：产品的稳定、流畅性。例如开启速度、卡顿比率、崩溃率等术性指标。
根据 C 和 B 务拆分为户、产、技术 3 个分的量容；中 B 端依据产的户群分为对外产和对产，对外产的维和 C 端产更类似。
通过 GSM 模型推导计指标。
度方法指标。
我们已了用户体验模型的初结构，也对产品行了划分类型，初划分了 C&B 端不同类型业务看的维度什么，给出了用户体验度的方法。但对于设层面仍缺乏细节的指向性。因此，我们试从目关注的业务的核目标，一构建具一「业务指向性」的「设」度模型。
基于不同的业务特性，每一模型对维度的选择侧重也不相同，阿里云、支付宝、1688 的模型具备自身业务特性的，因此不同的业务也需仔细考自身的业务特性什么，能建立对自己行之效的设估模型。这方面，也需通过盘点核业务，用户诉求，再将业务目标拆解到设目标验证维度的构建否合理。
1. 建立设度维度用户的关系
用户如何通过产品的「设」达目标的呢？设能够帮用户去好的理解使用产品。我们采用了「体学习的 OADI 模型（Kofman，1992）」建立用户设的关联性。体的学习过程可描述“ 见－解－思－行”的循环，简称 OADI 循环。
「见 Observe」 是看到，是从外界或者经历中取得信息，在设计面以对应为「吸引」。
「解 Assess」是理解，是到素材进解释、评估，加以理解，在设计层可以应为「易理解性」。
「思 Design」是吸收，是对解的信息进行分析重构，在设计层面可对应为「易性」。
「行 Implemen」是行动，是基于息进行行动，在计层面可以对应为行动的质量，即为「任效率」。
2. 建立设计量维和务目标的系
产是如何通过「设计」来达成目标的呢？设计要帮助产达成务目标，那么设计就需要从产的目标到设计发点。我们总结了一套「明确产诉求-明确产评估指标-设计目标推导-建立设计目标和设计维的联」的方法，来建立产目标到设计目标和衡量维到联。
3. 初步构设计质量评估模型
4. 模型使用反馈收集
设师使用模型的主难点：
- 模型的维度较多，不同的项目应该重点哪个维度？
- 视觉交互链重合，但对于视觉设师交互设师言，看的维度否侧重？
- 设计目标的拆应该何进行？
为了降低计的使用成本，计队基于不同的功能或景抽象出优先考虑的度量维度，以更快速的给计指出方向。
1. 进一步确优酷视频业 C&B 端的产品性
C 端视频发和消费业核心目标为「发」、「消费」、「互动」。B 端产品的核心目标为「任效率」，体景为多角色的多步骤任，以及息图表的浏览和决策。通过目标拆解方法，总用户消费和互动的核心链路上的计发力点，再次总计维度。
2. 明确设计维和户观态的系
明确设计各维之间的系，要是为了进一步挖掘设计维和 NPS、忠的联性。
3. 构用模型
用模型为各业务、品都会涉及到设计用维度，更专注于设计本身维度度量。任何功能类型都可以从基础体验和完成度度考察设计是否吸引、晰、易读、高效。将满意度和费力度合并在个类，作为用户主观态度维度。另，新增了品性和创新性，激励设计师在这两个专业上进探索。在模型自构上可以有定自定义维度，来满足前业务设计指性上需求。
4. 针对各业务的设计团定具备指向的模型
针对各业务的设计团定具备指向的模型。我们基目前优酷业务的主要 3 类产品「B 端平台」、「长视频消费端」、「短视频消费端」来构建模型。各业务选择当前业务最关注的度构建自己的模型。
1. 模型构建
基于 HEART 和 GSM 的模型构建方法已较为完善，各计队在研究之后可以构建能够指导队的计质量度量模型。
设维度的选择从自己业务的核场景目标推导。需通过核业务的场景或径明确达目标的用户关键使用径，判断哪些维度能够影响到业务指标用户关键径的指标，将这些指标选择出作核维度。
设计的度量需要考虑主观和客观数据，用户主观态度和数据指标需兼顾才能面的对设计进行度量。
2. 注意项
设计质量度量模型是一种指方向的方法，需和设计目标结合来使用，用指导设计师在具设计中所关注的度和力点。
设计质量度量模型为设计指出了大，是具体落地有赖于基于具体业务场景去选取其部分法来应用。
设计质量量模的衡量维在一个阶宜过多，于集中设计师的目光善自身的设计，但是对于分场景或者任务可增一些辅助的维于全面的量设计质量。
3. 部分参考文献
- 2010 ACM, Measuring the User Experience on a LargeScale：User-Centered Metrics for WebApplications
- ISO/IEC 9126:1991, Software enginnering — Product quality, https://www.iso.org/standard/16722.html
- ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11: Guidance on usability, https://www.iso.org/standard/16883.html
- 2003, The One Number You Need to Grow, https://www.netpromoter.com
- 《U 一点·料：阿巴巴 1688UED 体验设计践行之路》
- 产品使用体验如何量化管理—阿云 UES 揭秘 https://mp.weixin.qq.com/s/9LJXsdXL54BzyuKcMjo8KA
- 2019 SEE CONF 蚂蚁金服体验科技会
欢迎关注作者的公众号：「AlibabaDesign」
浙公网安备33011002017549号