赞助商
立即赞助

小团队如何做体验度量?试试这个方法!

产品设计3年前 (2021)发布 流光
2.1K 0 0

关于体验度量方法行业内案例已有一些,但普遍为较为全局,实施与结果输出成本相对较高,对一些小团队可能运用起来比较困难。本文结合过往项目实际经验,从一个新的角度介绍,相对敏捷且普遍适用的小团队体验度量方法,较为完整的还原了从构建,实施,验证,最终成型的过程思考。体验度量好像近些年来正在成为行业内的一种新的趋势,希望这篇文章能对大家在体验度量方面的工作有所启发。

Ps: 文章少部分内容对设计圈内成熟的体验度量经验分享有所借鉴与参考,在此表示衷心的感谢。

随着体验设计行业和相关职业逐渐走向深耕,价值一词被越来越多的提及。我们进行这次体验设计度量实践的原动力,某种意义上讲,也是源于我们对于体验设计价值的新的理解或者说一次新的尝试。

小团队如何做体验度量?试试这个方法!

Part.01 体验设计价值的理解

这些年体验设计价值越来越多的被提起及受到重视,但是大部分设计师或者从业者,普遍还是说不清楚感受不到,弄不明白体验设计的价值到底是什么?我个人目前的理解是:用户体验设计与业务价值的强关联,是其真正的价值体现。用户体验不是主观的艺术,它有一套科学的、可度量的设计方法和策略。体验设计的价值是更好的实现产品价值、用户价值、商业价值、社会价值的交付。也是基于这种理解以及对价值的追求,驱使我们进行了公司内信息流项目的体验度量工作。

Part.02 什么是体验度量

目前行业内好像还没有特别明确的体验度量的定义,在《用户体验度量》一书中,作者:Tom Tullis & Bill Albert 大概给出了如下定义:

“度量”是一种测量或评价特定现象或事物的方法(需建立在一套可靠的测量体系之上)。

“用户体验度量”是建立在一套可靠的测量体系上: 使用同一类的测量手段对事物进行测量时,得到的结果是可以相互比较的,所有用户体验度量都是可观测、可量化并以数字的形式表示出来的。

义观易,炼键词:靠测系 ,观测表。基键词,户验观易义:

  • 用户体验度量是:通过一套可靠的测量体系 ,量化用户体验的过程
  • 户验从“抽象”“象”程
  • 是使用户体验从“玄学”到“科学”的重要基础
  • 是更好的实现体验设计价值及体验设计体系化的关键路径

Part.03 为什么要做体验度量

职涯普遍趋致“灵魂拷问&质疑&难答问题”:

  • 你们对产品指标有什么贡献?
  • 优竞?
  • 你怎么证明你做的更好?
  • 你做了这么多对产品有多大影响?
  • 我觉得你做这些没有意义
  • 你们只关心美不美,浪费资源
  • 竞

为什么会面临这些“拷问&质疑&难以回答的问题”?

问题曾困扰久,随渐,思考结界各神灵魂流,答问

原因主要有两点:

大部分人其实并不知道用户体验具体是什么,因为体验是一种很主观的东西,看不见也摸不着,但又确实能感受到它的存在,“一万个人心中有一万个阿姆雷特”。

用户体验这个命题非常大,设计范畴十分广阔没办法单纯地以“好用”和“不好用”作为简单直接的衡量标准。

所以,当没有绝对权威及清晰且合适的标准的时候,结果往往就是:别人用自己的“感觉”质疑你的“感觉”,你也会用自己的感觉质疑同行水准。

,法,某简升,需,,logo画10。半背链远。

那用户体验真的是一种“玄学”吗:

这个答案一定是否定的,不然那些被设计师疯狂喜爱的、伟大的公司也不可能成功。如:乔布斯构建起来的商业帝国,目前已经是全球最有价值的公司。

用户体验其实是有一套科学的、可度量的设计方法和策略的。设计师的问题在于,如何真正在工作中运用“用户体验”的思维,在产品中完成落地,在商业中获得价值和利益。

设计师不单单是体验微观的设计者,更是体验宏观的管理者。设计师本质上也可以理解为是在不断追求更好的构建与管理用户体验。

基认识节问题,验:

现代管理学之父:Peter F. Drucker 有一句名言

If you can’t measure it,you can’t manage it

如果你不能很好地度量它,也就无法有效地管理它

国内设计圈也有一些普遍共识:

  • 如果不能获得用户可量化的反馈结果,就很难谈有改进迭代的效率
  • 如果体验设计不能很好的被证明,就很难谈设计存在的价值
  • 如果体验设计价值不能很好的被体现,就很难规避“某些”质疑

所以这就是我们需要进行体验度量的原因:为了更好的设计,为了更多的价值。

因为体验度量可以帮助设计师获得:

  • 直观的体验感受
  • 明确的资源投入方向
  • 良好的用户体验管理
  • 探索破
  • 清晰的设计价值体现&进阶

验测:

有时候我们容易讲体验度量与传统可用性测试相混淆,但两者其实是有显著区分的

可用性测试:更多的是关注用户使用产品成功完成某项任务的能力

用户体验度量:是更宏观的视角,强调用户与产品之间的整体交互,以及在交互过程中形成的想法、感受和感知

小团队如何做体验度量?试试这个方法!

△ 体验度量与可用性测试的区别

以上,我通过介绍自己对体验设计价值的理解,及什么是体验度量、为什么要做体验度量的分析,阐述了体验度量的基本概念及进行体验度量的重要意义。下面通过对之前工作中进行的,信息流项目体验度量评测过程的回顾,向大家讲解如何进行体验评测(从构建到实施)。

Part.04 如何进行体验度量

找准体验度量切入点:度量需要方法,而方法构建的第一步是找准切入点影响用户体验的因素有哪些呢?

著者:Fred D. Davis:

1989年,在技术接受模型(TAM )中,指出了两个影响技术类产品使用的核心因素:“有用性”和“易用性”

有用性:在使用某一特定系统时,主观上认为其所带来的实际作用户用、价值(有没有用的问题)。

易用性:用户在使用某一特定系统时,主观上认为简单、易理解、愉悦、顺畅的程度。

“有用性”更多是产品能力本身层面的属性,关乎功能和商业;而“易用性”则是设计师大多数情况下更能把握和发力的核心,也是大多数体验度量模型的切入点。所以,信息流体验度量工作的切入点是:从度量产品的易用性角度切入。

切,熟法套或者借鉴习?

目前较为成熟体验度量模型:国际标杆模型Google HEART,国内大厂较为成熟的模型阿里云的UES,蚂蚁金服的TECH, 哈啰出行的体验度量模型,以及网页时代的经典PULSE 模型。

在分析中发现,PULSE模型诞生比较早(还是互联网的洪荒时代)且指标更多关注网页产品的可用性(只要确保产品能稳定快速运行,不会出现负面的体验就行了),不是非常适合我们。而Google的HEART模型属于经典模式,适用于大部分C端产品,其他几种模式也基本脱胎与它,或对他有所借鉴。所以,我们找到的巨人就是Google HEART模型。

Google HEART模型评测模式: 其定义了体验评价的5个维度,每个维度定义了对应的指标及相应的度量手段。从而完成抽象至具象的过程,实现体验评测,检测。

小团队如何做体验度量?试试这个方法!

△ Google HEART模型评测模式

模式方式清楚了,那“巨人”有什么 特点呢?通过分析我们总结了HEART模型如下特点,我把它分成优势与成本(都是相对而言的):

小团队如何做体验度量?试试这个方法!

△ Google HEART模型特点

模优势:、参数、、系统估,测眼背书赖。

与此相对应的,此种评测方式也带来了相应的成本:实施成本较高;结果分析输出成本高(如项目内无良好且完善的数据统计及分析工具基础);跨部门协作依存度较高(强调多部门较好的协同配合)。

那HEART模式适用于我们的项目吗?于是,我们对我们项目的特点也进行了简单分析:

  • 产品特点:为公司APP内的一个功能模块
  • 项目特点:基础设施不完善,项目资源相对紧张,节奏快
  • 迫切困惑:体验与头部竞品差异较大,设计急需明确发力点(是内容导致?是使用体验导致?…)
  • 服务特点:内容消费,多为图文内容(自身内容特征 ),核心流程较为聚焦
  • :(3UI+1UE),支持规需求+验驱需求

通过对大厂模型与自身特点的对照,我们发现:进行类似HEART模型式的全维度评估,似乎不能较好且有效率的解决我们当前的迫切问题,落地实施对我们当前项目现状来说也仿佛有点难。

析“巨”模,除普遍借鉴、参考HEART模,共征,,认识:

一个共同特征:它们各有切入点,也各有其适应场景。虽然方法各具特色、不尽相同,思维却可归纳。无论模型怎么变化,表达产品体验的重要度量指标,总逃不开这三个范围:用户感受、用户行为、系统表现。

一个新的认识:体验度量具有较强的业务特点:不同的业务类型、业务阶段、业务规模、资源情况都会有与之相配的不同的合适的度量方式。

基于以上理解,得出结论:现成的模型很好,但是我们不合适。

信息流项目需要的是:我们当前需要的应该是与当前项目特点,项目情况,产品特征、阶段性目标匹配的专有评估方法。

需验目标,验目标梳:

  • 量化并跟踪信息流核心使用流程的用户体验水平
  • 并踪息流核流程流竞优势距
  • 指导设计侧体验优化工作方向,验证体验优化结果,推动产品排期
  • 解决我们体验优势是什么?好多少。我们体验劣势是什么?差多少的问题

基于对项目特点,当前度量目标的拆解,我们分析出适合我们自身的体验评测方式:

  • 聚焦搜索APP息流模
  • 关注用户核心使用流程的体验
  • 更多着眼用户主观感受
  • 清晰与竞品差距与机会点

结合以上,我们也定义了我们这次评测的名称《信息流核心路径感官体验评测》。

接下来我们结合前期分析,提炼了信息流核心路径感官体验评测的评价维度:

小团队如何做体验度量?试试这个方法!

△ 信息流核心路径感官体验评测的评价维度

基于信息流内容消费的产品形态特征,结合项目现阶段困惑、目标、资源能力确定评测维度为:

  • 接受度(内容质量、整体使用感受)
  • 愉悦度(清晰度,样式舒适美观度,特色功能)
  • 任效率(功易、备)

依据确认的维度,提炼明确了评测的目标物:

  • 核心内容质量(图文内容为主)
  • 主路径使用感受(易用性,一致性,设计舒适度)
  • 核功使受(论,&,享)
  • 整体体验感受(主观感受打分)
  • 主竞品的同维度对比

根据本次体验评测特征(倾向主观感受评测),结合对业内成熟评测方法的参考分析,确定本次评测的形式:采用专家评估。

我们又参考了一些启发式评估的经验数据(如:试验表明,每个评审人员平均可以发现35%的可用性问题,而5个评审人员可以发现大约75%的可用性问题)

将评测形式进一步明确为:

通过每期招募不少于10名符合要求的“专家” ,通过一对多前期宣讲,投放调研问卷,集中评测的形式进行信息流核心路径感官体验评测。

符标准:

小团队如何做体验度量?试试这个方法!

△ 息流核径官验测

结合信息流核心路径感官体验评测的特点,我们梳理出了适合本次评测专家的标准:

  • 招募
  • 优先被评测项目,项目组内成员
  • 设计职能为主,产品职能为辅
  • 专家尽量阶段性固定(考虑到多次实施成本,及结果的可靠性)

基于以上,我们最终确定了信息流核心路径感官体验评测的最终形式:

项目组内UX为主体,兼顾产品,运营,开发等角色组成的专家式评估。每期招募不少于10名符合要求的“专家”通过一对多前期宣讲,填写问卷,集中评测的形式进行信息流核心路径感官体验评测。

评测形式确定后,下一步我们就要着手进行调研问卷的设计:

根据析导结息流目标研问卷框架

  • 明确列表至图文详情页核心主路径的评测细节点
  • 确测流程:先、、
  • 明确评测采样机型:根据后台机型数据覆盖,抽取主流用户覆盖机型进行评测
  • 明确主要对标竞品:**,**

根据框架指引,最终我们设计了:(经过多轮修改,也借鉴了许多成熟的可用性,易用性相关问卷等)

  • 针列表:、、,10题5问卷
  • 针对详情页:内容、样式、功能、整体三维度,21题5分制问卷

小团队如何做体验度量?试试这个方法!

△ 初版问卷示意(非最终版)

法,立即执首轮《息流核径官验测》:

  • 首轮评测共招募专家13人:UED侧7名、产品&运营侧6名专家(项目组内)
  • 2组织测,首轮息流核径官验测,测

其实,首轮评测除了前面讲到的目标,我们还有两个额外较为重要的目标:

  • 初步验证整体评测方法的可行性
  • 获取体验评价体系基准点,作为核心流程体验优化的参考系(前面提到了,本次评测核心目标之一为:迫切的想解决我们与头部竞品的体验主要差异问题

在完成评测后,我们分析输出了首轮评测的结果。通过对结果的分析,我们也得到了一些有价值的结论:

  • 量化明确了我们与头部竞品在内容层面的具体差异
  • 定位了样式层面的问题及与竞品的差异点,帮助设计师确定下一步工作目标
  • 透过功能层面分数对比,看出一些特色功能对用户的整体感受影响显著(定位深入探索的方向)

在通过第一次体验评测完成基点贮备与目标确认后,我们针对性推动了核心流程体验优化工作:

小团队如何做体验度量?试试这个方法!

△ 针对性体验优化行动路径

由于有量化的评测结论佐证与指引,结合明确的行动目标、清晰的行动路径,使得整个体验提升计划,以较高效率完成实施上线。

沉淀,疫,组织息流核径官验测(测已趣,终从施程及结验证,测应阶固,确逐升测效率结靠)。

第二次体验评测的关键性结论:

得益于第一次评测的指引,我们发现在第二次评测中我们的产品在:内容 、样式、功能层面体验评测分都有非常不错的提升,也验证了针对性体验提升计划,方向是正确的、结果是成功的。

通过依据对评测结果分析后的针对性回访调研,也发现了一些之前缺乏关注的体验问题点。同时 ,通过对功能评分数据的详细分析:明确围绕产品某些特定模块的创新挖掘,为下一步体验设计突破方向。

因为我们属于第一次做这件事情,即便前面好像分析的很详细,但是体验评测这件事确实相对复杂,需要不断地尝试优化,最终方能稳定成型。所以,我自己在心里其实,是将两次评测定义为验证性评测,去验证我们的方法,我们的思考,我们的假设等等。

结,验测或验证收获:

小团队如何做体验度量?试试这个方法!

△ 针验优径

  • 我们验证并实践了信息流体验评测方法
  • 获息流验测基储备
  • 我们量化了产品当前的体验水平以及与头部竞品的差异
  • 基于评测我们最终完成信息流项目的体验升级计划的最后一环,并得到了科学的验证。同时,具象化的解决了项目长期的体验困惑
  • 进一步提升了体验设计部门在项目组内的“权威性”,变相提升了整体项目组的运转效率
  • 解决了后面怎么走的问题,明确了创新方向,解决了资源投向的问题,也为项目中的设计决策提供了重要的新参考系

同时,经过这两次评测,我们也有一些思考或者说反思:

小团队如何做体验度量?试试这个方法!

  • 评测维度是否完真正彻底整覆盖核心使用流程
  • 有无更加效率的评测方式(线上vs线下,因为前期专家侧评估时间周期较长)
  • 问卷设计是否非常合理(咨询用研专家结合专家讨论)
  • 最终统计方式、结果是否合理且可信
  • 需立固测,从效收益

基于以上的思考与反思,我们组织了包含评测设计者、执行者、参与者以及用研专家的复盘会,对评测方式进行了如下几个方面的优化改进:

  • 重新梳理评测维度(结合全新的全新的维度拆解)对核心流程评测维度进行细化
  • 优化题目&分数(优化不易理解的题目及题目循序,优化题目总数与分数设置梯度等使之评测过程更符合用户使用与思考逻辑,降低评测难度。同时,提升评测结果的可靠性与统计难易度)
  • 优测流程( 测流程细,节详细操注项,:增使节及施)
  • 优化数据计算机制(增加数据清洗环节,增加用户评测问卷验证可靠性验证,,增加数据信度分析)

,优输《息流核径官验测》版。

同时,基于对评测过程效率的思考,我们尝试启用了去中心化评测形式(线上集中宣讲,线下一段时间内分散评测集中回收的评测方式)

基于对问卷可靠度的思考,我们设计了精简版更“普世化”的用户问卷,同步在线上向真实信息流普通用户进行投放。考虑到信息流用户问卷填写意愿普遍较低的客观事实,及问卷的属性,结合用户研究有效问卷回收的经验值,我们设定了用户侧问卷回收的有效标准:最佳目标500份,不少于200份。

通过参考业内成熟经验,及用研专家建议结合信息流体验评测的自身特征,我们设定了体验总评分 = 专家分*0.8 + 用户分*0.2 的计算方式。

完成以上工作后,我们按照既定计划,组织实施了第三次信息流核心路径感官体验评测(结果详细数据属于敏感数据 ,在此不做详细介绍,大家见谅)

测结输变:

  • 体验分构成变为:与主流竞品间的专家侧对比分;由专家评分*0.8 + 用户侧评分*0.2 组成的信息流体验评测分
  • 终各项统数据结增数据验证规则(效数据符α ≥0.75)

我们修改最终体验计分规则的原因: 经过多轮评测后,我们意识到体验对比不是最终目的,体验评测追踪为最终目的,为使体验追踪得分的更具代表性与权威性,参考业内成熟经验+咨询用研专家,对得分计算方式进行修改。

轮验测户数,:趋势相,户普遍略。结测法身,结符预,测法效获验证。

经过三次体验评测实践,评测方法有效性也得到了多维度的验证:

小团队如何做体验度量?试试这个方法!

△ 体验评测方法的有效性得到了多维度验证

验证维度:

  • 三次体验评测专家反馈与趋势分析
  • 用研专家整体优化与评估
  • 专家侧&用户侧得分对照分析
  • 三次体验评测信度完整测试与分析

验证结果:

《信息流核心路径感观体验评测》第三版较为可靠,可真实反映APP体验水平

注:法效验证,测法效析验证

通过第三次体验评测,我们又收获了一些经验:

  • 测,由缺乏效控组织,导致效数据
  • 适当放宽的评测专家选择,导致前期宣讲成本增高,结果不良数据增多
  • 专家侧评估形式,更适合有主持的中心化评估方式,可有效保证评测的有效性
  • 专家侧评估,要保证评测人员多数固定,可逐渐增强评价的结果的可靠性及评价效率

根据随第三次评测同步收集的专家侧对评测方式的建议,结合用研专家的意见对评测方法进行最后一轮微调,形成终版《信息流核心路径感官体验评测方法》。

由于上面讲的三次体验评估流程比较长,我们简单回顾一下:

小团队如何做体验度量?试试这个方法!

△ 三次体验度量阶段目标回顾

第一次度量:模型与评测方法验证;获得体验评测基点;理清与主竞品体验差距;明确设计发力点

:验证验优案效,测流程验证;研究测案优 案;寻创

第三次度量:评测方法的最终验证;制定并落地周期性体验评测机制;验证阶段性优化与创新全局影响;对体验的常规监控

终版《信息流核心路径感官体验评测方法》一共由7部分组成:

小团队如何做体验度量?试试这个方法!

△ 《信息流核心路径感官体验评测方法》构成

我们也设定了信息流核心路径感官体验评测方法 “闭环行动路径图”:

小团队如何做体验度量?试试这个方法!

△ 信息流核心路径感官体验评测方法 “闭环行动路径图”

下面,我们回顾一下终版《信息流核心路径感官体验评测方法》与“主流”评测方式

测 :

小团队如何做体验度量?试试这个方法!

△ 测

与主流评测方式相比 ,我们的评测维度相对更聚焦,更符合我们自身的项目特点及面临的阶段性问题。

评测特征的对比:

小团队如何做体验度量?试试这个方法!

△ 评测维度特征对比

与主流评测方式相比 ,我们缺乏对产品全局关注度,但是,能够换来更聚焦的评测,更灵活且实施成本底的评测方法,更高的评测运转效率,更能满足我们项目当前阶段的迫切需求。

Part.05 本文所讲的要点回顾

1. 体验设计的价值的理解:

用户体验与业务价值强关联,才能做到价值体现。

好的体验是更好的实现产品价值、用户价值、商业价值、社会价值的交付。

2. 什么是体验度量:

“用户体验度量”通过一套可靠的测量体系 ,量化用户体验;是用户体验从“玄学”到“科学”的重要基础;是做好体验管理和良性迭代的重要途径;是更好的实现体验设计价值及体验设计体系化的关键路径。

3. 体验度量的重要性:

设计师是用户体验的“构建者”与“管理者”;如果不能很好的度量,就无法有效的管理;体验度量是设计师深挖价值的有效路径,是输出设计价值的靠谱手段。

4. 体验度量的特点:

体验度量具有较强的业务特点:不同的业务类型、业务阶段、业务规模、资源情况都会有与之相配的不同的合适的度量方式。

不同的 体验度量有较为一致关注角度:用户感受、用户行为、系统表现;方法虽多变,但思维统一,所以我讲的如何度量不重要,重要的是如何思考。

5. 体验度量方法的设计思路:

小团队如何做体验度量?试试这个方法!

△ 体验度量方法的设计思路

梳理体验度量方法设计的9个关键节点:

  • 理清:项目现状&阶段
  • 明确:可投入资源
  • :阶目标
  • 提炼:有效评测维度
  • 设计:评测方法与形式
  • 挑选:评测专家&用户
  • 验证:评测方法效度
  • 检测:测结
  • 构建:闭环评测优化路径与周期性检测机制

谢耐阅读,笔拙劣、观者见谅。希望篇章够,尤准备验启。

欢迎关注作者的微信公众号:「老美工聊设计」

小团队如何做体验度量?试试这个方法!

© 版权声明
您必须登录才能参与评论!
立即登录
暂无评论...

相关文章

@苏大牙牙牙 :在产品内容越来越同质化的背景下,用户体验设计的价值不言而喻。本文中,笔者也结合自己的心得,与大家聊一聊...
大牙的设计笔记
编者按:在进行 UI 设计的时候,很多小技巧能够恰到好处地提升界面的设计视觉效果、用户体验。这篇来自Mark Andrew 的文章梳...
ui设计
编者按:定价页面中,具体的设计细节其实对于用户购买和销售的转化有着直接的影响,怎样设计才会更有有效?今天这篇来自Proof...
定价策略
一、可用性价值 动效很容易被象成某种增强愉悦的东西,自身并不具备什么价值。常常被当做可有可无部分,通常作为最后一步点缀...
交互设计
@Jenny黄静雯 :​​​在App大版本的迭代中,免费试用作为小模块,交互逻辑不变,仅做视觉层面的优化。然而在视觉优化过程中,免...
App改版
随着移动互联网存量时代的来临,用户的留存与激励也变得越来越重要,到如今各大平台都掀起了一股游戏化设计浪潮。其实早在201...
AlibabaDesign
三木自习室:今天这篇译文是关于 MVP 产品和 MAP 产品的,在读到这篇文章之前,我确实只知道互联网产品有 MVP 产品这么一说,...
产品设计
您最近填写过在线表单了吗? 答案应该是肯定的。根据最近的研究,84% 的人每周至少会填写一份线上表单。 虽然你可能没有感...
用户体验