如果你公司的产数据反映户单成率很低、如果你公司年目标是升销售额、如果户反映单流程太复杂，…作为产、设计、营，你应该怎么做才够为户、为公司务解决这些问题？你需要到针对这些问题的优点，并且做优实验，通过数据的反馈来持续优产。
文以 Keep 为例子，进行「升用户关注率」的增实验，出发点了促平台用户的活跃程度互动。
是本大纲：
第一步：明确实验目标和类
- 明确实验目标
- 明确实验类型
第二步：用数据支持实验假
- 从类数据中寻证据支持假设
- 最佳时间中的 Lift 模型
- 没有定量和定型数据，怎做实验假
第步：实验假设
- 实验假设模板
- 针对 Keep 优化的几实验假设
第四步：对实验假进行优先排序
- ICE模打分法
- 用ICE模型为 Keep 的验假设做优先级排序
第五：设一场实验
- 确认实验假
- 选择实验指标
- 确实验受众
- 设计实验版本
第六步：根据数据分析和应用结果
- 分析结果及评可信
- 使用置信区间提高结果信度
- 根据实验结果决定下一步
1. 明确实验目标
出发点决目标。我们每优化方案的时候，都应该从实际的业务问题用户反馈出发，不从自己的法出发。
“我觉得用户需这功能”
“领导说了，就这种交互方式”
“个界面太难看，要改”
当听到种自主代用户而产生的想法时，应该思考：「司现在的目标是什么？当前支撑个目标最应该现的功能是什么？」「什么互方式才适用用户，在相同业务逻辑和用户使用场下，有没有原理支撑和数据论证？数据从哪来？」「界面难看，是个人感官还是用户使用程中产生困难而提出反馈？」
以 Keep 作为例来说，这次优化是从业角度出发，目的是长期促进用户的活跃程度和互动。所以实验目标是提升用户的关注率，即提升点转化率。
常见品优化目标有：提升单转化率、提升全漏斗转化率、比新旧版本指标、新功能探索、提升留存率、个化等等。
2. 明确实验类型
上述提到常见优化目标可以划分为两个类型：简单实验和复杂实验。
- 提升点转化率和全漏斗转化率都属于简实验，用文案测、计测、页面测、路径测等方法就可以实现。
- 比新旧版本指标和新功能探索、提升留存率等，则属于复杂实验，需要新版本上线或者使用算法来进。
1. 从三类数据中寻找证据支持假设
这三类数据分别「数据」、「性数据」、「实践」。
定量数据可帮助我们发现问题；定性数据可帮助我们了解这个问题是怎么发生的；最佳实践告诉我们怎么改较好。
定量数据是指转率计算、户分群、点击热图、路径分析、场景细查、漏斗分析等。
定数据是指用户用研究、用户问卷或访谈、录屏和点击录像、时聊天和产品内弹窗等。
最佳实践是指Lift模型、用户心理学、文案写作最佳实践、UX和计最佳实践、路径计最佳实践。
2. 最佳践中的 Lift 模型
Lift 模型的原理就是基数据认识的基础，在营销信息中找出问题，设计有关决问题的假设来提高产品效益，得出改进问题的结果，从而提升转换率。
影响Lift模型的6个因素分别是价值主、相关、清晰度、紧迫、焦虑、注意力分散。
价值主张是载体；相关性、清晰度、紧迫性是推动因素；焦虑性和注力散是阻碍因素。下面这张图会帮助你了解这个因素的关系：
要达目的，应该加推动因素的度，降低阻碍因素的响：
化价值主张
确有力的营销号，用户可以准知能获得怎的好
放大相关性
落地页、转化页符用户预期，你的价值主张紧密关
提升清晰度
体验流程清晰流畅，用户清晰知道下一步应该做什，怎操作
降低焦虑性
做减法，不要给用户过多选择，不要做不符用户预期、习惯的事
降低注力散
减少视觉干扰、息噪音，只为一个核心目的服
制作紧迫性
营造饥饿促使用户决策，善于利用禀赋效应、损失厌恶等用户心理
3. 没有定量和定性数据，怎做实验假
如果有定量和定性数据，实验会更准确。但是目前缺乏 Keep 的这些数据，所以采用了其方法去做实验假。
- 梳理 Keep 的产品结构，找到现有的关注路径有哪；
- 按照关注行为倒推关键触点，并析用户在什景下会关注其用户；
- 从关键为归纳引起关注为类，找出可干涉改。
- 对于可涉的修改点，其他产品中找相应的参考。
1. 实验假设的模
经过分析和参考，此刻你应该产生了好几种假设。为了够清晰描述实验假设，你的假设必须包含明确的指标和时间限制，要解析背后的原因，并且可被证伪。这是一个见的假设模：如果具体的改，预计某指标可升x%，因为深层的原因——有数据支持的假设。
比“在新浪微博的首页投放告以引流用户到天猫旗舰店”个假设应该写成：「在新浪微博首页投放关该产品的告，以在投放的三周内为品牌的天猫旗舰店引流 500 位用户，因为个告清晰介绍产品的功效。」
2. 针对 Keep 优化的几个验假设
1. ICE模打分法
使 ICE 模打分法，可直观看到实验假设的优先级序。ICE 模是一个从预期影响（Impact）、成功概率（Confidence）、容易程(Ease)个方面为实验设想打分的模。预期影响指的是实验够覆盖的户数和实验的成功后够升多指标；成功概率指的是否在数据中到足够有的洞察支持；容易程是指实现这个假设需要多成本。综合个方面的打分，评分最的则优先级最。
2. ICE模为KEEP的实验假设做优先级序
1. 确认实验假
如果用户在某个文章或动上停留5秒以上，“关注”按钮变亮变大，提示用户可以关注此博主，预计某指标可以提升 6 %，因为该改变突出了关注按钮，能吸引用户的注力。
2. 选择实验指标
实验指标为核心指标、辅助指标和反向指标。
核心指标，般选取个，是决定实验成败关键指标。找核心指标时候，你需要思考这些问题：实验最终目标是什么？你最想要影响指标是什么？哪个指标能够告诉你实验组改动是成功？
辅指标，一般选取不超过十，它监测其他实验可能影响到的重指标，帮全面了解实验结果。常见的辅指标漏斗细分骤转化率、重的下游指标其他关键用户指标。
反向指标，一般是一至两个，作是示实验可的负面影响。见的反向指标有NPS、邮件退订率、页面退率、他按钮点击率、应删除率、Push退订率、订单取消率、他页面访问率等。
3. 确实验受众
实验受众包含两内，一实验对象，二实验样本数。
实验对象可择有户都进入试验，或只有符合特定条件的户才进入试验。如果择特定户群体进行实验，会帮助生成更精细的产优方案。通会通过第方A/B测试的工具来进行设置。
验样数是指确认结果统计显著所需要的最小样数。统计显著是指对照组和验组之间的转化率有大能是存在而不是随机误差引的。一般建议至少要求95%的统计显著。在里推荐一个估所需样数的工具：云眼。https://www.eyeofcloud.com
那，怎决定实验的长呢？实验长=所需总本数/实验页面每的访问数。
4. 设实验版本
实验版本取决于实验假设的数，只选择高质的实验假设能够减少实验本。不同的实验类型也会影响到版本数。如果优化实验，每版本只改变单一的变，可以明确改动的影响。如果探索实验，则可以同时改变多变，设全新的版本。
1. 析结果及评估可度
以下是实验在3和14的数据情况。根据这些数据，从本流是否均匀、核心指标是否达统计显著、辅助指标是否和核心指标趋势一致、反向指标是否有异常等角度来析结果的可度。
我判断是两个数据都不可信。其实14天数据情况，有判断结是可信。这个没有绝，有数据要求是不是十分严谨。我判断不可信原是，我认为分流样本误到4%，不够严谨。
2. 使用置信区间提高结果信度
置信区间是指由样统计量所构造的总参数的估计区间。在统计学里面，一个概率样的置信区间是对个样的某个总参数的区间估计。用置信区间的计，以提高验结果的信度。刘津老师的 UGD lab 一个置信区间计的微信小程序，感兴趣以搜索小程序的名字：A/B测试计器。
假 14 的数据为本流均匀后的结果，验证间足够，反向指标数据逐渐趋同，在实验结果可的情况下，可以增加置间计算，再次确认结果是否可。
3. 根据验结果决定下一步
判断验是否成功，要注意指标判断的标准、两种观测周期的变化外以及产生的四种状态：统计显著的指标大幅度或小幅度提升，则验组胜；统计显著的指标下降或无差别，则对照组胜。
如果实验成功，应该将实验产品化，放大实验的响。如果实验失败，则考虑放弃还是继续迭代。
备注：本文所有与 keep 相关界，均为 keep 软件截图，其为了展示实验效而做了部分界调。实验数据均为虚构，如有雷，实属巧合。本文在于如何学地做好场 A/B 测试，请勿过分解读数据。
欢迎关注作者微信公众：「一点牙线」
浙公网安备33011002017549号