如何推进多方合作的A/B测试项目？来看京东的实战案例！

在方合的项目中，我们需要规划项目的合理落地方案，并在执行程中和各方有效沟通。结合近期羚珑家合测试项目的践经历，聊聊我在项目中的心得。

项目背景

我们想京东首焦banner中，设计因素对点击效果的影响情况。做件最大的在投放数据受种因素影响，不仅是一个设计因素的选择，还有比人群、出价、品牌、类目等因素的不同，能影响到最终的投放结果。因此，从总样中取样进行分析的意义不大。为决上述问题，我们招募一能控其他因素的品牌告主，与有能力支持投放的测试投放系统合，共同完成A/B测试。

需求拆解与规划

不难发现这个需求会涉及到多个项目色，意味着将有复杂进流程，需要提前拆解与规划，才能保证项目进度可控。

△ 测试项目流程与分工

我们以分三步来进行：

1. 找到项目关键步骤

关键步骤是将一个项目的推进拆成个阶段，找到关键步骤，也就道每个阶段的主要任务，以进一步分工来推进项目。

如何找到关键骤？我们可以从项目目标中提取。测试项目的目标找到设因素与投点击效果的影响关系。这目标里提取重的关键词：设因素、投点击效果、影响关系。面对这些关键词我们会疑问产如「测试设因素什么？哪些？」、「如何投」、「如何判断影响关系」，再行联梳理，得到完整骤流程。

2. 明确角色任务与产出

每阶段的主任务，可以拆解分给项目角色，项目角色也就了各自的任务，角色产出则任务执行的结果，将直接推动项目入下一环节。所以了顺利推项目，我们需根据项目实际况估角色任务分否合理，产出否满足项目求。

比如在「计测图片」这个步骤中，有个工方案，让广告主或计图片。从项目长、沟通成本、潜在风险等维度进行评估，判断广告主把控变量不严谨会导致测数据无效，且外部作沟通成本较高间不够，所以最后将计图片的任给了内部。

3. 预判项目风险

对流程规划得越详细，在后续作过程中越容易把控项目的节奏，项目风险越低。

再如「设计测试图片」这个键步骤，详细展开执行流程会发现涉及到交互设计师、两方视觉设计师、广告个角色。对于项目执行角色，产物的质量及按时交付尤为重要，重点把控输准确性与成时间。对于项目决策角色，就是决策最终投放哪些图片的广告，沟通配合尤为重要。基于规避险对项目流程进行了优，前置在项目之初，要求广告前准备交付容，规定交付时间及格式，及充分沟通说明图片设计产之后进行较大改。

结论推导的重要前提与方法

1. 保证数据有效

测结论来源于测数据，首先应该保证回收数据的有效性。测项目的关键指标是点击率，即点击量曝光量的比值。当图片本身曝光量低，认为随着曝光量增加，点击率比值波动范围仍然较大，数据还未稳定在某个间段，会响结论准确性，判定为无效数据。发现类似这种问题，会和广告主商量继续投放，延长测间来增加曝光。

2. 充测

要想得可靠普适的结论，需要对比多组本的测结果。对于某个计因素，先进行了一广告主的投放数据对比，可以找投放效果最优和最差的计水。然后将多个广告主的结果进行对比，会发现存在不一致的情况，验证了组本结论不能作为类目结论输出。如果多个广告主结果一致，或呈现某一趋势，则结论在该类目可以认为较为普适。

3. 差异析

对于多组本结果不一致的情况，可以从组间因素差异着析。

△ 背景计因素测结果

上图是两个广告分别测试背景设计因素得到的结果。第一组的投放结果为实景设计效果更好，第二组则为普通平面设计效果更好。产生这样差异的原因是么呢？我们先组间可导致这一结果的因素，分别是颜色和产。从颜色上看，是否平面+黑色效果更好呢？我们看了他广告结果，否定了这一猜想。再从产图来看，两个产的识别是同的，我们将他广告该因素测试图按产是否容易识别分组，最终得两组同的结论：当产图易识别时，背景设计对效果影响大；当产图易识别时，实景图效果更好。这就解释了上图结果一致的原因。

回顾个项目，我个认为项目最要工作是沟。下我来分谈谈内部沟经验。

双赢是外部合作沟通的基石

与部团队、广告主合作进项目，需要及时有效沟，什么是有效沟呢？

1. 围绕利益谈配合

广告主看转化结，我们如谈设计不谈转化，广告主是不会想要出钱参与项目，那么项目也将滞不前。所以在合作前，我们做了项目及团队装，用真实案例让广告主快速理解参与项目所能带来价值，并用团队以往作品、能力展示让广告主了解与我们合作优势。广告主越认项目价值及我们专业度，配合度会越高。

△ 招募PPT真实案例介绍

2. 围绕目标来「销」案

在进项目这上，找到目标致更容易促成各意见成致。

我们合的告主很选择外包banner设计，所以告主们习惯做传说中的「甲方爸爸」，难免对视设计方案有各种主观意见。比，某电视告主不喜欢红图设计，想要蓝。对样的分歧，我个人喜欢用引导式的沟通方法。首先，不要急表达自己或否定对方的意见，以以疑问句式来猜测对方的目的。「喜欢蓝是希望用沉稳的颜来表现产品的高级感吗？」，果猜测正确，对方因自己的需求被理而更容易沟通，时继续阐述用红何表达高级感；果猜测不正确，对方顺势说出原因，我们围绕对方的目标进一步沟通。果对方毫无理由「不喜欢个设计」，而设计师并不得有设计问题，么我们需要停止业角度的沟通，从设计是否满当前阶段项目需求的角度来沟通，方案则更容易被接受。

内部合作各尽所能发挥优势

内部合分互、视、用研三种不同的位角，在项目中挥着自己重要的用。

交互擅统筹与拆解问题，团队的内部沟通能产多种解题思，对项目的推至关重；遇到如需统学分析、样本设置专业问题时，用研可以提供专业的分析方法与帮，我们实科学分析提供力支持；视觉设师对banner设丰富的验，可以各环节中发挥优势。从项目之初就参与设因素拆解、测试方案设置，可以补充视觉相关的设因素，优化测试方案、风险预方面都可以提供重的建议。结论推导中，对图中的因素差异敏感度高，可以根据数据提出关键猜。

除专业领域的配外，不少同学有其个人长，常常在不经间闪闪发光，也是项目中有待发现和挖掘的藏。

上是我于初次成此类合作测试项目的思考，大一起交流。

欢迎关注「京东设计中心JDC」的微信公众号：