对于当下的互联网产品，无论主流或非主流，处处都能看到推荐系统应用场景。比如，你在淘宝下单买了台iPhone 11，买完成页下立刻会你荐诸如「全新AirPods Pro」、「Apple Watch 5」等相关商品；再比如，你在瓣上标记了想看热悬疑网剧《隐秘落》，在厕所刷抖音时候，可能会看到《证罪》、《轮到你了》、《白夜追凶》等等相似剧精片段。荐系统这形「大手」已经把我们安排明明白白了。
△ @alienking2000 from unsplash.com
推荐系统的强毋庸置疑，且我们常会把它看作一神秘的黑箱子，会将其与多种复杂的技语相关联，比如「数据」、「人智能」、「机器学习」，认推荐系统的好坏，就对用户偏好预测的精准与否。然，不久完的一研究课题，打破了这认知误区。
面对这课题，首先需回答的就：如何义推荐系统的好坏？其实，这问题一种符合直觉的答案，即越能精准预测用户需求的推荐系统就好的。乍一看，这答案几乎什么问题，然，精准预测只一好的推荐系统的必条件，那究竟什么「好」？回答这问题，我们需先了解推荐系统的本质。
推荐系统（Recommend System）的研究由来已久，这一概念初次被及，是在1990年哥伦亚大研究者Jussi Karlgren的著作中，直到1994年才成为一个相对独立的研究领域，虽然这一领域已经有30年的研究沉淀，但对推荐系统的定义仍未达成一致，过密歇根大的研究者Resnick和Varian在1997年了一个较为公认的定义：「推荐系统是利电子商务向顾客供商信息和建议，帮助户决定应该购么产，模拟销售人员帮助客户成购过程」。
△ @linkedinsalesnavigator from unsplash.com
以上段描述反映推荐系统最质的三个问题：一，何精准的预测用户的需求？二，何面细致地描述网站上的信息？三，何给用户推荐最适合的信息？
「预测用户」&「描述息」主要是依赖术队的算法，而且业内在该方面的研究相对比较成熟，目前常用的预测术包括：基于内容的推、协同过滤推、基于知识的推、基于网络结构的推、组推及其推等等，由于术难度较硬核，在此不做展开；在确保预测准及全面描述的基础上，便是「推」最适的息给用户了，但什是最适的？这个评判的标尺就拿捏在用户的上。
下来就是关于如何评估推系统的好坏，业内普遍认为，推系统的评估涉及大范畴的维度：准确度（Accuracy）和可用性（Usefulness）。其中，准确度表示推系统预测用户行为的能力，主要根据离线实验的方式来评估；可用性更多反映的是用户的主观体验，常见的评估指标包括多性（Diversity）、新颖性（Novelty）、惊喜度（Serendipity）、任度（Trust）及实性（Utility）等。
1. 多性（Diversity）
多性是指每条推息的不相似程度，如果推结果过于一，势必会让用户失去不断浏览的兴趣，而纯的增加多性并不算难，挑战主要在于如何增加推息多化的同，可以保证结果符用户的「味」；
△ @nate_dumlao from unsplash.com
2. 新颖性（Novelty）
新颖性是指推结果中出现的用户以往没的息，提升新颖性最常用的法是根据均流行度来推，把流行度较低的息提供给用户，会增加其新颖性知，但是，一味提升新颖性也未必会增加用户度，同需要在确保准性的前提下进行；
3. 惊喜度（Serendipity）
之所以会把惊喜度作为一个指标，纳入推系统评估的体系中，是为了衡量推系统解决如下问题的能力：用户面对之前已经遇的推结果，变得越来越厌烦，推系统需要提供让用户既新奇有吸引力的息。
「惊喜」与「新颖」在文语境有些相似，在此处并不相，笔者过以下示例来做说明：比如，你平时会用网易云音乐来听歌，比较喜欢杰伦、林俊杰这类R&B歌手，几乎听遍了他们专辑所有歌曲，如系统你荐了《夏天风》这首歌，而你前没听过，是你看了这首歌封，发现是杰伦创作，充其量也会感觉比较新颖，未必会有惊喜感觉；如系统你荐了首从创作、演唱到曲风完全不于以往听过R&B歌曲，你听完后发现很喜欢，那这时候你不觉新颖，更会有惊喜感觉。
△ @jmuniz from unsplash.com
4. 信任度（Trust）
信任度也是衡量荐系统好坏要维度，顾名思义，信任度指是用户荐系统信任程度，信任度高荐系统更易引导用户生交互为，影响信任度不括荐内容，也括荐样，目前提升信任度主要括增加荐系统可解释性（Explanation，即荐理由），或者引入社交网络信息（熟荐易提升信任度）。
微信「看看」展示部分信息，即露了社交关系相关荐理由
5. 实时性（Utility）
该指标主要指，用户与荐系统发生交互为后，荐信息列表是否及时发生变化，如用户生若干信息检索为后，系统荐信息依然不变，显然该荐系统未能实时学习用户需求偏好，尤其于信息具有较强时效性品，该指标显更为要，比如新闻资讯类、部分生活服务类平台。
下以笔者近期接到个需求为例，说明荐系统体验评估操作法。
1. 需求背景
58城平台上，提供了括招聘、房、手、本地服务等多生活服务类信息，类信息都有相应个性化荐系统，虽然荐系统在不断优化，更多是针算法层提升，而荐系统在用户主观体验研究尚属空白，此需要过专项调研了解荐系统现状及优化。
2. 评估法选择
在做荐系统评估时，以往多会采用叫做「Case by Case」，即让用户针荐结逐条进「Yes or No」评价，这评估优是：评估是实时性，指明确，颗粒度较细；缺也很明显，样本选择不具有代表性，缺乏统计学意义，而评价过于简单，仅能反应用户主观准确性。此，为了能使评估结有更好代表性，括更全评估维度，我们选择采用定量问卷。
3. 评估业务选择
在正开始实施评估前，需要明确个问题：是针58全业务进评估，是针不业务线分评估？由于58各业务独立性较强，用户多会进入应业务专属频进查找，此，我们与需求沟后，决定针不业务线单独评估，并决定先以租房业务线为试进，跑后再复用至其他业务线。
4. 评估场景选择
即使仅针单业务线来进评估，荐系统落地场景仍不止处，如何选择具体评估场景，可以依据该场景曝量及用户状态来选择，针58租房业务线，荐系统主要会在App首页Feed流、租房频首页Feed流、信息列表页及房详情页底部荐4处呈现用户，首页Feed流会混杂其他业务信息，较难仅针租房进评估，进入信息列表页用户多属目性较强用户，并荐系统目标用户，此，本需要评估页场景确定为租房频首页Feed流（如下图）。
58租房荐评估入口，选择了以Banner常驻于租房首页Feed
5. 评估结
过以上评估案，我们可以获取到不时段内，不用户租房荐系统在精准性、多样性、新颖性、惊喜度、信任度以及实时性主观满意度数据，利用这些原始数据，我们立套荐系统体验监测日更报表（如下图），可以在BI看板实时浏览，便于相关及时了解前荐系统短板及异常情况。此，数值出现异常时，可以抽取出低分用户进专项调研，挖掘用户体验不佳原，从而及时反馈荐团队进优化。
△ 以上仅列出部分BI看板数据指标
过本调研，虽然迈出了荐系统体验评估第步，依然存在不足处：
1. 评估颗粒度较粗
本评估是针荐系统体条目来进，虽然在评估维度上划分了若干子维度，由于荐信息展示规则复杂性，很难定位出具体哪些条目存在问题，即使量化了用户主观感受，也是笼统性诊断，于较明显缺陷（例如缺乏荐理由）尚可探查，于涉及算法层调优，指导意义则相较弱；
2. 用户回忆槛高
用户在填答评估问卷时，需要回忆荐列表曾经出现过信息条目，不用户浏览习惯异较大，有些用户会逐条仔细浏览，有些用户会跳跃浏览，这干扰素较难在线上进控制，结是用户填答问卷时，可能会出现前浏览过信息法回忆情况，进而会影响到最终评估结。针该问题，可考虑选择实时性更高填答，例如，在用户进入评估页后，为用户实时呈现真实算法展示信息条目，也可以确保用户会逐条阅读荐信息并进评估。
入淘宝首页推荐系统调研页面后，用户会入一估问卷中，但估的条目会根据用户的喜好性化呈，用户直接针对不同条目行估即可，无需回忆
上是笔者期于推荐系统评估的若干实践与反思，希望给对该题感兴趣的友们带来一些启发。
参考献
- [1] 王国霞，刘贺平.个性化荐系统综述[J]. 计算工程与应用，2012,48(7):66-76.
- [2] Paul Resnick, Hal R. Varian. Recommender Systems[J]. Communications of the ACM, 1997,40(3): 56-58.
- [3] 项亮. 推荐系统实践[M]. 京：人民邮电版社, 2012.
欢迎关注「58UXD」的微信公众：
浙公网安备33011002017549号