神刀安全网

[译]使用机器学习的方法给Quora的答案排序

[译]使用机器学习的方法给Quora的答案排序

每天数百万人使用Quora寻找问题的答案,做出更好的决策,寻找梦想的工作,更好的照顾自己的家庭,等等。在问题页面提供更好的阅读体验,对我们来说非常重要。做到这点很重要的一步就是,根据与问题的相关性以及答案的价值排序,这样最有用的答案总是排在前面。

在这篇blog文章里,我们将描述,在Quora我们是如何使用机器学习给答案排名的。

早期尝试和基准线

赞成和反对票数量的简单排名函数(百分比,或者差值),可以作为排名问题一个不错的基准线。虽然这个基准线还不错,但是也有一些问题:

  1. 时间相关:我们在答案收到投票之前无法排名。
  2. 马太效应:内容一旦收获投票,则更容易收获更多的投票。
  3. 玩笑答案:玩笑答案往往很热门,但是不见得对问题有任何帮助。
  4. 可发现性:新加入Quora的专家,可能没有足够多的followers,他们的内容无法被看到,导致她们的回答永远在后面,然后他们就更难获得followers。

非常明显,虽然这样的基准线简单,快速,容易诠释,但是他们经常效果不佳。我们也可以用其他尝试,比如展示数,但是这些模型也各有各的问题。既然Quorayou大量的结构化数据,我们想尝试一些更复杂的模型。

我们的排名方法

回答排序属于一类问题叫做排序问题。我们在Quora还有很多其他的排序问题在解决,搜索,主页流,摘要邮件,邀请回答,等等。在排序问题里,我们的目标是根据相关性预测一组文档。大多数情况下,也包含一些附加的上下文,比如正在看结果的用户,也就是要引入个性化到这个问题里。

我们尝试过很多种回答排序方法,不过在本文,我们讲专注于非个性化supervised item-wise regression方法。一个supervised方法意味着,一个训练数据集,用来抽取特征,建立模型。Item-wise regression就是说模型会给每一个回答一个数值的分数,让我们用来排序。后面的站街,我们将深入细节讨论我们如何收集数据,我们如何验证我们的模型,最后我们如何在生产环境让整个系统循环起来。

基础信任数据集

不管问题如何被建模,我们希望可以客观的验证我们的模型。一个方法是使用A/B测试来验证模型,观察相关的指标。这通常被叫做在线验证。另外一种方法,离线验证,指的是我们模拟排名,然后用它们和一些已知的好的排名比较。离线验证非常重要,可以让我们非常快速的迭代我们的模型。对于答案排序,我们选择了一个模型,在这两种设置下都有最佳的性能,但是最后我们还是决定专注于离线验证,因为我们从根本上相信我们需要做的不是短期的优化用户行为表现,而是提供更高质量的产品。

对离线验证来说,难点在于如何知道好的排名是什么样子。为了达到这个目的,我们构建了一个答案排序正确的基础信任数据集。这非常困难,因为什么是好的答案,每个人想法都不一样,尤其是是当考虑到个性化的时候就更加困难了。在Quora我们定义一个好的答案要拥有如下5个特性:

  1. 不能答非所问。
  2. 给任何对这个问题感兴趣的人提供可以复用的知识。
  3. 答案必须符合基本原理。
  4. 示范必须可信,基础事实必须正确。
  5. 清晰,易读。

[译]使用机器学习的方法给Quora的答案排序
上面的截图,我们看到了一个好回答的例子。注意高亮区域,他们显示了我们可以用在我们的预测中的结构化信息,例如,作者的可信度,格式,赞同票,等等。我们还有很多作者和投票者的历史数据,来推断主题专业度以及可信度。更多关于好答案是什么样的的信息,参见“什么是Quora上好答案的样子?什么叫做’有帮助’”。

创建一个好的数据集可能成本高昂,但是对在离线情况下验证排名算法极端重要。我们使用很多不同的方式来了解答案的真实质量。例如,我们曾经考虑使用一个答案列表,用赞同票和反对票的比例作为标签。这可以作为构建一个基础信任数据的一个不错的起点。这样的数据有很多,因为Quora上有成百万的答案既有赞同票也有反对票。然而,这种标签的问题跟之前反对票标签会遭遇类似的问题。它会把一些非常流行,但是低质量的答案(例如,玩笑答案)排在前面。

另外一种其他人得到训练数据的方法是进行一个用户调查。调查页面可能会问用户是否觉得某个答案有用。我们也可以尝试,结合用户正在看什么答案,以及他们未来参与等级如何,来推测这个信息。

所有这些方法都有它们的长处和缺点,在现实世界的设定下,我们可能想尝试很多种有创意的方法,然后尝试把它们都结合到一个权威的基础信任数据集。

[译]使用机器学习的方法给Quora的答案排序

问答排名系统循环

特征和模型

supervised学习设定下,我们使用从训练集抽取的一组特征训练我们的模型。特征选取就是用一组函数把我们的例子转换成数值的流程。

特征选取是一个模型成功的主要贡献者,也常常是构建一个好的机器学习系统最难的部分。在答案排名的案例里也一样,我们花了很大的功夫选择和实现正确的特征抽取。

我们用我们对答案质量的直觉测试了大量的特征。我们尝试过的特征可以大致分为三类:基于文本的特征,基于专业度的特征,基于作者投票者历史行为的特征。我们开始使用效果明显(高ROI,高投资回报率)的基于文本的特征,但是我们实验了一阵子,开始尝试更复杂的概念,比如句法复杂度(syntactic complexity)。很重要的是,观察确保我们的特征很好的泛化(generalize well)。考虑到这里文本特征实际上经常产生问题。

很多时候,我们最后组合特征,并且重用其他机器学习模型的输出,如果它合理的话。一个组合模型往往比单一特征更好,常常是提到性能的强大方法。例如,我们有一个模型尝试去估价一个用户对指定主题的专业度,从这个模型引出的特征结果非常有效。

为了解决这个通用回归(general regression)问题,我们实验了几个模型:linear regression、logistic regression、random forests、gradient boosted trees、 neural networks。很多都不错,特别是gradient boosted trees以及一些深度学习(deep learning)方法,非常不错。

然而,我们很在乎的模型可解释性——任何时候,排名看起来不对,我们想知道问题出在我们的模型,我们的特征,还是我们的训练数据,或者还是其他的原因。大家都知道模型越简单,就越好解释。例如,线性回归就是一组特征的权重,但是神经网络可能有很多层,难以解释和可视化。而且从性能考虑,我们倾向于简单的模型。

度量

“问答作为一个机器学习问题”一文中提到,寻找正确的度量是非常重要的。对于我们的目的,既然我们选择了point-wise排名方法,我们关注很多高级度量,有一些是基于排名的,有一些是point-wise的。我们使用如下的度量方式:

基于排名的:NDCG、Mean Reciprocal Rank、Spearman’s Rho, Kendall’s Tau

point-wise:R2、Mean Squared Error

基于排名的度量给我们关于算法的信息,同时point-wise的确保我们的评分在尺度上接近我们的训练数据,不同问题之间的答案也可以被比较了。

产品化

这个章节我们讨论,在我们的生产系统中,实现排名训练循环,我们面对的工程挑战。

当用户在Quora加上了一个新答案,我们希望尽快在问题页面给这个答案排名,以提供一个平滑的用户体验。虽然预测的延时非常低,但我们仍旧需要为新答案计算一些耗时的特征,然后我们发现这种延时会损害加入答案流程的用户体验。所以,我们创建了一个单独的模型,仅基于那些容易计算的特征,为新加入的答案提供一个还不错的近似评分,来快速排名。一旦答案被添加后,我们会异步的计算一个更准确的评分。

在上百万个答案上实时排名是一个核心的挑战。问题页面可以包含数百个答案。想象一个系统使用数百个特征,需要上百毫秒去计算。问题页面可能需要10秒钟以上去加载。在这种情况下,答案的评分必须更快的产生,所以,把答案评分缓存起来,以便问题页面可以在合理的时间内加载完成。但是,缓存的问题是,如果任何一个特征值变了,我们就可能需要更新答案的分数。为了节约重新计算全部特征的时间,我们也保存了全部的特征值。所有这些数据(答案得分、特征值),都保存在HBase,一个开源的NoSQL数据库,可以支撑大量的数据以及写入。

缓存每个答案的得分带来的一个问题是,当一些问题或者用户的特征改变时,我们需要更新大量的答案。考虑一个可能有上万个答案的用户。如果我们依赖于特征,例如用户的答案数,那么每次他增加一个答案,我们就需要更新他全部答案的评分。答案多的用户,往往添加答案也更频繁,这就更恶化了这个问题。为了缓解这个问题的影响,我们决定把部分用户和问题的数据组织起来。然后,我们尝试批处理计算这些答案的分数,减少重复的计算。

以上一切,仍旧无法把更新量降低到一个可以控制的范围,所以,我们在决策树内部做了其他的优化。如果更新一个特征不会影响到答案的评分,我们就不更新它。

以上全部的优化,把预测工作量降低了70%,我们的模型在我们目前的规模下可以高效的运行。

总结和结果

总体上,我们发现我们模型生成的积分,比基准线准确得多。我们同时发现,这些评分对很多基于好答案定义的应用都很有价值:

折叠答案。如果一个答案的积分太低,它可能是坏的内容,应该被折叠。我们现在还会在作者得到反对票之前,就提示他内容质量不够高,可能会被折叠。

高质量的通知。如果用户收到一个低质量答案的通知,那是一个非常坏的用户体验。

提高首页流的排名效果。

总体来说,我们使用supervised学习方法预测答案的质量和排名。得到一个好的排名效果,我们进行了大量的迭代,是我们团队中很多人的贡献的结晶。最终,我们在全部的度量标准下,相比基准线提高了50%的效果,缩短了和完美排名之间的差距,排名质量看起来很不错。最终,我们成功的通过排名给作者和读者,提供了更好的用户体验。

在这些改进的基础上,还有很多需要去做。例如,我们的模型还不能个性化。我们也可以多花些精力放在用更高的技术来给回答文本建模。我们可以研究Recurrent Neural Networks,它可以处理词序列(早期实验结果很好)。或者,我们可以使用一个可以处理更多数据的模型。总体上,我们会把精力放在更复杂的自然语言处理(Natural Language Processing (NLP))方法上,帮助我们理解问题和回答的语义。

原文: A Machine Learning Approach to Ranking Answers on Quora

via:cofechina

End.

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » [译]使用机器学习的方法给Quora的答案排序

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
分享按钮