作者: 阮一峰
日期: 2012年3月16日
这个系列的前三篇,介绍了Hacker News,Reddit和Stack Overflow的排名算法。
今天,讨论一个更一般的数学模型。
这个系列的每篇文章,都是可以分开读的。但是,为了保证所有人都在同一页上,我再说一下,到目前为止,我们用不同方法,企图解决的都是同一个问题:根据用户的投票,决定最近一段时间内的"热文排名"。
你可能会觉得,这是一个全新的课题,伴随着互联网而产生,需要全新的方法来解决。但是,实际上不是。我们可以把"热文排名"想象成一个"自然冷却"的过程:
(1)任一时刻,网站中所有的文章,都有一个"当前温度",温度最高的文章就排在第一位。
(2)如果一个用户对某篇文章投了赞成票,该文章的温度就上升一度。
(3)随着时间流逝,所有文章的温度都逐渐"冷却"。
这样假设的意义,在于我们可以照搬物理学的冷却定律,使用现成的公式,建立"温度"与"时间"之间的函数关系,轻松构建一个"指数式衰减"(Exponential decay)的过程。
伟大的物理学家牛顿,早在17世纪就提出了温度冷却的数学公式,被后人称作"牛顿冷却定律"(Newton's Law of Cooling)。我们就用这个定律构建排名算法。
"牛顿冷却定律"非常简单,用一句话就可以概况:
物体的冷却速度,与其当前温度与室温之间的温差成正比。
写成数学公式就是:
其中,
- T(t)是温度(T)的时间(t)函数。微积分知识告诉我们,温度变化(冷却)的速率就是温度函数的导数T'(t)。
- H代表室温,T(t)-H就是当前温度与室温之间的温差。由于当前温度高于室温,所以这是一个正值。
- 常数α(α>0)表示室温与降温速率之间的比例关系。前面的负号表示降温。不同的物质有不同的α值。
这是一个微分方程,为了计算当前温度,需要求出T(t)的函数表达式。
第一步,改写方程,然后等式两边取积分。
第二步,求出这个积分的解(c为常数项)。
第三步,假定在时刻t0,该物体的温度是T(t0),简写为T0。代入上面的方程,得到
第四步,将上一步的C代入第二步的方程。
假定室温H为0度,即所有物体最终都会"冷寂",方程就可以简化为
上面这个方程,就是我们想要的最终结果:
本期温度 = 上一期温度 x exp(-(冷却系数) x 间隔的小时数)
将这个公式用在"排名算法",就相当于(假定本期没有增加净赞成票)
本期得分 = 上一期得分 x exp(-(冷却系数) x 间隔的小时数)
其中,"冷却系数"是一个你自己决定的值。如果假定一篇新文章的初始分数是100分,24小时之后"冷却"为1分,那么可以计算得到"冷却系数"约等于0.192。如果你想放慢"热文排名"的更新率,"冷却系数"就取一个较小的值,否则就取一个较大的值。
[参考文献]
* Rank Hotness With Newton's Law of Cooling
(完)
erben 说:
好模型。
2012年3月16日 02:18 | ∞ | 引用
必填 说:
有趣的模型。如果拿这个跟那些score=log(vote)-c*time的模型比较,可以发现后者就是对牛顿模型里的温度取了个对数。
一个可能的变化是考虑每一票的时间,一小时前的新“顶”应该比去年的“顶”有更大的效果。其实有些论坛按照最后回复来排列贴子,结果近似于每一个回复都让系统温度提高很多(自动取得所有贴子里的最高温度),而后慢慢冷却。每“顶”一次都把文章提到最前是没有必要的,但可以调节参数得到更有实际意义的模型。其负面作用是或者要记录每一“顶”的时间,增加系统负担,或者要实时记录当前“温度”,而这个“温度”无法从原始数据得出(因为每次“顶”的时间没有记录下来)。
2012年3月16日 04:41 | ∞ | 引用
刘永新 说:
这个模型不错!
2012年3月16日 09:12 | ∞ | 引用
乱发吹风 说:
那如果是本期有增加赞成票呢,应该怎么计算呢?
是不是可以这样, 先算一下上一期到现在冷却后的得分,然后再加上{本期增加赞成票数}
本期得分 = 上一期得分 × exp(-(冷却系数) × 间隔的小时数) + 本期增加赞成票数
可是{本期增加赞成票数}是否应以1为单位增加呢
2012年3月16日 11:03 | ∞ | 引用
xb 说:
"微积分知识告诉我们,温度变化(冷却)的速率就是温度函数的导数T'(t)。" 这个怎么理解?
2012年3月16日 11:06 | ∞ | 引用
αβγ 说:
看得真亲切,物理+微积分~~ :-)
2012年3月16日 22:57 | ∞ | 引用
Mead Lai 说:
我在想,阮gg这个公式编辑器用的是什么?
怎么生成图片的???
看这公式,哥哥又要膜拜了...
到处都是大神啊...
2012年3月17日 12:24 | ∞ | 引用
klein 说:
之前也一直在思考如何将排名算法抽象出来,类比了一些自然现象也不得其解。
直到看到这篇文章,醍醐灌顶啊,真是万物归一,非常感谢分享。
2012年3月17日 19:45 | ∞ | 引用
Ranmocy 说:
引用乱发吹风的发言:那如果是本期有增加赞成票呢,应该怎么计算呢?
是不是可以这样, 先算一下上一期到现在冷却后的得分,然后再加上{本期增加赞成票数}
本期得分 = 上一期得分 × exp(-(冷却系数) × 间隔的小时数) + 本期增加赞成票数
可是{本期增加赞成票数}是否应以1为单位增加呢
具体的权值应该跟你的网站的特性有关。比如说访问量,赞成票的更新量等等来具体决定吧。
2012年3月19日 09:15 | ∞ | 引用
Ranmocy 说:
引用必填的发言:一个可能的变化是考虑每一票的时间,一小时前的新“顶”应该比去年的“顶”有更大的效果。其实有些论坛按照最后回复来排列贴子,结果近似于每一个回复都让系统温度提高很多(自动取得所有贴子里的最高温度),而后慢慢冷却。每“顶”一次都把文章提到最前是没有必要的,但可以调节参数得到更有实际意义的模型。其负面作用是或者要记录每一“顶”的时间,增加系统负担,或者要实时记录当前“温度”,而这个“温度”无法从原始数据得出(因为每次“顶”的时间没有记录下来)。
并不需要记录所有“顶”的时间,只需要记录上一次“顶”的时间和当时的温度即可算出当前“顶”之前的一瞬间冷却到什么温度,然后加上这个“顶”所带来的温度的提升即可。
冷却模型没有后效性,所以记录原始数据是没有意义的。
实际工程中应该是离散地迭代来实现的。
2012年3月19日 09:23 | ∞ | 引用
Ranmocy 说:
引用xb的发言:"微积分知识告诉我们,温度变化(冷却)的速率就是温度函数的导数T'(t)。" 这个怎么理解?
速率就是一定时间内变化量与时间的比。
V = (T(t) - T(t+dt)) / dt = dT(t) / dt = T'(t)
2012年3月19日 09:26 | ∞ | 引用
KCG 说:
有实现的代码参考吗?
2012年3月20日 00:42 | ∞ | 引用
必填 说:
引用Ranmocy的发言:并不需要记录所有“顶”的时间,只需要记录上一次“顶”的时间和当时的温度即可算出当前“顶”之前的一瞬间冷却到什么温度,然后加上这个“顶”所带来的温度的提升即可。
冷却模型没有后效性,所以记录原始数据是没有意义的。
实际工程中应该是离散地迭代来实现的。
是,这基本上就是我说的“实时记录当前‘温度’”。 我的想法是,有的时候可能会希望从原始数据重新计算一下温度,比如说想调整冷却系数;如果只记录了当前温度,旧文章和新文章的计算就会有不一致的地方。
2012年3月20日 00:44 | ∞ | 引用
大米 说:
你是抄袭的么 http://www.oschina.net/question/12_45050
2012年4月 1日 09:45 | ∞ | 引用
城主 说:
非常thought-provoking,但是这里只考虑了冷却问题,还有一个加温的问题,二者在实际运用中往往是结合在一起的。
比如顶(即赞成票)应该是具有时效性的,当前的顶显然比一年前的顶更为重要。
2012年4月 2日 20:42 | ∞ | 引用
北极之北 说:
引用大米的发言:你是抄袭的么 http://www.oschina.net/question/12_45050
那篇下面写的有原文出处,就是这里呀。
2012年4月 9日 16:57 | ∞ | 引用
胡大善人 说:
这就是工业界最常用的衰减因子了,每次历史聚合的时候都对上一次的结果进行衰减。
衰减因子主要存在的问题在于是衰减整体投票结果还是衰减投票。
比如历史上不同时间段有赞成票, 反对票, 以及每个时间段的赞成比例。 不管衰减哪个都有优势和劣势
2012年5月16日 15:07 | ∞ | 引用
麦洛Milo 说:
对这个模型很感兴趣。您觉得新浪微博的智能排序使用了什么算法呢?
2012年9月26日 11:08 | ∞ | 引用
dirtysalt 说:
这里只是考虑得分的一种通用自然衰减过程,没有考虑其他因素比如用户参与与外部贡献是吧?
2013年9月 6日 09:34 | ∞ | 引用