揭开YouTube深度推荐系统模型Serving之谜

这里是 「王喆的机器学习笔记」 的第十二篇文章,今天我们着手来彻底解决一个许久以来悬而未决的问题,也至少有十几位专栏读者通过留言和私信的方式询问我这个问题,这个问题就是 YouTube深度学习推荐系统中模型serving的问题

不了解YouTube深度学习推荐系统的同学可以回顾一下我之前的两篇专栏文章,以及YouTube的论文原文:

1.王喆:重读Youtube深度学习推荐系统论文,字字珠玑,惊为神文

2.王喆:YouTube深度学习推荐系统的十大工程问题

3.[Youtube] Deep Neural Networks for YouTube Recommendations (Youtube 2016)

这里我们再详细陈述一下这个问题:

YouTube深度学习推荐系统中Ranking Model的架构图

上图是YouTube推荐系统排序模型(Ranking Model)的架构图,我们不再重复讲解模型的细节,而是把关注的焦点放在最后的输出层:

对于传统的深度学习架构,输出层往往采用LR或者Softmax,在线上预测过程中,也是原封不动的照搬LR或者softmax的经典形式来计算点击率(广义地说,应该是正样本概率)。

搞清楚这件事情并不是一件容易的事情,我们要从逻辑回归的 本质意义 上开始。

几乎所有算法工程师的第一堂课就是逻辑回归,也肯定知道逻辑回归的数学形式就是一个线性回归套sigmoid函数:

逻辑回归的数学形式