揭开YouTube深度推荐系统模型Serving之谜
2010 年 2 月 10 日
这里是 「王喆的机器学习笔记」 的第十二篇文章,今天我们着手来彻底解决一个许久以来悬而未决的问题,也至少有十几位专栏读者通过留言和私信的方式询问我这个问题,这个问题就是 YouTube深度学习推荐系统中模型serving的问题 。
不了解YouTube深度学习推荐系统的同学可以回顾一下我之前的两篇专栏文章,以及YouTube的论文原文:
1.王喆:重读Youtube深度学习推荐系统论文,字字珠玑,惊为神文
2.王喆:YouTube深度学习推荐系统的十大工程问题
3.[Youtube] Deep Neural Networks for YouTube Recommendations (Youtube 2016)
这里我们再详细陈述一下这个问题:
YouTube深度学习推荐系统中Ranking Model的架构图
上图是YouTube推荐系统排序模型(Ranking Model)的架构图,我们不再重复讲解模型的细节,而是把关注的焦点放在最后的输出层:
对于传统的深度学习架构,输出层往往采用LR或者Softmax,在线上预测过程中,也是原封不动的照搬LR或者softmax的经典形式来计算点击率(广义地说,应该是正样本概率)。
搞清楚这件事情并不是一件容易的事情,我们要从逻辑回归的 本质意义 上开始。
几乎所有算法工程师的第一堂课就是逻辑回归,也肯定知道逻辑回归的数学形式就是一个线性回归套sigmoid函数:
逻辑回归的数学形式