RecSys 2019最佳论文：基于深度学习的推荐系统是否真的优于传统经典方法？

作者丨纪厚业

单位丨北京邮电大学博士生

研究方向丨 异质图神经网络，异质图表示学习和推荐系统

本文发表在推荐系统顶会 RecSys 2019 并获得了 Best Paper。作者梳理实现了大量顶会推荐论文的代码 方便大家入门推荐系统。

传送门：

https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation

引言

推荐系统尤其是深度推荐系统在工业界得到的广泛的应用，相关论文也在各大顶会层出不穷。各种 State-of-the-art 的模型不断的刷新着记录。但是，这些模型的有效性并没有真正的得到验证。

本文复现了近些年顶会的 Top-N 推荐的论文并进行了系统的分析。遗憾的是， 顶会上的 18 种推荐算法只有 7 个可以合理的复现 。一些算法甚至无法超过基于 KNN 的方法。这不禁使作者发出疑问：我们真的取得了大量的进步吗？

相关论文、模型评价标准及基线算法

这里作者收集了 18 篇各大 顶会论文，见 Table 1。

模型验证

Collaborative Memory Networks (CMN)

CMN 是一种混合记忆网络和注意力机制的推荐模型，发表在 SIGIR 2018。作者复现了 CMN 并在三个数据集上进行了验证，结果如 Table 2 所示。

可以看出，CMN 在大部分的情况下表现并不好，而 UserKNN 和 ItemKNN 表现强劲。

Metapath based Context for RECommendation (MCRec)

MCRec 是北邮石川老师组发表在 KDD 2018 的工作，是一种基于路径的异质图推荐算法。作者在 MoiveLens100k 比较了 MCRec 和相关 baselines，具体结果见 Table 3。

这里 MCRec 表现不错，但是仍然略差于 ItemKNN。ItemKNN 在设置了正确超参数的时候取得了最优效果。

Collaborative Variational Autoencoder (CVAE)

CVAE 是一种混合了内容和评分的混合推荐模型，发表在 KDD 2018 上。实验结果见 Table 4。

Collaborative Deep Learning (CDL)

CDL 是一篇早期的深度推荐算法（发表在 KDD 2015 上），它混合了栈式降噪自编码器（SDAE）和协同滤波技术来进行推荐。CVAE 和本文采用了同样的测评方法和数据集。

可以看出，随着 list 长度的增加，CDL 效果逐渐超过一些 baseline，但是和最佳 baseline（ItemKNN-CBF）的差距依然较大。

Neural Collaborative Filtering (NCF)

本文由 NUS 的 Xiangnan He 发表在 WWW 2017 上。NCF 通过用神经网络来代替内积对矩阵分解进行了泛化，已经成为推荐领域的一个经典 baseline。但是在本文的测评中，NCF 的表现甚至不如 PureSVD。具体测评结果见 Table 6。

NCF 的一作 Xiangnan He 老师也在知乎对本文的测评提出了异议：

https://www.zhihu.com/question/336304380/answer/784976195

Spectral Collaborative Filtering (SpectralCF)

本文发表在 RecSys 2018 上，作者从 Spectral Graph Theory 的角度设计了一种新颖的卷积操作来解决推荐系统的 cold-start 问题。这里作者在 MovieLens1M 上对比了 SpectralCF 和一些 baselines，具体结果见 Table 7。

SpectralCF 表现不是很好， 大幅度超越 SpectralCF 取得了最优的效果。

Variational Autoencoders for Collaborative Filtering (Mult-VAE)

Mult-VAE 是一种基于隐式反馈和 VAE 的协同过滤模型，发表在 WWW 2018 上。测评结果见 Table 8 和 Table 9。

结论

本文复现并分析了近些年各大顶会的 18 篇推荐论文。 结果表明，仅仅有 7 篇论文可以复现，但是其效果并不一定比一些基础推荐算法好。 这不禁让作者怀疑深度推荐系统这个领域是否真正的取 得了进步。

参考文献

[1] Travis Ebesu, Bin Shen, and Yi Fang. 2018. Collaborative Memory Network for Recommendation Systems. In Proceedings SIGIR ’18. 515–524.

[2] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, and Tat-Seng Chua. 2017. Neural collaborative fltering. In Proceedings WWW ’17. 173–182.

[3] Binbin Hu, Chuan Shi, Wayne Xin Zhao, and Philip S Yu. 2018. Leveraging meta-path based context for top-n recommendation with a neural co-attention model. In Proceedings KDD ’18. 1531–1540.

[4] Xiaopeng Li and James She. 2017. Collaborative variational autoencoder for recommender systems. In Proceedings KDD ’17. 305–314.

[5] Dawen Liang, Rahul G Krishnan, Matthew D Hofman, and Tony Jebara. 2018. Variational Autoencoders for Collaborative Filtering. In Proceedings WWW ’18. 689–698.

[6] Hao Wang, Naiyan Wang, and Dit-Yan Yeung. 2015. Collaborative deep learning for recommender systems. In Proceedings KDD ’15. 1235–1244.

[7] Lei Zheng, Chun-Ta Lu, Fei Jiang, Jiawei Zhang, and Philip S. Yu. 2018. Spectral Collaborative Filtering. In Proceedings RecSys ’18. 311–319.

[8] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Multi-Pointer Co-Attention Networks for Recommendation. In Proceedings SIGKDD ’18. 2309–2318.

[9] Zhu Sun, Jie Yang, Jie Zhang, Alessandro Bozzon, Long-Kai Huang, and Chi Xu. 2018. Recurrent Knowledge Graph Embedding for Efective Recommendation. In Proceedings RecSys ’18. 297–305.

[10] Homanga Bharadhwaj, Homin Park, and Brian Y. Lim. 2018. RecGAN: Recurrent Generative Adversarial Networks for Recommendation Systems. In Proceedings RecSys ’18. 372–376.

[11] Noveen Sachdeva, Kartik Gupta, and Vikram Pudi. 2018. Attentive Neural Architecture Incorporating Song Features for Music Recommendation. In Proceedings RecSys ’18. 417–421.

[12] Trinh Xuan Tuan and Tu Minh Phuong. 2017. 3D Convolutional Networks for Session-based Recommendation with Content Features. In Proceedings RecSys ’17. 138–146.

[13] Donghyun Kim, Chanyoung Park, Jinoh Oh, Sungyoung Lee, and Hwanjo Yu. 2016. Convolutional Matrix Factorization for Document Context-Aware Recommendation. In Proceedings RecSys ’16. 233–240.

[14] Flavian Vasile, Elena Smirnova, and Alexis Conneau. 2016. Meta-Prod2Vec: Product Embeddings Using Side-Information for Recommendation. In Proceedings RecSys ’16. 225–232.

[15] Jarana Manotumruksa, Craig Macdonald, and Iadh Ounis. 2018. A Contextual Attention Recurrent Architecture for Context-Aware Venue Recommendation. In Proceedings SIGIR ’18. 555–564.

[16] Jingyuan Chen, Hanwang Zhang, Xiangnan He, Liqiang Nie, Wei Liu, and Tat-Seng Chua. 2017. Attentive collaborative fltering: Multimedia recommendation with item-and component-level attention. In Proceedings SIGIR ’17. 335–344.

[17] Yi Tay, Luu Anh Tuan, and Siu Cheung Hui. 2018. Latent relational metric learning via memory-based attention for collaborative ranking. In Proceedings WWW ’18. 729–739.

[18] Ali Mamdouh Elkahky, Yang Song, and Xiaodong He. 2015. A multi-view deep learning approach for cross domain user modeling in recommendation systems. In Proceedings WWW ’15. 278–288.