深度学习在58租房搜索排序的应用

本文聚焦租房业务线，围绕数据、模型，对搜索排序应用深度学习提升连接效率的经验做阐释。

58APP端用户的一个典型使用场景如图1所示。用户通过搜索某一具体小区名或点选某一具体地铁站，发起一次搜索请求，服务端检索到一批相关帖子后，采用某种策略区分帖子的展现位置，最终返回给用户排序后的帖子列表。

用户指定一个搜索场景后，返回哪些信息给用户，信息如何排序，从根本上说是怎样更好地完成信息与用户需求的匹配，即是否匹配了用户的搜索意图。对于更商业化的现实意义而言，更好的排序不仅能够提升用户的检索效率，提高用户粘性，改善用户获取的信息质量，针对具体业务线还能够提高用户点击或转化的几率，增加平台的收入。

用于信息排序的模型，核心能力是处理多样性的特征数据，挖掘用户和候选贴的关联关系，合理的建模用户兴趣。深度学习模型拥有在大规模帖子信息中稳健的处理能力，能够提取深层次的帖子、用户信息，拟合真实的用户兴趣，在业界的排序应用中效果显著。

本文主要对应用深度学习模型排序中的点击率、转化率预估技术做介绍。

搜索排序的核心架构如图2所示，整体可以分为数据层和策略层。数据层主要提供排序模型所需的特征数据，策略层提供具体的排序能力。

数据层从前后端日志拿到埋点数据，整合业务侧提供的帖子、用户等数据，得到基础信息日志，通过数据分析，分组提取日志中的特征，部分特征刷入特征中心，供线上使用。离线通过正负采样和特征处理得到模型需要的训练样本。

策略层包含模型和业务策略两部分，模型部分是运用机器学习或深度学习模型，学习隐含信息，提供初步的排序信息，业务策略针对具体的业务线需求，在模型排序基础上添加分层或调权能力，获得更稳健的排序结果。

排序模型的核心能力是处理多样性的特征数据，挖掘用户和候选贴间的关联关系，判断用户的兴趣点。在传统的排序策略中，最简单的方案是按照帖子更新时间排序，提供给用户最新信息，这种方案忽略了用户本身兴趣。后续考虑到具体的业务场景差异，加上人为的条件约束来排序，虽然策略日趋复杂，但核心排序能力依然是主观的，不具有普适性。接着引入了机器学习模型，如LR、FM、Xgboost等，逐步增加不同特征的交叉信息，排序性能更加可靠，对于海量的帖子库拥有了一定的用户兴趣匹配能力，但传统机器学习方法极度依赖输入特征数据的前期处理，即人为的特征工程。

为了降低人为干预，使模型拥有在大规模帖子信息中更稳健的处理能力，同时提取更深层次的帖子、用户信息，深度学习模型大行其道，取得了极佳的效果。搜索排序部紧跟业界SOTA模型风向，落地了一系列排序模型，下文对深度模型的优化迭代路径做一个简要的阐述，介绍业界颇有成效的几个深度模型，并基于我们要优化的房产场景进行选型经验说明。

Google的排序模型Wide&Deep[1]从传统机器学习模型和深度模型的优势出发，既拥有LR的精准化推荐能力，也同时保持DNN模型的模糊推荐优势。

如图3所示，Wide&Deep可以看做两个模型的组合，左侧部分为LR模型，将输入的特征数据做加权整合，部分特征经过Embedding Layer转为one-hot编码馈入模型。由于特征输入直接反馈输出，保留了大量原始信息，模型挖掘到的用户兴趣，更偏向具体特征或帖子间的关联信息，如果训练数据中，酒仙桥和望京的房源帖共现频率较高，那么用户搜索酒仙桥时，模型会同时赋予望京房源更高的排序权重。这种直接从历史数据挖掘到的特征相关性，是低层特征信息，当用户复现某个历史行为时，模型能够拟合用户兴趣，表现出对特征的良好记忆性（Memorization）。

右侧部分是典型的DNN模型，负责获取用户兴趣的抽象表征。用于排序的特征数据大多比较稀疏，有些id类特征维度超过百万，因此在输入DNN模型前，通过Embedding Layer来降维特征，将高维稀疏特征转换到低维稠密特征。经过多层信息抽取，模型挖掘到的用户兴趣，会偏向特征组合得到的抽象表征，是高层特征信息，当用户产生历史数据没有出现过的新行为时，模型会平滑排序结果，表现出对特征的良好泛化性（Generalization）。

DCN[3]的优化思路与DeepFM大体一致，既然Wide&Deep在低层特征使用时，无法提供更高阶的特征，必须依赖人工来构建交叉信息，那么交叉信息的提取，就从机器学习模型转到深度学习模型。因此相比DeepFM在Wide&Deep的基础上对LR部分的结构改进，DCN更进一步的替换LR部分为类DNN结构。

具体结构如图5所示，最明显的结构改变是左侧的类DNN模型。区别于右侧DNN的是，每一个隐含层除了接受前一层的输入外，会同步接受原始输入层的特征，从而实现特征信息的高阶交叉。对比DeepFM，DCN在低层特征的信息提取上，能够挖掘特征更高阶的交叉信息，同时由于DNN结构对矩阵计算的友好性，计算效率上较DeepFM更有优势。

DIN的核心是Attention Layer，候选贴和用户历史行为中的每个帖子发生交互，抑制无关的历史行为信息，加强和候选贴相似的历史信息，相比先前DNN模型中使用的用户历史统计信息而言，建模的用户兴趣更加准确，做到了千人千面，候选贴间的差异信息得到了更好的挖掘。

此外，先前模型在使用用户的历史行为信息时，依赖的都是基于人工统计的个性化信息。以租房业务而言，图6中重要性较高的ARPrrpcommunity特征，含义为用户对当前候选贴小区的偏好程度，我们预先统计了用户过去一周内点击过的帖子小区及次数，如用户之前看过将府家园、北窑地的一些房源贴，候选贴中若出现将府家园的小区信息，就表明一定程度上匹配了用户的兴趣，最终表现为一定的数值（点击次数）。这种建模方式仍旧依赖了人工的特征工程，当原始特征进行扩充时，对应的个性化统计信息需要扩充数倍，是繁复且冗杂的。

DIN使用用户历史行为信息的方式，是保留用户行为的序列信息，然后由模型自动进行交互信息的抽取，不再需要额外的人工干预过程，大幅降低了特征工程的复杂度。

相对DIN，DIEN在输入特征的处理中，改变了用户历史行为序列的提取逻辑，构建了兴趣提取层（Interest Extract Layer）来捕获用户历史行为中的帖子联系，GRU是NLP中抽取长序列信息的常用结构，DIEN引入GRU以提取用户对历史行为的兴趣。初步提取的兴趣表征，继续通过兴趣发展层（Interest Evolving Layer）加工，兴趣发展层包含了AUGRU和Attention结构，核心在于抽取兴趣的变化。AUGRU是加入了Attention分数的GRU，用来捕获与当前候选贴相关的兴趣变化。当前候选贴的特征只在发展层进行Attention调权，也表明DIEN的核心思想是提取用户历史行为序列中，与当前候选贴相关的兴趣变化，相对DIN更进一步的考虑了用户历史行为中存在的兴趣信息。

上述模型的发展路径，大致可以归结为：如何有效的降低人工干预，使用模型自动获取特征数据的信息，其中不止考虑特征间的交叉信息获取，还考虑了更加充沛的输入信息，使模型更加合理的构建用户兴趣。

我们考虑模型选型时，相比模型间的性能对比，更重要的是对业务场景的理解。先前的机器学习模型迭代时，用户历史行为统计得到的个性化信息，对线上排序性能的提升很有效果，因此相比致力于交叉信息获取的模型，选择了对用户历史行为更加友好的DIN和DIEN模型，进一步将人工统计特征向模型自动提取过渡。

基于机器学习模型迭代建立的数据流程，我们在租房场景下构建的特征体系如下表所示。围绕用户，构造了用户当前访问状态相关的信息，并以24小时为限，统计了用户近期浏览过的帖子信息，建立了表达用户实时兴趣的个性化统计特征，这部分实时统计特征落盘后，以180天为周期统计得到用户的历史个性化统计特征。

帖子维度除了帖子id、位置等常规信息，主要关注了具体的属性信息，如价格、面积、朝向、设施等，这些属性区分的较为细致，在租房场景下基本覆盖了可见信息。虽然模型可以自动抽象特征信息，但业务上的关键特征还是需要人为来把控，合理且全面的覆盖对模型的效果提升极为关键，有时一个新的合理信息加入，比模型参数调整的效果更佳。以租房的业务优化经验，新加入用户搜索位置和房源位置的距离度量后，补充了用户的位置兴趣偏好，线下auc提升1.13%，效果还是比较明显的。此外，帖子维度利用候选贴的属性特征和用户维度的历史行为统计特征发生交互，建模了用户对当前候选贴的偏好兴趣度。

上下文特征属于补充信息，涵盖了基于帖子及当前曝光位置综合统计的CTR、CVR信息，统计信息分为实时、历史两部分，实时统计的时间窗口为7天，历史统计为30天，得到的点击或转化信息对于时间叠加了一定的衰减系数，并经过了贝叶斯平滑，保证统计信息在长时间跨度和低曝光量下的可靠性。此外，对帖子的时效性用曝光和刷新的时间差来表示。

我们对于DIN、DIEN模型的输入特征需求，新构建了基于Flink+Kafka架构的用户历史行为序列。为保留尽可能丰富的用户序列信息，采用了用户历史点击序列而非转化序列。序列中每一个历史贴，存储了帖子id及帖子的属性值如面积、价格、朝向等信息，这部分信息完全对齐候选贴的属性信息。

对于时间窗口3、5、7天的用户点击序列，统计了一天数据的序列长度分布，如图9所示。可以看出，序列长度为50时，覆盖超过80%的用户，排除长尾和异常数据，已经足够对用户在一周内的兴趣进行建模，因此我们线上存储的用户序列特征，最大截断长度设置为50，超过50时新序列替换距当前最久的一条序列数据。同时，我们不设置序列的过期时间，对非活跃用户而言，可以保留较长时间的历史行为，对活跃用户而言，基本保留了一周内的实时兴趣。

模型构建DNN部分时使用了Batch Normalization来缓解随机取的批次数据由于数据分布的差异导致的模型参数微调及模型训练效率降低问题。原生的tensorflow api实现BN层（tf.layers.batch_normalization）时，并不能做到参数的完全自动更新，对于数据的滑动均值、方差（moving_mean、moving_variance），只能通过手动更新，导出模型时这两个参数也需要额外读取保存。同时BN层在训练时和预测时有不同的处理逻辑，我们必须指定参数training来区分训练状态。

Dice[4]激活函数是对prelu的改进，可以看做添加了BN的prelu，动态调整梯度变化点适应不同的输入数据分布。由于加入了BN，带来了上述同样的问题，且原实现只考虑了训练情况，没有预测部分，我们基于tensorflow原生BN重新实现了Dice，解决了这一问题。

对于dropout而言，也存在训练和预测过程处理逻辑不一致问题，预测时我们不应该生效dropout以免输入数据不稳定。

用户历史序列拼装成一个批次数据时，由于不同用户的点击序列长度不同，我们以最长序列为基准，对同批次的短序列进行了0值填充，构建成相同维度的输入数据喂给模型。但是模型输入的特征，全部经过Embedding Layer进行编码，不论one-hot方式还是embedding方式，都会将填充的0值进行转换，最终表现为一个非零值的特征，这样相当于我们填充的序列长度也作为一个特征信息被模型学习。因此，我们利用用户序列的mask信息，对编码后的特征做了截取，保留了用户真实的序列信息。

调整后，模型组装数据方式对预测结果不产生影响，经过线下实验，auc相对提升0.94%，gauc相对提升1.37%，这个提升对于排序而言已经相当明显了。因此对于封装好的原生接口，我们在使用时需要把握参数的含义，了解清楚逻辑，否则很容易踩坑，这类问题还极难定位。对于开源的实现，我们应用到具体的业务场景上，也应先保证模型的实现正确，才能谈对业务的迭代优化。

输入样本数据生成关于点击和转化各自的标签，模型中为每个任务单独构建DNN部分，共享特征Embedding Layer和Attention Layer的输出。对于CVR任务来说，输入的数据量扩增了数倍，且更逼近真实的样本分布，共享的输入信息也不会增加模型过多的参数量，同时CTR任务训练过程中同步作用在特征输入部分，能够纠正模型的偏差，为模型提供更多维度的信息。线上实际部署模型时，可以用一个多目标模型替代CTR、CVR单独训练的模型，实际的推理性能比单纯部署两个任务模型时更佳。

多目标训练的损失函数构造如下：

采用加权和作为整体loss，权重配比依赖预先在各自任务下训练得到的loss值，基本保持各自任务对loss的贡献相同。

阿里在ESMM[6]模型提出了CTR任务和CVR任务的级联关系，用户先点击到某个帖子，才会继续发生转化行为，并用连乘来构造总体损失，这个想法比较符合用户实际转化行为发生的场景，后续我们会进行尝试。

对于离线样本数据构建时，我们组装的数据是一个batch，由于用户不同导致用户的历史行为序列长度也有差异，所以通过填充短序列来构造了相同维度的序列数据进行预测。但在线上实际预测时，用户一个搜索请求发生时，我们需要对不同的候选贴进行排序，虽然帖子维度的特征各不相同，但都是对相同用户的响应，所以从用户维度的特征尤其是用户行为序列来看，这些数据是不必要考虑填充构造的。

我们对于用户维度的特征数据，如用户id、用户历史行为序列涵盖的帖子特征、mask信息等进行简化，序列化时只保留一个数据的信息，在预测数据预处理时再进行batch数据的填充。

上述工程实现的优化，使SCF序列化的数据量减小了90%，对应数据组装batch由10提升到20，线上超时率由3-5%降到0.5-0.7%，模型访问平均耗时降低5ms，具体对比如下图13所示。可以看到优化后模型超时量明显下降，能够更准确的评估线上模型迭代效果。

我们针对租房业务场景的排序优化目的，构建了从离线样本到线上预测的完整流程，考虑用户历史行为会包含更多的兴趣信息，选用了DIN、DIEN模型进行迭代优化。从数据特征、模型改进、预测优化上持续提升模型的性能表现。

在实际优化过程中，理解业务一直是我们的重点，只有充分的理解我们要研究的业务场景，才能准确的指导我们的优化方向。最后模型在线上的迭代提升，很大程度上依赖了对业务特征和业务数据的把握。

后续我们的工作重点，会继续放在深入挖掘业务场景上。对于帖子id这类超大规模稀疏特征，拆分embedding在离线完成以降低线上耗时；对于租房场景而言，用户看到的首图也是很重要的特征信息，考虑CNN提取特征融入排序模型；对于58其他垂类，例如招聘、商业地产等业务场景，应用并持续扩充深度模型的排序能力。

同时我们也会持续关注业界的前沿研究，升级现有数据和模型架构，适应多种类模型的落地需求，致力于持续对外提供丰富且稳定的排序能力。

Heng-Tze, et al. “Wide & Deep Learning for Recommender Systems.” Proceedings of the 1st Workshop on Deep Learning for Recommender Systems, 2016, pp. 7–10.

[2] Guo, Huifeng, et al. “DeepFM: A Factorization-Machine Based Neural Network for CTR Prediction.” IJCAI’17 Proceedings of the 26th International Joint Conference on Artificial Intelligence, 2017, pp. 1725–1731.

[3] Wang, Ruoxi, et al. “Deep & Cross Network for Ad Click Predictions.” Proceedings of the ADKDD’17 on , 2017, p. 12.

[4] Zhou, Guorui, et al. “Deep Interest Network for Click-Through Rate Prediction.” Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2018, pp. 1059–1068.

[5] Zhou, Guorui, et al. “Deep Interest Evolution Network for Click-Through Rate Prediction.” Proceedings of the AAAI Conference on Artificial Intelligence, vol. 33, no. 1, 2019, pp. 5941–5948.

[6] Ma, Xiao, et al. “Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate.” The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval, 2018, pp. 1137–1140.