简介:本文是点击率和预测模型在职毕业论文范文和序列类论文范例.
摘 要： 点击率预测模型是主流推荐系统中十分重要的部分. 根据点击率预测的打分来调整商品的展示策略, 对提高业务的转化率、改进用户体验等有着重要的意义. 传统的点击率预测模型是利用用户特征和商品特征, 对点击率进行预测. 然而, 用户行为序列的结构特征, 如周期性规律、趋势等也能一定程度地体现用户行为的倾向. 针对部分信息利用上的空缺, 使用时间序列分析单元, 将提取用户行为序列的特征作为用户特征的扩展, 结合因子分解机结构将其与用户、商品特征进行交叉, 能够有效提高特征质量, 优化点击率预测模型的性能. 实验表明, 结合用户行为序列特征进行交叉优化的方法能够对点击率预测模型的表现带来很大提升, 提高点击率预测的精度.
关键词： 点击率预测; 推荐系统; 自回归滑动平均模型; 因子分解机
中图分类号： TP391 文献标志码： A DOI： 10.3969/j.issn.1000-5641.201921006
0 引言
如今互联网飞速发展的大环境下, 数据的数量和质量都以惊人的速度增长着, 各种O2O （Onlineto Offline） 平台的兴起使得用户的各种需求得到了更好的满足. 与此同时, 大量的交互行为日志中包含了海量的信息, 如何针对不同的用户推荐不同的商品是一个非常值得研究的问题.
主流O2O 平台的推荐场景中, App （Application） 或门户网站等会针对用户返回一定数量的合适商品形成推荐列表. 高质量的推荐方案可以帮助用户节省大量的时间, 同时有效地调度闲置资源, 满足平台的盈利. 一般的商品推荐场景, 排序结果常由热度和点击量等统计数据直接计算, 粒度较粗. 推荐以大众兴趣和普遍偏好物品为主, 没有考虑用户的个体特征和偏好变化, 容易受到群体热度影响,覆盖率不高, 并不能很好地对接日益增长的用户个性化需求. 基于用户和物品交互行为的协同过滤类推荐方法, 通过用户对物品的交互反馈计算, 给个体用户推荐用户受众相似的物品. 但该方法无法在反馈行为中抽取有意义的特征, 解释性不强, 且容易受到群体行为和极端个体行为的误导. 新加入的用户由于缺少行为交互数据, 无法进行高质量的推荐. 近年, 基于逻辑斯蒂回归（Logistic Regression,LR） 和深度神经网络（Deep Neural Network, DNN） 的推荐方法拥有更强的表达拟合能力以适应此类任务. 但用户的兴趣处于不断变化的状态中, 传统的神经网络无法及时跟踪用户兴趣的转移.
为了解决上述问题, 本文主要贡献如下.
（1） 提出了一种基于序列特征的点击率预测模型seq-Cross, 结合用户行为的序列特征对点击率预测模型进行优化.
（2） 在特征工程方面, 算法结合自回归滑动平均模型（Auto-Regressive Moving Average, ARMA）的思想, 对序列的趋势和自相关特征进行建模, 使用ARMA 单元得到关于一段时间内用户行为规律的特征.
（3） 在点击率预测模型方面, 算法使用建模的序列特征作为用户/商品属性的补充, 考虑特征的交叉关联信息, 更好地优化模型的排序效果.
（4） 本文使用某O2O 平台的真实日志记录数据进行实验测试算法性能, 实验结果表明本文提出的基于序列特征的点击率预测模型获得了更好的效果.
1.相关工作
近年来, 各界针对推荐系统和点击率预测方面开展了大量的相关工作[1], 多数想法是将其建模为一个二分类问题再选取适当的模型进行拟合, 最终根据点击率预测的结果打分进行推荐列表的排序.在召回阶段, 一般采用基于用户的协同过滤方法[2] 或基于商品的协同过滤方法[3] 进行候选集合的拉取,它们基于用户和商品之间评分或交互行为的相似度计算, 为用户选择合适的商品. 但协同过滤类的推荐方法具有冷启动问题, 在新用户或者交互行为较少时无法提供有效的推荐, 而通过基于模型的点击率预测打分进行排序则没有这个问题.
Richardson 等[4] 提出的基于邏辑回归模型的点击率预测算法和Joachims 等[5] 提出的基于支持向量机的点击率预测算法均使用了线性模型对样本进行二分类建模划分, 该类方法模型简单容易实现,但效果精度不高. 此外, 由于在推荐系统的背景下, 大多数的用户/商品特征都以离散值的形式存在,会在训练时带来一定的稀疏性, 使得传统的线性模型性能急剧下降. 针对该类稀疏的多域特征, 一般会使用One-Hot Embedding 等方式进行处理之后再使用模型进行训练, 如Zhang 等[6] 对该问题结合深度学习的研究.
推荐场景中的特征, 往往并非相互独立, 而是具有各种不同程度的关联性. 因此, 特征之间的交叉和关联, 也包含了非常多的信息. 2010 年, Rendle 等[7] 提出的因子分解机（Factorization Machine, FM）模型优化了特征的编码问题和交叉问题, 被后来的研究广泛借鉴. 决策树[8] 类的模型利用梯度提升[9]等方式, 集成了多个分类器的预测结果, 也在一定程度上缓解了特征稀疏和相关性带来的问题, 其中被广泛使用得最多的xgboost 模型[10] 结合正则项等优化方式, 使过拟合的问题得到了改善.
近年来, DNN 的发展, 使模型的拟合能力进一步增强. 在点击率预测方面, Product-Based 神经网络[11] 使用内积结构增加了特征的交叉性; 谷歌Wide Deep 模型[12] 使用宽+窄模式的同时, 对特征的低阶信息和高阶信息进行了处理; 深度因子分解机（Deep Factorization Machine, DeepFM） 模型[13] 利用FM 结构代替了Wide Deep 中的LR, 使不需人工进行特征的交叉得以实现. 这些模型均在特征的高低阶处理方式上进行了不同方向的研究. 点击率预测技术在工业界应用方面也潜力巨大, 文献[14]从视频流点击数据中提取特征来预测用户行为; 文献[15] 使用卷积神经网络预测广告的点击率; 文献[16] 使用梯度提升决策树（Gradient Boosting Decision Tree, GBDT） 结合逻辑斯蒂回归（LR） 预测点击率, 在Facebook 广告推荐中取得了不错的效果.
诸多点击率模型的发展都基于特征处理和交叉信息的学习, 然而用户行为不仅体现在静态描述性特征, 还有一定的周期性规律. 本文对用户行为特征建模, 探究了周期规律下用户行为特征对点击率的影响. 采集完整的序列往往需要耗费大量资源, 叶健等[17] 提出的自适应采集算法, 根据频率调整采集策略, 采集弹幕序列进行舆情分析. 自回归滑动平均（ARMA） 模型[18] 是处理时间序列的经典方法, 建模序列自身前后的关联性. 本文提出的基于序列特征的点击率预测推荐算法seq-Cross, 结合ARMA 模型作为序列特征提取器, 保留了DeepFM 模型的特征交叉能力, 使用户行为模式的周期性特征得到了更好利用.
2.算法框架
目前工业界主流的推荐系统主要包括召回、排序两个阶段, 辅佐以其他结合业务的过滤等, 最终形成个性化推荐展示.
（1） 召回阶段： 使用多路召回, 通过协同过滤、热门排序等方式, 得到一定数量的候选集; 利用的信息少, 不包含用户和商品的属性, 计算速度快, 精度低, 一般用于第一阶段快速缩减数量级.
（2） 排序阶段： 通过用户的点击浏览等行为, 确定正负样本, 使用点击率预测模型预测商品的点击率, 根据点击率预测的结果对候选集进行排序, 确定最后展示的结果; 使用用户和商品的属性, 结合行为确定正负样本训练模型, 计算速度慢, 精度高, 一般用于第二阶段对少量候选集商品进行精排.
本文提出的基于序列特征的点击率预测模型seq-Cross, 是对排序阶段常用的点击率预测模型的改进. 传统的点击率预测模型使用用户–商品属性的特征组合向量以及点击标签来进行训练, 模型只会学习用户和商品静态特征之间的相互关联关系. 然而用户的偏好和兴趣有着一定的波动性和起伏,存在规律性, 如果能适时地建模用户行为的特征, 将会对点击率预测起到很大帮助. 本文对一段时间内的用户行为序列进行建模分析, 提取特征作为点击率预测模型特征向量的补充, 能够帮助模型更好地拟合用户的喜好和行为模式特征.
用户短期行为序列的趋势体现了该用户对某类商品的兴趣变化, 通过结合建模序列特征进行训练可以获得对用户更为精准的描述. 特征的预处理方面, 用户的行为序列往往维度大且长度不固定;而点击率预测模型常为神经网络, 其等对于输入的维度有着严格要求的模型, 序列作为向量直接输入不易处理, 无法被神经网络很好地利用. 时间序列本身作为一种具有周期性特征的数据, 使用模型抽象表示后可使其表达能力更强且更容易被分析和使用; 用户和商品的静态特征包括离散型和数值型两类, 离散型的特征需要进行One-Hot Embedding 处理, 输出稠密变量, 使其在特征空间中有更好的表达能力.
本文的算法框架： 首先从数据库中提取用户和商品静态特征; 然后用使用一段时间内的用户行为序列进行建模处理, 提取特征向量; 最后结合3 部分信息对点击率预测模型进行训练, 获取点击率预测的打分结果, 根据打分结果进行商品的排序以及推荐场景展示策略的调整等. 本文算法主要框架如图1 所示.
在ARMA 模型中, 参数的数量和结构由序列的定阶结果决定, 而参数的值由序列的拟合计算得到. 在神经网络为基础的点击率预测模型中特征维度固定, 因而需要固定ARMA 模型的参数数量. 图3中的数据, 无论是哪种车型的用户行为序列, 均在7 d 间隔上显示出较强的规律性. 观察图3 自上而下的第二排和第四排所对应的自相关系数也能发现, 在7 d 单位的间隔上有较强的自相关性, 因而用户群的行为序列建模可以采用同阶数的ARMA 模型, 这也保证了参数数量的固定. ARMA 模型的阶数确定方式如下.
（1） 首先对原序列进行ADF （Augmented Dickey-Fuller Test） 检验, 判断其是否为平稳序列, 若为非平稳序列则需对其进行差分处理, 得到平稳序列. 图3 的自上而下第一排为非平稳的原始序列, 第二排為对原始序列进行差分之后的平稳序列. ADF 检验的结果如表1 所示. 可以看到差分前, 3 条序列的 t 统计量和 p 值均大于显著性水平, 而进行差分后均符合标准, 可以认为序列为平稳序列.
从实验结果来看, 在点击率预测算法中, 同时考虑用户行为序列特征的影响有着重大的意义, 因为用户行为序列特征包含了很多有用的关键信息; 也证明了本文提出的基于序列特征的点击率预测算法, 在实际业务中有良好的表现.
5.结论
本文基于用户行为序列建模提出了一种点击率预测模型, 使用ARMA 单元对一段时间内的用户行为序列提取特征, 考虑了用户行为的周期性规律和趋势对于用户决策的影响. 使用序列特征作为用户静态特征的扩展, 实质上是在时间维度上对点击标签进行一种更细粒度的描述, 不仅考虑了点击行为的产生与否, 也能体现一定的动机特点. 使用因子分解机结构进行特征交叉, 利用这部分序列特征与用户/物品静态属性之间的关联, 能够有效地提高点击率预测模型的特征质量, 帮助点击率预测模型获得更好的性能. 本文模型在实验中的表现良好, 说明了对行为序列特征的建模和利用, 对于提高点击率预测模型的性能很有帮助. 未来的工作可以在这两方面有更进一步的研究： 在用户序列建模的方式上进行优化, 提高信息的利用质量; 对用户序列建模的效率进行优化, 精化整个流程的执行周期.综合的, 在性能和效率等方面, 持续对点击率预测模型进行改进和创新.
[ 参 考 文 献]
[ 1 ] 纪文迪, 王晓玲, 周傲英. 广告点击率估算技术综述 [J]. 华东师范大学学报（自然科学版）, 2013（3）： 2-14.
[ 2 ]ZHAO Z D, SHANG M S. User-based collaborative-filtering recommendation algorithms on hadoop [C]// 2010 3rd InternationalConference on Knowledge Discovery and Data Mining. IEEE, 2010： 478-481.
[ 3 ]PIRASTEH P, JUNG J J, HWANG D. Item-based collaborative filtering with attribute correlation： A case study on movierecommendation [C]// Asian Conference on Intelligent Information and Database Systems 2014： Intelligent Information and DatabaseSystems. Cham： Springer, 2014： 245-252. DOI： 10.1007/978-3-319-05458-2_26.
[ 4 ]RICHARDSON M, DOMINOWSKA E, RAGNO R J, et al. Predicting clicks： Estimating the click-through rate for new ads [C]//Proceedings of the 16th International Conference on World Wide Web. ACM, 2007： 521-530. DOI： 10.1145/1242572.1242643.
[ 5 ]JOACHIMS T. Optimizing search engines using clickthrough data [C]//Proceedings of the 8th ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining. ACM, 2002： 133-142.
[ 6 ]ZHANG W N, DU T M, WANG J. Deep learning over multi-field categorical data [C]//European Conference on Information Retrieval2016： Advances in Information Retrieval. Cham： Springer, 2016： 45-57. DOI： 10.1007/978-3-319-30671-1_4.
[ 7 ]RENDLE S. Factorization machines [C]//2010 IEEE International Conference on Data Mining. IEEE, 2010： 995-1000.DOI： 10.1109/ICDM.2010.127.
[ 8 ] QUINLAN J R. Induction of decision trees [J]. Machine Learning, 1986, 1（1）： 81-106. DOI： 10.1023/A：1022643204877.
[ 9 ]SCHAPIRE R E. A brief introduction to boosting [C]// Proceedings of the 16th International Joint Conference on ArtificialIntelligence. San Francisco： Morgan Kaufmann Publishers Inc, 1999： 1401-1406.
[10]CHEN T, GUESTRIN C. Xgboost： A scalable tree boosting system [C]//Proceedings of the 22nd ACM SIGKDD InternationalConference on Knowledge Discovery and Data Mining. ACM, 2016： 785-794.
[11]QU Y, CAI H, REN K, et al. Product-based neural networks for user response prediction [C]//2016 IEEE 16th InternationalConference on Data Mining （ICDM）. IEEE, 2016： 1149-1154.
[12]CHENG H T, KOC L, HARMSEN J, et al. Wide deep learning for recommender systems [C]//Proceedings of the 1st Workshop onDeep Learning for Recommender Systems. ACM, 2016： 7-10.
[13]GUO H, TANG R, YE Y, et al. DeepFM： A factorization-machine based neural network for CTR prediction [C]//Proceedings of the26th International Joint Conference on Artificial Intelligence. AAAI, 2017： 1725-1731.
[14]AGUIAR E, NAGRECHA S, CHAWLA N V. Predicting online video engagement using clickstreams [C]//2015 IEEE InternationalConference on Data Science and Advanced Analytics （DSAA）. IEEE, 2015： 1-10.
[15]李思琴, 林磊, 孫承杰. 基于卷积神经网络的搜索广告点击率预测 [J]. 智能计算机与应用, 2015（5）： 22-25. DOI： 10.3969/j.issn.2095-2163.2015.05.007.
[16]HE X R, PAN J F, JIN O, et al. Practical lessons from predicting clicks on ads at Facebook [C]//ADKDD’14： Proceedings of the 8thInternational Workshop on Data Mining for Online Advertising. ACM, 2014： pp.1-9. DOI： 10.1145/2648584.2648589.
[17] 叶健, 赵慧. 基于大规模弹幕数据监听和情感分类的舆情分析模型 [J]. 华东师范大学学报（自然科学版）, 2019（3）： 86-100.
[18] BROCKWELL P J, DIS R A, CALDER M V. Introduction to Time Series and Forecasting [M]. New York： Springer, 2002： 73-96.
[19]XIAO J, YE H, HE X N, et al. Attentional factorization machines： Learning the weight of feature interactions via attention networks[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence. AAAI, 2017： 3119-3125.
（责任编辑： 李 艺）
总结：总结：这是一篇可用作大学硕士与本科点击率和预测模型相关的毕业论文开题报告写作参考和有关优秀学术职称论文参考文献资料，免费教你怎么写序列方面论文.
序列引用文献:
[1] 预测模型论文范文 预测模型相关本科毕业论文范文2万字
[2] 预测模型论文范文 关于预测模型方面本科论文范文2000字
[3] 预测模型论文范文 预测模型类电大毕业论文范文2000字
