2021年7月第7期Vol. 42 No. 7 2021
joe wong小型微 型计算 机系统
Journal of Chine Computer Systems
一种改进时序卷积网络的序列推荐方法
施浩杰，刘学军，肖庆华
(南京工业大学计算机科学与技术学院，南京211816)
E-mail : shihaojiel995@ qq. com
摘要：序列推荐在构建现代推荐系统中起着十分重要的作用，如何对序列进行建模是当前学术界研究的热点.针对传统推荐 算法难以表示用户兴趣的动态变化，基于循环神经网络的推荐方法在捕捉复杂的序列关系方面的不足，提出了一种嵌入压缩- 激励模块的改进时序卷积网络来提取序列特征.模型利用扩张卷积增大感受野，捕获更多的序列关系，利用残差连接减小反向 传播过程中的梯度消失问题.通过对用户和项目特征的融合，模型可以综合考虑用户的短期和长期偏好进行个性化推荐.在两
个数据集上的实验结果表明，本文提出的算法要优于基线算法，取得较好的推荐效果.关键词：序列推荐；压缩激励；注意力机制；扩张卷积；时序卷积中图分类号：TP301
文献标识码:A 文章编 号:1000-1220(2021 )07-1382-07
Improved Temporal Convolutional Networks for Sequential Recommendation
SHI Hao-jie.LIU Xue-jun,XIAO Qing-hua
(College of Computer Science and Technology ,Nanjing Tech University ,Nanjing 211816,China)
Abstract : Sequential recommendation plays a very important role in building modem recommendation systems , and the problem to model a quence is a hotspot in current academic rearch. In the view of the fact that the traditional recommendation algorithm can not express the dynamic changes of ur interests and the shortcomings of methods bad on Recurrent Neural Networks in capturing
complex quence relationship , this paper propos an improved Temporal Convolutional Network with a Squeeze and Excitation block
embedded to extract quence features. The model is improved by using dilated convolution to increa the reception field for more quence relationships and using residual connections to reduce gradient disappearance during back propagation. Through the fusion of ur and item features , the model can take into account the short-term and long-term preferences of the urs for personalized recom
mendation. The experimental results on two datats show that the algorithm propod in this paper is superior to the traditional ba
line and achieves a better recommendation effect.
Key words : quential recommendation ； squeeze and excitation ; attention mechanism ； dilated convolution ； temporal convolutional
1引言
推荐系统的主要目的是根据用户的历史交互信息，来预 测用户下一步的偏好行为⑴.传统的协同过滤(Collaborative
Filtering,CF)方法认为用户的偏好和项目属性都是静态的，
主要利用用户信息(如个人资料、项目评分等)进行相似度计
算，从而进行偏好分析，却忽略了用户的兴趣偏好是一种时序 数据.用户的兴趣会随着时间的变化发生偏移，项目属性也会
随时间而变化，如电影的受欢迎程度会随外部事件(如获得 奥斯卡奖)而发生变化⑵.同时，协同过滤方法使用未来的评
分来评估当前喜好的做法也在一定程度上违背了统计分析中
的因果关系.近年来，考虑用户历史行为的序列推荐方法，为
问题的解决提供了新的思路.随着深度学习的蓬勃发展，循环 神经网络(Recurrent Neural Networks ,RNNs )由于其天然的序 列结构，成为当前学术界对序列进行建模的主要工具.但
RNN 的决策要取决于所有过去的隐藏状态，无法在序列中充
分利用并行计算，因此在训练和评估时的速度都受到限制.另
外，在现实情况下，用户的兴趣可能并不是连续的.
如图1(a)所示，通常情况下，用户购买手机之后，会倾向 于依次购买手机壳和充电宝，这个时候推荐系统可以依靠经 验推荐数据线.但是实际会出现这样的情况，如图1 (b)所示，
用户在浏览了手机和充电宝之后，又突然搜索了并不相关的 自行车，这时自行车的浏览就会成为推荐充电宝的干扰项，因 此需要在推荐时考虑更为久远的项目，从而对推荐列表的生 成产生影响.
伤感英文歌为了解决上述问题，本文提岀了一种基于改进的时序卷
积网络的序列推荐方法(SETCNs)，主要工作包括：1)使用时 序卷积网络(Temporal Convolutional Network ,TCN )取代传统
的循环神经网络，作为捕捉序列信息的主要模型，通过结构空
洞的扩张卷积扩大感受野，捕捉更为复杂的序列关系，从而加 强了长期依赖;2)通过将残差连接和注意力机制结合，在 TCN 的基础上对压缩-激励网络⑶(SENets )进行了改进.通
收稿日期：2020X)6-19收修改稿日期:2020-07-10基金项目：国家重点研发计划项目(2018YFC0808500)资助.作者简介：施浩杰，男， 1995年生，硕士研究生，研究方向为深度学习、推荐系统、知识图谱等；刘学军，男，1970年生，博士，教授,CCF 高级会员，研究方向为数据库、数 据挖掘、传感器网络、推荐系统等；肖庆华，男，1995年生，硕士研究生，研究方向为推荐系统、
数据挖掘、计算机视觉等.
7期施浩杰等：一种改进时序卷积网络的序列推荐方法1383
过压缩激励模块，让TCN能够对层间的短时空间特征序列的权值进行重新标定，从而更好地利用序列特征，加强重点项目对推荐决策的影响，实现更好的推荐效果.
訂eV59
(a)理想情况点击序列(b)实际情况点击序列
图1传统序列推荐方法存在的问题
Fig.1Problems in traditional quential recommendation
methods
2相关工作
传统的序列推荐研究主要有频繁模式挖Frequent Pattern Mining,FPM)和马尔可夫链模型(Markov Chains,MCs).
频繁模式挖掘的基本思想是首先在序列数据上寻找频繁模式，通俗来说即项目A和项目B的共现性，然后利用挖掘出的模式来指导后续的推荐.Lu等⑷提出了一种移动应用程序顺序模式挖掘方法，考虑用户移动和应用启动，以发现顺序模式，用于通过预测用户的下一个使用的应用程序来解决上下文自适应的问题.频繁模式挖掘虽然简单直接，但会产生大量的冗余模式，增加不必要的开销.并且由于频率约束，会经常丢失那些出现频率低的模式和项目，这使得推荐结果被限制在那些流行的项目.
基于马尔可夫链的推荐方法，其主要学习的是状态转移概率，即用户点击物品A之后，下一次点击的物品是B的概率，并基于这个状态转移概率进行推荐.Khattar等⑸提出了一种基于项目的协同过滤的新方法，用于使用马尔科夫决策过程(Markov Decision Process,MDP)推荐新闻项目，最简单的MDP本质上是一阶马尔科夫链，其中可以基于项目之间的转移概率简单地计算下一个推荐.这类算法缺点是当试图包括用户所有可能选择的序列时，状态的数量会随问题维度扩大而指数增加，状态空间难以管理.因为随着物品的增加，建模所有可能的点击序列是十分困难的.另一方面，由于马尔可夫特性假设当前的交互仅取决于一个或最近的几个交互，因此只能捕获短期依赖而忽略了长期的依赖关系.He 等⑹基于马尔可夫链提出了一种个性化的序列推荐模型，将矩阵分解和马尔可夫链方法结合起来，以同时适应长期和短期动态.
近年来，学术界也涌现出了利用深度学习方法来对序列推荐进行建模的热潮，其中一些解决方案代表了序列推荐研究领域的最新技术.Hidasi等⑺使用门控循环单元(Gated Recurrent Unit,GRU)来建模序
列数据，直接从给定会话中的先前点击学习会话表示，并提供下一个动作的建议.这是首次尝试应用RNN来解决序列推荐问题，模型结果比传统方法有非常显著的提升•Tan等⑻进一步研究了RNN在基于序列推荐领域的应用，提出了一种数据增强技术，并改变输入数据的数据分布，用于改进模型的性能.Li等⑼提出一种基于RNN的编码器-解码器模型，它将来自RNN的最后隐藏状态作为序列行为，并使用先前点击的隐藏状态进行注意力计算，以捕获给定会话中的主要目的(一般兴趣)•Jannach等(讪将循环方法和基于邻域的方法结合在一起，以混合顺序模式和共现信号.Tuan 等"U将会话点击与内容特征(如项目描述和项目类别)结合起来，通过使用三维卷积神经网络(Convolutional Neural Networks,CNNs)生成推荐.为了解决基本神经网络结构的局限性，一些高级模型通常与某种基本的神经网络结合，来应对特定的挑战.例如，注意力模型通常被用来在一个序列中强调那些真正重要的交互作用，同时淡化那些与下一次交互作用无关的交互.Liu等(⑵提出了一个短期注意优先模型，通过采用简单的多层感知器(Multi-Layer Perceptron,MLP)和注意力网络来捕捉用户的一般兴趣和当前兴趣•总的来说，基于深度学习的序列推荐研究方兴未艾，主要涉及如何设计不同的网络结构以简便高效地捕获高阶动态.
近日，Bai等™对于序列问题提出了一种新的架构时序卷积网络，与传统的序列模型如LSTM或GRU相比,TCN具有更简单的结构和更高的效率.在此基础上，为了提取更完整的时间特征，本文在TCN的基础上引入了SENets进行增强，SENets是一种新的结构单元，其作用是通过对特征各个通道之间的相
互依赖关系进行建模，增强重点通道的权重来提高网络表示的质量.在本文的方法中，我们对SENets进行了改进，通过使用压缩激励模块，将其组合入TCN，增强TCN在时间特征提取中的能力，通过注意力机制加强了重点项目对推荐结果的影响.模型利用扩张卷积增大感受野，捕获更多的序列关系，利用残差连接减小反向传播过程中的梯度消失问题.通过对用户和项目特征的融合，模型可以综合考虑用户的短期和长期偏好进行个性化推荐•
3SETCNs方法
3.1问题描述
序列推荐的主要任务是根据已获得的用户当前序列信息(包括用户的一系列历史交互行为)中发现用户的兴趣偏好，预测的用户下一步的点击行为，并由此进行项目推荐.
将序列推荐问题抽象表述如下，假设有一系列用户U= I U,，如，…，"is I和一系列项目V=I iz,|，有一组数据s"=[v；,v；,…,V；]表示某个用户“的一个长度为L的点击序列.序列推荐的目的就是对于给定的序列数据S，给出推荐的项目Xw]，其中v，表示项目集合中对应的第i项的推荐分数.一般而言，由于用户的兴趣和系统推荐项目的多样性，模型通常将项目列表『中推荐分数排在前N位的项目作为推荐候选.
3.2模型框架
图2为SETCNs模型的总体框架.首先，所有的项目先被嵌入成高维向量，再根据时间戳组成序列数据.项目的嵌入表示通过item2vec[H1生成，作为用户的短期偏好，用户的嵌入表示通过隐因子模型(Latent Factor Model,LFM)(151生成，作为用户的长期偏好.模型的重点在于序列数据的建模，在TCN的基本框架下，通过扩张卷积，逐层扩大感受野，捕捉更多的序列关系.图2中的压缩-激励模块(Squeeze and
Excita-
1384小型微型计算机系统2021年
tion Block,S-E Block)主要负责调整各维度之间的关系.各层
之间通过残差连接，在最后将用户和项目获得的向量拼接，共
同输入全连接层，获得推荐项目的概率值.
Prediction!
|FC layer卜----------
<109QgaaappapQ P1
i e3舌舌'舌击击Sb j
I loooooqoooooo Ur embedding Item embedding
|itemID[~»^tem2vecj
p I txiiiiiiii
Tx1
I
白马王子英文图2SETCNs整体框架Fig.2Framework of SETCNs TxC
C=Z(r ui-r^Y+A||p…||2+A||?J|2(4)损失函数计算的值表示预测值入和实际值差值的平方，为防止训练过拟合，引入正则项,A表示正则化率.
将模型收敛后得到的用户潜在因子矩阵P作为对用户的嵌入表示.
3.2.2扩张因果卷积
本文引入TCN，采用扩张因果卷积来提取特征.因果的思想是出于处理序列特征的要求，与传统卷积方法不同点在
于，因果卷积是在时间序列上进行，具体如图3所示.每一层
的输岀都是由前一层对应未知的输入及其前一个位置的输入
共同得到.
6
2
o
"
;./
。
'/,
3
*
c
x
v
o
f
4Output
Hidden Layer
Input
3.2.1嵌入层
将所有的用户映射为矩阵E uS R lyl"，将所有的项目映射成矩阵£,eR l,,xD.D表示隐藏空间的维数,e”和e：分别用来指代Eu的第“行和E，的第i行.同时对于点击序列长度为厶的用户"，用E爲e R'"表示，硝^=[V：-，…，心2, ]，其中v“对应相对位置的项目在目中的某一行.传统的嵌入方法如one-hot方法，会随着项目数量增多而导致维度增加和向量稀疏问题.过高的维度带来参数的增加，容易导致网络过拟合；向量稀疏则容易出现梯度消失问题，影响参数学习.同时传统的方法难以表示不同项目之间存在的联系，无法携带语义信息.本文对项目的嵌入采用item2vec方法，以物 品的共现性作为自然语言中的上下文关系，构建神经网络学习物品在隐藏空间的向量表示.
假设将所有用户的历史项目交互定义为语料库S，将某单一用户u的历史交互项目视为一个集合S”，且有S*S.通过学习所有用户历史记录中项目间的共现关系，获得该项目的词向量表示.具体的目标函数如公式(1)和公式(2):
C(1)
P(S」S/)=<7("沏)口7”0(-"「V*)(2)其中，其中"wS：,vwSj,L为语料库集合长度,N为对于每个正样本负采样的个数.
另外，对用户的嵌入表示，采用LFM进行表示.其基本思想是：认为每个用户都有自己的偏好，同时每个项目也包含所有用户的偏好信息.而这个偏好信息即潜在因子，是潜在影响用户对项目评分的因素.某个用户"对某个项目i的感兴趣程度可以表示为公式(3)：
r”=P仏(3) P"表示用户“与K个潜在因子的关联关系,％表示物品|与K个潜在因子的关联关系.以样本出现的次数作为权重，随机选择项目构建负样本集，保证正负样本平衡.通过将公式(4)作为损失函数，利用随机梯度下降(Stochastic Gradient Descent,SGD)算法在数据集上迭代更新，直至收敛.
图3因果卷积
Fig.3Casual convolution
其数学模型可表示为：几，％,…，,y,=f(xi，西，…，X,)，简单来说，即根据X,,x2,---,x，和』2,…，y,-i去预测%，使得y，接近于实际值.
但是标准滤波器只能与感受野线性地进行卷积，其深度会随着网络深度的增加而迅速增加.输入和输出距离越远，就越需考虑之前的输入参与运算的问题.在推荐系统中可以理解为，当前推荐项目的确定，需要更长时间段上的用户偏好信息.这带来大量需要训练的参数，因此难用以处理长期序列.扩张的基本思想是通过用零填充卷积滤波器，使其应用于大于其原始长度的场，具体如图4所示.通过扩张卷积，
模型在层数不大的情况下可以获得更大的感受野，因此模型使用参数的较少.同时，扩张的卷积可以保留输入的空间尺寸，使得后期卷积层和残差结构的堆叠操作都变得更加容易.
O O O O O O O O QX)
盈余公积是什么O O O O O O(5o C^O Hidden Layer
图4扩张卷积
Fig.4Dilated convolution
扩张卷积的计算如公式(5)：
y,=(x*h'),=Yx,.dm-h m(5)其中*代表扩张卷积的计算符号,d是扩张率，通常设为2的指数形式(1,2,4,8,-,21),h是卷积滤波器的参数.在实验中，为了更方便且直观的使用扩张卷积，需要对原始的数据进行一维变换操作，如图5所示，将大小为LxD二维矩阵E 转换成大小为1xLxD的三维张量,E的每一行表示一个项目的嵌入表示丄表示序列的长度，D表示项目嵌入的维度，可以类比视为图像中的通道.
3.2.3压缩激励模块
卷积滤波器利用在一定感受野内融合空间和各通道间的
薪水
7期施浩杰等：一种改进时序卷积网络的序列推荐方法1385
信息达到特征提取的目的，一般通过使用不同大小的卷积核在同一特征图上进行滑动来学习提取图像的二维空间信息，获得不同大小的感受野输入神经网络，增强网络的表达能力，但是通常忽略了各个特征通道之间的关系.本文通过设计压缩-激励(Squeeze and Excitation)模块，采用了一种全新的特征
重标定策略去建模各特征通道之间的相互依赖关系.通过网络学习自动获取各个通道在当前任务上的重要性，再根据学习到的通道权重，将注意力集中在关键的部分，提升有用特征权重，抑制对当前任务用处不大的特征，从而完成增强网络特征提取的作用.
D
人大附中朝阳学校Reshape
(1x3,D)
图5原始数据进行一维变换
Fig.5One-dimensional transformation of the original data 压缩操作是对提取到的特征，在每个通道上执行全局平均池化(global average pooling).这将每个特征通道都压缩成一个代表全局感受野的实数，它表示该特征通道的全局响应，并且可以保持输出维度和输入的特征通道数一致.对于维度为D，长度为T的一串序列E=[几，”2,…，几n〕，所计算的维度描述为z=[z.仏，…，如]，其中z是一个T x1维的向量，其中每一个元素的计算如公式(6):
z,=G(v,)=令硝v,(i)(6)
其中v,(i)代表序列第r个元素的第i个维度，此时可以将z，作为：时刻特征的权重.
为了利用压缩操作的信息和利用通道间的信息依赖，接下来使用激励操作来完成特征的重标定，而且这个操作需要满足两个前提：第一，能够利用简单灵活的操作获得通道间的非线性关系；第二，学到的关系不一定是互斥的，因为需要加强多个通道特征，而不像one-hot编码方式，只加强了某一个通道的特征.按公式(7)采用门控机制进行激活.
s=F“(z,W)=<r(g(Z,W))=o■(叫5(%z))(7)其中，<7表示sigmoid函数，5表示ReLU函数，
表示通道的数量，该模块的最终输出还要按照公式(8)，通过权值序列5转换原始输入E来获得.
E=F Icale(.v,,s,)=s,-v,(8) F,…*(v,,s,)表示标量s，和特征图v,e R r之间的乘法，其实质相当于把v，矩阵中的每个值都乘以对应的权重s,，在通道维度上完成对特征权值的重新标定.
完整的压缩-激励操作可视为一次编码-反编码的过程，先将T x1的序列压缩到r x1获取全局感受野，再将其激励回新的T x1序列.因为在每一步都加入了激励函数，所以在学习过程中，误差始终能够通过反向传播调整参数IV，和W2[,6].因为序列数据的结构并没有改变，因此TCN模型也不需要改变原本的结构，可以直接利用序列权值再调整后的特征进行训练.
3.2.4残差连接
在序列特征抽取过程中，因果卷积层和扩张卷积层的叠加造成神经网络逐渐加深.为减少模型训练过程
中，网络反向传播发生的梯度衰减和消失问题，需要在模型的输出层引入残差连接•残差学习的基本思想是将多个卷积层堆叠在一起作为一个块，然后采用跳跃连接的方法，将前一层的特征信息传递到后一层.将模型的输入被加权融合到卷积网络的输出中，输岀被表述为输入本身和其一个非线性变换的线性叠加.其表达如公式(9):
Output=(r{X+F{X))(9)其中，X表示输入，F(X)表示前一层卷积层的输出，b 表示sigmoid激活函数.残差连接的概念已经在多种分类任务上取得了良好的应用，在提取高维卷积特征后，残差连接将大大提高模型的泛化能力，维护输入信息并扩大传播梯度，减小训练难度，使得模型成为深层网络和浅层网络的集成.
3.2.5全连接层
为了捕捉用户的全局偏好，本文将用户的嵌入表示与时序卷积提取的特征拼接，再通过全连接的方式，得到预测项目出现的概率分布.对具有L层的TCN，最后一层的输出通过引入具有softmax激活函数的全连接层来实现序列分类.为减少在训练过程中的过拟合问题，在全连接层会采取Inverted dropout的方式随机关闭神经元的参数更新.与传统的dropout 方法不同之处在于,Inverted dropout操作仅在训练阶段进行，省略了测试阶段的步骤.
3.3网络训练
模型采用监督学习方式进行训练，以数据集中序列数据对应的下一个真实项目表示真实概率分布，将模型输出的项目概率分布作为预测值.实验使用二元交叉ffi( binary cross entropy)作为目标函数，训练目标是最小化预测值与真实值之间的差异.为减少过拟合风险带来的模型泛化能力降低，目标函数引入了正则化.函数如公式(10):
心)-ziog(z)-
m
(1-yjiog(1-氏)]+令E負/j(io)其中,X表示元素i的实际标签值，由表示其预测标签值,A表示正则化率,0表示惩罚项.在训练过程中，采用自适应动量项(adaptive moments,Adam)算法最小化目标函数，通过反向传播(Back propagation)算法进行参数更新.在每次迭代中，为每个目标项目随机采样N个负样本.
4实验
本文提出的网络结构基于Tensorflow平台实现，该实验在CPU为Intel Xeon E5-2630v3，显卡为GTX1080Ti(llG)，内存为32G的服务器上运行，实验环境为WindowlO,Pyc-hann,Cuda9.0,Cudnn7.
0.
1386
小型微型计算机系统2021 年
4.1数据集及实验设置
1. Movielens-1M 数据集
Movielens 1数据集是由美国明尼苏达大学GroupLens 实
验室提供的在推荐系统领域常用的数据集，有多个大小的版 本.主要包括一系列用户对电影的评分，还附有这些用户的信
息(如用户性别、职业)和电影的信息(如电影类别).
1 http ：//files, grouplens. org/datats/movielens/ml-1 m. zip
2 http ：//snap. Stanford, edu/data/loc-gowalla. html
2. Gowalla 数据集
Gowalla 2是一个基于位置的社交网站，用户可以通过签
到共享自己的位置，每一次的操作都带有时间戳.数据集中包 括用户轨迹和社交群组.
实验遵循以下预处理程序：将评论或评分的存在视为用
户与商品互动，从而将显性反馈的评分数据转换为隐性反馈 的交互行为数据.使用时间戳确定序列的顺序，并丢弃ML-
1M 中互动次数低于5和Gowalla 中互动次数低于15的部
分.将处理后的数据集的80%作为训练集，同时将剩下的
20%作为测试集.同时，将真实数据集中样本视为正样本，为
增强数据集，在需要时通过随机采样生成负样本.处理完的实 验数据集相关数据如表1所示.
表1处理后数据情况说明
Table 1 Description of the procesd data
Datat urs items
avg. action per ur avg. action
per item actions Movielens-1 M 6. OK
3.4K 165.50292.06
0.993M Gowalla
13. IK 14. OK 40.74
38.12
O.533M
4.2评价指标
本文使用召回率(Recall )和平均倒数排名(Mean Recip
rocal Rank.MRR)作为评价指标，这两个指标也广泛用于评
估其他推荐系统相关工作.
Recall@ K ：该指标表示用户真实点击的项目出现在推荐
列表前K 位的点击序列个数占测试集中序列总数的比例.只 关心其是否出现在推荐列表而不考虑其顺序.这可以很好地
reggie theus模拟某些实际情况，绝对顺序无关紧要，而不会突出显示推 荐.定义如公式(11):
Recall@ K =
(11)
其中N 表示测试数据的总数量,％，表示命中的项目数量.
MRR@ K ：该指标表示用户真实点击项目在推荐列表中位置
序号的倒数平均值，具体定义如公式(12).若用户点击项目没有
出现在推荐列表的前K 位,MRR 将结果为0. MRR 在评价推荐 列表质量时会考虑物品的次序，是一顺序敏感的指标.
MRR@ K = 4? V, ° 幕.、
(12)
N 厶'=i Rank(i)
MRR 是范围[0,1]的归一化分数，其值的增加反映了大
多数“命中”将在推荐列表的排名位置中更高，表明相应推荐 系统的性能更好.
4.3参数设置
对于SETCNs 模型，本文使用Adam 优化器进行训练，每
个压缩-激励模块的增长率(growth rate)k 设为12，模块的压bolero
缩率(compression rate)c 设为 0.5，学习率(learning rate)初始 化为le4，批量大小(batch size)设为32,dropout 概率p 设置
昨日重现英文
为0. 5，扩张率(dilation rate)d 设为[1,2,4]，项目的嵌入维度
分别设为[16,32,64,128]，进行对比.
4.4实验对比
为了探究本文提出的模型效果，模型将与3种传统推荐 方法和3种基于循环神经网络的推荐方法分别在两个常用数
据集上进行实验验证.其中,3种传统方法包括:POP.S-POP 和FPMC [,7] ；3种基于循环神经网络的模型包括GRU4Rec 、
GRU4Rec + 和 NARM 1'81.
POP 和S-POP 分别推荐训练集和当前会话中的前N 个
频繁项目.
FPMC 是一种综合马尔可夫链和矩阵分解的序列预测方法. GRU4Rec 是首次使用RNN 对用户序列进行建模的方法.
GRU4Rec +进一步提出了一种数据增强技术，通过改变
输入数据的数据分布，改进模型的性能.
NARM 采用引入注意力机制的RNN 捕获用户的主要兴
趣和序列行为.
实验首先观察项目嵌入维度参数的选取对本文方法的影 响，如图6和图7所示，在两个数据集上，都可以发现项目的
嵌入维度的增加会导致评价指标的上升，考虑其中的原因是
图6不同嵌入维度在Movielens-1M 数据集对实验结果的影响
Fig. 6 Effects of different embedding dimensions on experimental
出国英语考试有哪些results in Movielens-IM datat
Embedding dimensions of datats
图7不同嵌入维度在Gowalla 数据集对实验结果的影响
Fig. 7 Effects of different embedding dimensions on experimental
results in Gowalla datat
向量的维度过低表示能力不够，而更高的维度会带有更多的
