基于长短期记忆(LSTM)神经网络的用户行为预测模型研究.docx

发布时间：2024-12-11 00:54

1、基于长短期记忆(LSTM)神经网络的用户行为预测模型研究一、引言1.1 课题背景与选题意义网络流量是数以百万个网络行为的聚合，及时识别网络流量中的异常行为能够为相应安全防范措施的实施争取主动，是保障网络安全运营的关键因素之一。由于网络流量的变换收到很多因素的影响，所以很难用简单的数学模型去加以描述和解释。现阶段对于预测问题的研究，多使用传统的统计学模型，因为它可以较为准确的模型一些线性平稳序列，但是该模型的缺陷在于通常需要对原始数据进行预处理操作并且对数据集的大小也有所限制。后来基于模型的改进。提出了广义自回归模型来对复杂时间序列进行描述，但是结果也不尽如人意。随着目前机器学习和深度学习的研

2、究，神经网络算法也逐渐成熟。其中，神经网络算法因其具有的超强非线性表达能力，多进程并行处理能力，以及其所具有的分布式存储能力，这使得它非常适合处理复杂的，不稳定的，以及具有一定随机特性的非线性时间序列预测难题1-5。在神经网络的诸多算法中，Long Short-Term Memory（LSTM）神经网络属于较新的递归神经网络模型，它具有选择记忆性，它的选择性记忆性和其时序内部影响的特性使得该网络极适用于处理和预测时间序列中间隔和延迟非常长的重要事件。所以根据现有数据建立LSTM神经网络预测模型是一个可靠的方法，并且可以为网络流量异常进行及时预警，从而保障网络安全6-8。1.2 国内外研究现状

3、对于用户行为预测模型研究可以转化为网络流量预测的模型研究，主要是根据历史数据对现阶段状态以及未来短时状态进行预测，所以可以等效为一个时间序列的预测问题。建立一个稳健的预测模型，不仅可以给市场的运作提供一定的指导，而且还有利于提升用户体验感和商家利润。早期关于预测问题的研究源于国外对股票市场的研究，至今应用较为广泛的两种预测技术分别为：时间序列分析法和人工智能预测法。上世纪90年代著名学者White9首先利用了神经网络算法模型对股票的日收益率进行预测。当时由于所用网络结构的限制，使得神经网络的深度有所局限，随着网络深度的增加，网络很容易产生梯度消失和梯度爆炸的现象，从而使整个模型陷入局部最优解。

4、正是因为这个问题而使得所训练出来的模型预测效果不太准确。 1996年，德国学者Gen Cay10利用前向神经网络模型对当地工业指数进行预测，所用数据未167年至1988年的相关数据，实验表明前向神经网络模型的预测效果要明显由于统计学算法中的移动平均法。在2001年，Rodriguez等研究学者提出了将移动平均算法规则与前向人工神经网络算法模型相结合，作者将所建模型同样用于预测股市信息，实验表明该模型具有良好的预测性能，同时这个模型对当时的许多投资者有一定的指导意义。2004年，GPeter Zhang11提出将神经网络模型与自回归模型ARIMA进行了对比，分别将其用在了时间序列的研究问题上。研

5、究结果表示，神经网络模型的在时间序列预测上的优势明显高于自回归模ARIMA。随后，TOBB大学的Murat建立不同参数的神经网络模型对股票据进行预测，同时对200712年的历史数据与预测模型的预测值进行了对比与分析，实验结果表明神经网络模型的预测精度要优于其他预测模型，但是在作者的文章里并没有对网络参数的选择依据和合理性做出相关解释。国内学者在研究相关预测问题时，大多更加倾向于优化预测模型的结果问题，如将统计学数学模型与常用神经网络算法模型相结合从而取得更好的预测精度。例如肖菁13等人提出了利用LM算法对BP神经网络进行优化，其中LM算法可以有效的避免预测模型陷入局部最优解。同时，他也利用了遗

6、传算法对传统的BP神经网络进行参数优化，其中包括网络的权值和偏差。实验结果表明，这种改进方案具有良好的预测效果。曹旭14等人认为常以研究的时间序列容易受到众多因素的影响，并且各种因素之间又具有一定的不确定行，所以他们选择利用模糊神经网络来进行时间序列预测，经验证，该模型取得了较好的实验结果，但是该模型的鲁棒性能不佳。对于LSTM神经网络是最近几年较为新入的机器学习算法，就目前来说大多学者将其用于图像识别领域和自然语言处理领域，而很少将其用在对时间序列的预测问题上。如国外Alex Graves的手写文字生成15，和图像文字生成等。在国内廖16大强等人，率先基于RNN神经网络建立了多分支递归神经网

7、络模型，一次简化神经网络模型的计算复杂度，并将其用到了时间序列研究领域。而对于LSTM神经网络模型，大多研究学者常将其用于数据挖掘方面，而很少在预测领域实现。如胡新辰17利用LSTM网络最语义关系分类的问题，郑州大学的梁军等人将LSTM神经网络用于语义信息提取的研究等。实验表明其具有良好的分类结果，同时验证了LSTM神经网络对处理时间序列具有良好的应用。因此，基于LSTM神经网络的用户行为预测模型研究具有一定的可行性。二、流量预测常用方法2.1 时间序列分析方法时间序列分析(Time series analysis)是一种基于随机过程理论和数理统计学的动态数据处理的统计方法。其主要研究随机数

8、据序列中所潜藏的统计规律，发现规律并以用于解决实际问题。时间序列是按时间顺序进行排列的一组有序的数字序列。实际序列分析则可以表述为利用统计学原理对当前时间序列进行处理，并根据处理结果对所研究事务未来的状态进行预测。时间序列的分析的基本原理主要包括两个方面：（1）承认事物发展的延续性，即允许应用过去数据，就能推测事物的发展趋势；（2）考虑事物发展的随机性，即任何事物发展都可能受偶然因素影响，为此要利用统计分析中加权平均法对历史数据进行处理。该方法简单易行，便于掌握，但准确性差，一般只适用于短期预测。时间序列预测一般反映三种实际变化规律:趋势变化、周期性变化、随机性变化。而对于时间序列的研究方法主

9、要包括回归分析法和移动平均法以及周期变动分析法等。1)回归分析法18-20回归分析法是分析时间序列中最为简单的方法，它主要是根据自变量时间对因变量进行模拟，其中最长使用的方法是最小二乘法。回归分析法主要包含线性回归分析法和广义自回归分析法。一般来说，线性回归分析主要适用于线性平稳时间序列的分析，而非平稳时间序列的分析则主要是采用广义自回归分析法。2)移动平均法 21-22移动平均分析法主要包括了两种，即加权移动平均法和简单移动平均法。而移动平均法的基本原理是采用差分过程去降低时间序列的随机性，又称去噪处理。但是对于周期移动平均法而言，模型中的各参数在训练时所采用的周期值不同，则会对模型产生较

10、大影响，从而使模型的合理性降低。3）神经网络预测方法23-25神经网络是模拟人脑的抽象描述功能从而对时间序列远期走势进行预测分析的。它是一种有监督的机器学习，同时可以适应环境和条件以及影响因素的实时改变。所以其具有灵活性以及自适应性。其具体原理即为模拟人脑设置大量神经元，神经元之间设置连接权值以及激活函数，从而模拟生物记忆过程。主要包括三大层，输入层、输出层以及隐藏层，每一层包括若干个自行设置的神经元，层与层之间实现全连接。每一组数据包含各个时点的数据，每一个时点的数据包括若干参数(维度)，通过输入层传入，进入隐藏层训练学习，然后在输出层输出结果。输出层设置真实值(历史数据)来与预测值进行比较

11、并得到误差函数。误差函数通过求导(求偏微分)来计算各个神经元连接的权值和阈值，从而进行反馈，来修正各个值。然后多次重复迭代以上步骤，直到输出层预测值与真实值得到的误差仅仅在一个很小的只与内变动，或者直接通过设置训练次数来得到结果。大多数神经网络的计算需要分布式系统的并行处理，这是由于训练数据过于庞大。神经网络除了以上优势，同时还具有健壮性以及自行改错的能力，这不仅方便了研究人员对于预测系统的维护，更加提高了整体的预测效率。由于神经网络具有上述种种优势，20世纪以来国内外学者从不间断地研究利用神经网络这种有监督的机器学习方式来预测分析金融时间序列，尤其是股票价格。但综观目前的股票预测模型，大多是

12、基于静态神经网络理论，如BP神经网络、Wavelet神经网络和RBF神经网络等。但是，股市系统的动态特性并不能完全通过静态神经网络预测模型充分反映。截至目前，最新型的递归神经网络RNN以及长短时记忆神经网络(LSTM)也已被证实适合于时间序列的预测研究。并且这两种神经网络是基于动态的神经网络理论，能较充分地反应股市系统的动态特征，故本文所用预测方法即为动态神经网络预测法。6）其他几种预测方法小波分析法的研究开始于上世纪80年代，目前主要应用于对非平稳时间序列的预测上，且具有良好的预测精度。首先在处理过程中，小波分析法需要从当前时间序列中提取序列的平稳特性，然后重新构成新的时间序列。其次，将经预

13、处理所提取的平稳序列用于训练预测模型。最后将模型预测的结果进行序列非平稳化，从而达到真实的预测结果。所谓灰色关联法中的灰色是指介于真实历史数据和未来预测数据之间的过度部分。即将已知的历史数据作为白色，将需要预测的数据作为黑色部分。 35。通常来说，时间序列受到很多因素的影响，而这些影响因子通常表现出具有不确定性和非线性，但是其内部仍然是有潜藏的规律。儿通过灰色模型则可以关联各种影响因子，提取内在规律，最终实现时间序列的有效预测。3)马尔科夫预测法基于马尔科夫模型的时间序列预测的核心点事时间序列的无效性假设。即在目标序列中，下一时刻的状态仅与当前时刻的状态有关，而与过去的任何时刻的状态都无关36

14、。马尔科夫预测模型的方式是构建马尔科夫链，通过马尔科夫链可以由当前值计算出下一时刻状态的概率值，一次类推，从而完成对时间序列的预测。三、 BP神经网络的理论研究BP神经网络是目前神经网络算法中使用最为广泛的神经网络算法，神经网络的结构模仿自生物神经网络，生物神经网络中的每个神经元与其他神经元相连，当它“兴奋”时，想下一级相连的神经元发送化学物质，改变这些神经元的电位；如果某神经元的电位超过一个阈值，则被激活，否则不被激活。误差逆传播算法（error back propagation）是神经网络中最有代表性的算法，也是使用最多的算法之一。3.1 BP神经网络基本结构BP神经网络是一种采用后向传播

15、算法的多层前馈网络，在整个网络的训练过程中，其利用误差反向传播算法对模型的网络参数进行修正，所以相对普通前馈网路具有更好的训练精度。在BP神经网络结构中通常来说可以将整个神经网络模型划分为3个部分，即分别为输入层、隐含层以及输出层。对于一个时间序列预测网络来说，其输入是相关时长记忆序列，隐含层网络实现时间序列的非线性映射，其输出层输出的是对未来时刻预测的情况。其中在BP神经网络模型中，同层节点之间互不连接，前后层网络节点之间则为全连接。对于一个普通的单隐层BP神经网络结构如下所示：图3.1 三层BP神经网络示意图3.1.1 BP神经网络学习算法描述 BP神经网络在训练的过程中主要涉及到数据流的正向传播和误差的反向传播算法两个部分。3.1.1 前向传播算法BP神经网络结构中的相邻层之间是全连接的，单层内部的节点之前互不相连，在数据信号正向传播的时候，前一层网络的输出，作为下一层网络的输入，直至网络的最后一层的输出层。(式 3.1)对于图3.1所示的三层BP神经网络，假设其中激活函数为，L1层为输入层，L2层为隐藏层。隐藏层中每一个节点的输出，分别表示为： (式 3.3)(式 3.2) 对于第三层的输出，满足如下关系：(式 3.4) 在BP神经网络中假

网址：基于长短期记忆(LSTM)神经网络的用户行为预测模型研究.docx http://c.mxgxt.com/news/view/137481

上一篇: 口碑效应是指企业形象、产品等信息

下一篇: 口碑传播对消费者态度的影响

基于长短期记忆(LSTM)神经网络的用户行为预测模型研究.docx

相关内容

随便看看

最新实时动态

热点实时动态

专题

推荐实时动态