SCI论文（www.lunwensci.com）:
摘要：根据股价存在的高频性、长记忆性及不确定性,文章给出了基于注意力机制的卷积神经网络一长短期记忆网络股票价格序列预测方法。首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。
关键词：注意力机制；LSTM；CNN-LSTM；沪深300指数
CNN-LSTM Short-term Stock Price Prediction Based on Attention Mechanism
SHEN Shanshan,LI Qiumin
(Chengdu University of Information Engineering,Chengdu Sichuan 610000)
【Abstract】：According to the high frequency,long-term memory and uncertainty of stock price,this paper presents a prediction method of stock price series based on convolutional neural network and long-term and short-term memory network based on attention mechanism.Firstly,CNN is used to convolve the data sequence to extract its feature components.Then,the long-term and short-term memory network(LSTM)is used to predict the extracted feature components.Finally,the attention module automatically assigns fitting weights through neural network,multiplies and sums the output vectors of the hidden layer of each time node of LSTM with the corresponding weights,and gives more weights to the important feature components,which is the final feature expression of the model.
【Key words】：attention mechanism;LSTM;CNN-LSTM;CSI 300 Index
0引言
目前,金融市场股票价格预测方法可分为时间序列预测、机器学习预测和深度学习预测三种类型。其中,时间序列预测方法主要包括自回归滑动平均(Arima)、广义自回归条件异方差(Garch)等传统时间序列模型。于志军等通过引入误差校正的方法,建立了结合GARCH和回归方法的股价预测模型。在将该模型用于上证指数的实证分析中,结果发现校正后的模型预测精度得到了显著提高[1]。杨琦、曹显兵使用ARMA-GARCH模型对大众公用的股价进行了分析预测,研究发现ARMA模型与GARCH模型的结合可以更准确地用于预测股价[2]。然而,由于股票价格序列存在着高频性、长记忆性以及
不确定性等特征,因此传统时间序列往往很难对股票价格进行精准预测。
近年来,循环神经网络因其能够有效地挖掘数据中的时间和语义信息而受到越来越多的关注。然而,普通的循环神经网络不能克服其长期依赖性,因此目前使用较多的是其变体—长短期记忆网络(LSTM)。曾安、聂文俊基于过去和未来的信息建立了含有Dropout的股价双向LSTM网络,结果显示该模型可以更精确地反映股指变化,且具有较好的泛化能力[3]。
文章以沪深300指数为例,首先在卷积神经网络(CNN)中,采用了一维卷积方法来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。
1模型构建
1.1卷积神经网络（CNN）
CNN模型的作用是对数据实行特征提取,一般由卷积层、激励层、池化层和全连接层构成：CNN的卷积层是提取特征的关键,由多个可学习的滤波器集合组成,它们在空间上都较小,但在深度方向上总是和输入数据保持一致。CNN的激励层主要是利用ReLu函数对于卷积层的输出进行一种非线性反馈,并以此克服了卷积层只能线性运算的问题。
1.2长短期记忆网络（LSTM）
长短期记忆网络（LSTM）主要包括遗忘门、输入门和输出门,具体如下：
第一步,LSTM的遗忘门忘记过去无用的信息：
第二步,输入门根据输入数据和过去无用的信息进行更新：
第三步,输出门Ot输出目前信息：
在(1)-(6)式中Wf,Wi,Wc,Wo为权重,bf,bi,bc,bo为偏移。
1.3注意力机制（Attention）
注意力机制采用了概率分配的方法,能够以分配概率的方法代替原先的随机权值分配。假设输入为k个特征向量hi,i=1,2,...k,模型能基于hi获得环境向量ci,ci的计算公式为：
ai即注意力权重,通过采用soft max函数来表示：
式（8）中,
表示hi和ci的相关程度。
1.4基于注意力机制的CNN-LSTM短期预测模型流程文章构建模型的流程具体描述如下：
第一步,数据预处理：包括数据的归一化,划分训练集、测试集等。
第二步,模型构建：首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。
第三步,模型的结果输出：注意力机制决定输出权重值,进而得到股票价格的输出值。
2实验分析
实验使用了来自沪深300指数(CSI 300 Index)近一年的5分钟高频交易数据,时间范围从2020-07-01到2021-07-01,共计245个交易日,11712个样本。选取特征包括开市价、最高价、最低价、收市价、成交量以及成交额。在将实验所构建模型的预测结果与LSTM、CNN-LSTM模型的预测结果相比较可知,实验所提出的模型其预测效果更加准确。
2.1数据预处理
2.1.1数据标准化
实验采用Min-max标准化方式对数据进行归一化,计算方法如公式（9）所示。随后,按照交易日7:3的比例划分训练集和测试集。
其中,xt为原始数据,max(xt),min(xt)分别为xt的最大、最小值。
2.1.2构建时间序列
以训练集为例：训练集共有171个交易日,合计8208条数据。由于实验预测的是第二个交易日内各时间点的收市价,所以训练集中的输入数据共有8160条,每条数据包括48个时间点,且每个时间点含有6个维度特征。此外,输出数据也对应的有8160条,每条数据包括48个时间点,且每个时间点含有1个维度特征。
2.2参数设置
模型中设定卷积层中卷积核数量为64、大小为3×3,激活函数为Relu函数；池化层的大小设置为2×2；LSTM层lstm_units=64；同时在模型的训练中,设置batch_ size=480,epochs=100次,梯度下降的方式采用Adam训练算法。
2.3评价指标
为评估不同模型的预测性能,实验选取MSE(Mean Square Error)、MAE(Mean Absolut error)和RMSE(Root Mean Square Error)三项指标,如式(10)-式(12)所示。
其中：xi表示实际值；x ip表示预测值；N表示样本数量。
2.4结果分析
实验的主要目的是在相当短的时期内预测下一交易日某时刻的收市价,而所选取得特征是开市价、收市价、最低价、最高价、交易量以及交易额六个因素。结果显示,实验提出的模型在短期内可以有效地预测出股票未来的收盘价走势（如图1所示）。
同时实验将该模型与LSTM、CNN-LSTM基准模型进行对比,基于注意力机制的CNN-LSTM模型,其预测精度优于LSTM、CNN-LSTM模型,在测试集中MAE为0.0137,RMSE为0.0177,MSE为0.0003。这表明文章所构建的沪深300价格预测模型是有效的,同时也看到了注意力机制在时序预测任务中的巨大潜力（如表1所示）。
3结论
文章提出了一种基于注意力机制的CNN-LSTM神经网络的沪深300价格预测模型。为检验模型的有效性,实验使用了最近一年沪深300股指的五分钟高频成交数据,并筛选了开市价、收市价、最低价、最高价、成交量和成交额指标,构建了沪深300高频价格预测模型。实验发现：与基准模型相比,引入注意力机制的CNN-LSTM模型在沪深300价格预测任务上性能更优。
参考文献
[1]于志军,杨善林.基于误差校正的GARCH股票价格预测模型[J].中国管理科学,2013,21(S1):341-345.
[2]杨琦,曹显兵.基于ARMA-GARCH模型的股票价格分析与预测[J].数学的实践与认识,2016,46(6):80-86.
[3]曾安,聂文俊.基于深度双向LSTM的股票推荐系统[J].计算机科学,2019,46(10):84-89.
关注SCI论文创作发表，寻求SCI论文修改润色、SCI论文代发表等服务支撑，请锁定SCI论文网！
文章出自SCI论文网转载请注明出处：https://www.lunwensci.com/jisuanjilunwen/39115.html
