1 引言

股市发展趋势的变化在一定程度上反应了国民经济的强弱, 因此, 几十年来, 对股市预测的研究是人们关注的重点之一. 20世纪, 国外的学者提出了ARMA系列模型, 该模型能较好地处理线性稳定性问题, 在很长一段时间里, 成为了预测研究的热点, 但是股市中遇到的大多是非平稳和非线性的, ARMA系列模型不能很好地处理这些问题. 20世纪后期, 一些学者提出ARIMA模型, 在ARIMA模型的基础上对该模型进行了改进. 以提高模型预测的精确度.

近些年来, 随着预测技术的逐步发展, 神经网络模型开始被人们应用到股价的预测研究中. 神经网络具有良好的自适应能力和较强的非线性逼近能力, 能够较好地解决股市中存在的非线性和非平稳的特点. Göçken M等^[1]运用混合人工神经网络模型研究了股市指标与股市之间的关系. Adebiyi AA等^[2]对ARIMA模型和人工神经网络模型进行了对比研究, 利用股票数据进行了实验, 对比了两者的预测性能. 卢辉斌等为了提高预测的准确性, 运用改进的PSO对BP神经网络进行优化^[3]. 由于经典的神经网络预测模型(如BP神经网络), 使用梯度下降算法完成对权值和阈值的训练, 但是, 如果没有选择正确的初始位置, 该算法将陷入局部最小值, 无法获得全局最优解. 2004年Jaeger等^[4]使用回声状态神经网络对时间序列进行了预测, 同比于之前的实验, 效果得到了显著的提高.

回声状态神经网络(ESN)是递归神经网络的一种, 递归神经网络拥有较好的非线性学习能力, 当前已成为时间序列预测的主流工具, 并且得到了学者们的认可, 但经典的ESN学习能力有限, 当用于实际问题下进行预测时, 其泛化能力有待提高.

针对以上缺点, 本文提出一种基于改进的回声状态神经网络(ESNGTP)的个股股价预测模型, 使用改进的粒子群算法(GTPSO)对ESN的输出连接权进行搜索, 获得较优输出连接权, 进而提高算法的学习能力.

GTPSO算法是在经典的PSO算法搜索的过程中, 引入了禁忌搜索算法(TS)中禁忌的思想和遗传算法(GA)中变异的思想, 降低PSO陷入局部最小值的状况, 同时提高PSO搜寻全局的能力.

2 回声状态神经网络(ESN)

ESN是递归神经网络的一种, 如图1所示.

ESN有3层: 输入层、储备池和输出层, 其中ESN的储备池, 在训练过程中, 它类似于传统神经网络的隐层. 拥有 $N$ 个节点, $N$ 的数值较大. 因此, 它拥有一定的短期记忆能力. ESN的输入和输出则分别有K和L个节点. 图1中输入层与储备池之间的反馈用 ${W_{\rm{in}}}$ 表示, 储备池内部反馈矩阵用 $W$ 表示, 储备池到输出层的反馈以及输出层到储备池之间的反馈则分别用 ${W_{\rm{out}}}$ 和 ${W_{\rm{back}}}$ 表示. 当 $t$ 时刻时, 输入层的输入为 $ u(t) = [{u_1}(t),$ ${u_2}(t),\cdots{u_K}(t)]^{\rm{T}}$ , 储备池内部状态为 $x(t) = [{x_1}(t),{x_2}(t),\cdots$ ${x_N}(t)]^{\rm{T}} $ , 输出层的输出为 $y(t) = {[{y_1}(t),{y_2}(t),\cdots{y_L}(t)]^{\rm{T}}}$ , ${x_t}$ 和 ${y_t}$ 的计算方式如式(1)和式(2)所示, 其中 $f$ 和 ${{F}}(\cdot)$ 为对应的激活函数.

$ x\left( {t + 1} \right) = f\left( {{W_{\rm{in}}} \times u\left( {t + 1} \right) + W \times x\left( t \right) + {W_{\rm{back}}} \times y(t)} \right) $

(1)

$y\left( {t + 1} \right) = F({W_{\rm{out}}}[x(t + 1),u(t + 1),y(t)])$

(2)

ESN在训练的过程中, ${W_{\rm{in}}}$ , ${W_{\rm{back}}}$ 和 $W$ 是随机初始化生成, 确定后将不再改变, 然而 ${W_{{\rm{out}}}}$ 是通过训练生成的, 所以, ESN的学习过程能够看作是 ${W_{{\rm{out}}}}$ 的确定过程.

ESN的核心是用大规模的递归神经网络代替传统神经网络的隐层. 某种意义上, 降低了算法因递归下降而陷入局部最小值的状况, 同时减少了训练过程中的计算量. 但是在ESN的学习过程中, 如果数据集略有偏差, 最终结果变化会较大, 存在过拟合和泛化能力降低等问题.

3 粒子群优化算法(PSO)

粒子群优化算法(PSO)首先是由Kennedy等^[5]在1995年提出, 该算法将搜索最优解的过程看成是鸟类觅食活动. 一群鸟在一个地区寻找食物, 假设该地区只有一个食物. 这些鸟之间相互分享信息, 并且它们知道自身的位置以及自身距离食物的位置, 但是它们不清楚食物的位置. PSO从这一活动中受到了启发, 将每只鸟看成是一个拥有速度与位置的粒子, 食物是最优位置, 寻优的问题则看成是所有粒子在多维空间中搜索的过程.

假定PSO在 $n$ 维空间中进行搜索, 将食物视为最优解, 所有的粒子都清楚它们自身的位置. 同时, 能够依据适应度的值( $fitnes{s_i}$ )判断位置的优劣. 粒子根据它们自身的经验和群体的经验更新粒子的速度和方向. 直到能够达到停止条件为止. PSO在搜索的过程中, 速度快, 结构简单, 在网络优化和函数训练中, 应用广泛. 首先对 $i$ 个粒子进行初始化, 粒子 $i$ 的位置矢量和速度矢量分别记做 ${X_i} = ({x_{i1}},{x_{i2}},{x_{i3}}\cdots,{x_{in}})$ 和 ${V_i} = ({v_{i1}}, {v_{i2}},{v_{i3}}\cdots,$ ${v_{in}})$ , 粒子 $i$ 的自身最优解为 ${P_{\rm{best}}}$ , 记为 ${P_i} = ({p_{i1}},{p_{i2}}, $ ${p_{i3}}\cdots,{p_{in}})$ , 群体最优解为 ${G_{\rm{best}}}$ , 记为 ${G_i} = ({g_{i1}},{g_{i2}},{g_{i3}}\cdots,$ ${g_{in}}) $ , 在迭代迭代期间, 粒子依据以下公式更新 ${X_i}$ 和 ${V_i}$ .

${X_i}(k + 1) = {X_i}(k) + {V_i}(k + 1)$

(3)

${V_i}(k) \!=\! {V_i} \!+\! {c_1} \!\times \!rand \times \!({P_i}(k) \!-\! {X_i}(k)) \!+ \!{c_2} \!\times\! rand \times ({G_i}(k)\! -\! {X_i}(k))$

(4)

其中, k代表迭代期间的步骤, ${c_1}$ 和 ${c_2}$ 为学习因子. 文献[6]中总述了粒子群(PSO)在1995~2017年的研究进展、改进、修改和应用, 这里不再一一复述.

在PSO的搜索过程中, 粒子之间会互相分享信息. 这样的分享方式可以让粒子在刚开始的时候拥有较快的收敛速度. 但是在迭代的后期, 粒子的更新受到限制, 速度变慢, 陷入局部最优的状况增大.

4 禁忌搜索算法

禁忌搜索算法(TS)^[7]首先是由Glover F等1986年提出, Glover在文献[8,9]中提出了大部分禁忌搜索使用的原则. 禁忌搜索算法如今被广泛使用于解决路径规划和排序等问题, 例如Zhang等利用改进后的禁忌搜索算法^[10]解决了汽车排序问题.

TS模拟人的记忆思维模式, 本质上, 它是一种全局逐步最优搜索算法. 在搜索的过程中将过去搜索的方案存储在禁忌表中, 为了避免重复, 使用禁忌即禁止的方法, 这减少了搜索陷入局部最优的状况. 同时在邻域的方案中选择最优的方案, 并且引入特赦的原则, 释放符合原则的禁忌对象, 可以在一定程度上避免搜索过程中因为早熟而达到局部优化.

禁忌搜索的核心是禁止重复之前的操作, 降低陷入局部最优的概率, 但是TS容易过分依赖初始解, 同时, 还需要提高全局搜索的能力.

5 GTPSO算法思想

传统的PSO在搜索的过程中容易发生群体粒子集体向当前最优解飞行的现象, 进而出现粒子过早收敛的情况, 提高了算法陷入局部最小值的状况. 为此, 提出改进的PSO算法—GTPSO算法. 通过引入TS中禁忌的思想, 使粒子逃离局部最优的束缚, 同时为了增强PSO对全局的搜寻能力, 引入GA中变异的思想, 并且根据repeatStep的变化状态来判断是否变异, 变异率 $\rho $ 可以取0.01到0.1之间的数, $\rho $ 的增加在扩大搜索的范围的同时也会加长搜索的时间, 经过实验证明, $\rho $ 取0.04可以得到较好的结果. 传统使用GA算法对PSO算法进行优化时, 是在每次迭代的过程中均发生变异, 这样容易破坏粒子的结构, 并且减低了搜索的速度. 基于此, 本文采用repeatStep来判断是否发生变异, 只有当粒子群聚集严重时才会发生变异, 扩大了粒子搜索的范围, 同时搜索速度相比于传统的GA算法对PSO算法的优化有所提升.

GTPSO算法思想如下:

Step 1. 初始化 ${X_i}$ , ${V_i}$ , 迭代次数 $Iter$ , 连续不发生改变次数的阈值 $Maxstep$ ^[11](经过多次实验可知 $Maxstep$ =10可以取得较好的结果), 粒子群规模( $m$ =20), $m$ 数量的多少影响着搜索的范围和计算量, 取值范围一般在20到40之间, 经过实验可知, $m$ 取20可以得到较好的结果. 设置粒子群维度n, $\;\rho $ =0.04, 学习因子 $c1$ = $c2$ =2, 设置禁忌列表( $TL$ ), $TL$ 长度设置为100.

Step 2. 计算PSO中每个粒子的 $fitnes{s_i}$ , 同时寻找PSO最优适应度值( $fitnessbest$ ), ${G_{\rm{best}}}$ 和 ${P_{\rm{best}}}$ , 记录粒子群上一次最优适应度值( $fitnessbestbefore$ ).

Step 3. 判断 $fitnessbest$ 连续不变的次数是否超过 $Maxstep$ , 如果是, 则按照变异率 $\;\rho $ 对粒子群中每个粒子的 ${X_i}$ 和 ${V_i}$ 重新初始化, 同时更新 $fitnes{s_i}$ , $fitnessbest$ , ${G_{\rm{best}}}$ , ${P_{\rm{best}}}$ , $repeatStep$ , 否则转Step 4.

Step 4. 判断当前 $fitnessbest$ 的值是不是小于 $fitnessbestbefore$ 的值, 如果不是, ${G_{\rm{best}}}$ 不发生改变, 更新 ${V_i}$ , ${X_i}$ , $fitnes{s_i}$ , $fitnessbest$ , ${G_{\rm{best}}}$ , ${P_{\rm{best}}}$ , ${V_i}$ , ${X_i}$ , $repeatStep$ , 如果是转Step 5.

Step 5. 判断当前 $fitnessbest$ 的值是不是在 $TL$ 中, 如果不是将当前 $fitnessbest$ 的值加入 $TL$ 中, 同时更新 $TL$ , 否则转Step 6.

Step 6. 用该次迭代的次优解取代 ${G_{\rm{best}}}$ , 同时判断该次迭代次数是否超过最大迭代次数, 如果是输出最优的 ${G_{\rm{best}}}$ , 如果不是转Step 2.

GTPSO算法思想如图2所示.

GTPSO伪代码如下:

输入: Iter, m, n, TL , Maxstep, c1, c2, $\scriptstyle \rho $

输出: $\scriptstyle {G_{\rm{best}}} $

初始化:

Randomly initialize $\scriptstyle {V_i}$ and $\scriptstyle {X_i}$

Initialize TL

for $\scriptstyle Iter$ from 1 to $\scriptstyle Iter$ do

if $\scriptstyle Iter = = 1 $

update $\scriptstyle fitnes{s_i}$ , $\scriptstyle fitnessbest$ , $\scriptstyle {G_{\rm{best}}}$ , $\scriptstyle {P_{\rm{best}}}$

end if

if $\scriptstyle repeatStep$ >= $\scriptstyle Maxstep$

　　 repeatStep=0

　for it from 1 to n

　　for it from 1 to m

　　　按照 $\scriptstyle \rho $ 对 $\scriptstyle {V_i}$ 和 $\scriptstyle {X_i}$ 重新初始化

　　update $\scriptstyle fitnes{s_i}$ , $\scriptstyle fitnessbest$ , $\scriptstyle fitnessbestbefore$ , $\scriptstyle {G_{\rm{best}}}$ , $\scriptstyle {P_{\rm{best}}}$ , $\scriptstyle repeatStep$ (连续不变化的次数)

　　end for

　end for

end if

if $\scriptstyle fitnessbest$ < $\scriptstyle fitnessbestbefore$

　　if $\scriptstyle fitnessbest$ 在TL中

　　　用次优解取代 $\scriptstyle {G_{\rm{best}}}$

　　else 将 $\scriptstyle fitnessbest$ 加入TL

　　　update TL

　　end if

　else $\scriptstyle {G_{\rm{best}}}$ 不发生改变

　for it from 1 to n

　　　for it from 1 to m

　　　update $\scriptstyle {V_i}$ , $\scriptstyle {X_i}$

　　　update $\scriptstyle fitnes{s_i}$ , $\scriptstyle fitnessbest$ , $\scriptstyle fitnessbestbefore$ , $\scriptstyle {G_{\rm{best}}}$ , $\scriptstyle {P_{\rm{best}}}$ , $\scriptstyle repeatStep$ (连续不变化的次数)

　　　end for

　　end for

　end if

end for

6 改进的回声状态神经网络

针对ESN的泛化能力有待提升的特点, 本文提出一种改进的回声状态神经网络算法—ESNGTP算法. Dutoit等^[12]把对ESN的 ${W_{\rm{out}}}$ 的优化看做是特征子集选取过程, 本文中使用GTPSO算法完成对ESN的 ${W_{\rm{out}}}$ 的选择, 增强了ESN的泛化能力.

首先把ESN储备池和输入神经元的数量之和作为PSO的维数. 接着把ESN的误差函数作为PSO的适应度函数, 然后将最优值作为ESN的 ${W_{\rm{out}}}$ .

ESNGTP算法思想如下.

Step 1. 初始化ESN的参数以及、 ${W_{\rm{in}}}$ 和 $W$ , 其中 ${W_{\rm{in}}}$ 和 $W$ 是随机生成的, 一旦确定, 不再改变. 同时初始状态 $x(0)$ 设置为0, 加载样本数据到输入与输出, 更新 $x(t)$ , 确定优化的粒子的维数 $n$ , $n = K + N$ , K和N分别为ESN输入和储备池神经元数量, 初始化 ${X_i}$ 和 ${V_i}$ , 对数据进行处理以确保数据的完整性.

Step 2. 加载数据到输入输出, 更新 $x(t)$ , 使用 $Wiener - Hopf$ 的方法确定 ${W_{\rm{out}}}$ .

Step 3. 使用GTPSO算法对 ${W_{\rm{out}}}$ 进行选择, 得到 ${G_{\rm{best}}}$ , 即最优 ${W_{\rm{out}}}$ .

Step 4. ESN预测数据, 最终获得预测结果.

ESNGTP算法流程图如图3所示.

7 实验结果与分析 7.1 实验环境

实验计算机配置: CPU Core(TM)3.40 GHz, 内存16 GB, 显存8 GB; 操作系统: Windows7; 软件环境: Mtalab 2014.

7.2 实验数据获取

实验数据的数量一定程度上影响实验的预测效果, 因此本文实验数据选取金螳螂(002018) 2012至2018年每日收盘价价格和中国石油(601857) 2013至2019年每日收盘价价格作为实验数据集. 数据源来自于同花顺, 首先对数据进行手动清理, 将缺失的数据及当日收盘价为0的数据进行清除, 选取两个个股的1152天收盘价价格作为训练数据, 选取288天收盘价价格作为测试数据. 将前10天的收盘价作为输入, 第11天的收盘价作为输出.

7.3 评价标准

使用平均绝对误差(MAE)和平均绝对百分比误差(MAPE)对算法的优劣进行评估. MAE越小, 预测值与真实值之间的误差越小. 在同组数据下进行实验, 对比不同算法结果, MAPE越小, 算法性能更优.

$ MAE = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {{\overline y _i} - {y_i}} \right|} $

(5)

$ MAPE = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {\frac{{{\overline y _i} - {y_i}}}{{{y_i}}}} \right|} $

(6)

其中, ${\overline y _i}$ 代表预测的值, ${y_i}$ 代表真实的值.

7.4 ESNGTP算法预测结果与分析

建立ESN模型, K, N, L分别设置为10, 500, 1, 学习因子 $c1 = c2 = 2$ , $m = 20$ , $n = K + N$ , PSO中粒子的 ${V_i}$ 和 ${X_i}$ 在允许的范围内随机产生. 本文将金螳螂(002018)和中国石油(601857)两支个股的每日收盘价作为实验数据, 金螳螂(002018)选取2012年至2018年1152条数据作为训练数据, 选取288条数据作为训练数据. 中国石油(601857)选取2013年至2019年1152条数据作为训练数据, 选取288条数据作为训练数据.

分别采用BP、ESN、ESN-PSO和ESNGTP算法对数据进行训练, 同时针对训练好的模型带入实验数据进行测试, 其中金螳螂(002018)测试结果如图4至图6所示, 中国石油(601857)测试结果如图7至图9所示. 为了使图像效果更加清晰, 将ESNGTP算法结果单独画出. 对预测结果展开分析:

(1) 由图5和图8可知, ESN的效果明显优于BP的预测结果, 因为ESN可以较好的寻找历史输入与输出之间的关系.

(2) 由图5和图8可知, 为了提高实验预测的精度, 在接下来的实验中对ESN的 ${W_{\rm{out}}}$ 进行优化. ESN-PSO的效果优于ESN.

(3) 由图4、图6、图7和图9可知, 在个股收盘价的预测上, ESNGTP相比于传统的ESN更加精准, 对抗局部收敛的能力较强, 达到了预期的效果.

将不同算法的预测结果进行分析, 结果如表1所示.

从表1可以看出ESN效果明显优于BP, 而ESN-PSO预测效果优于ESN, 此外ESNGTP算法的预测结果较好于传统的ESN和ESN-PSO, 在ESNGTP算法中, 预测精度得到提升, 解决了传统ESN泛化能力不强的问题.

8 结论

本文基于传统的ESN预测模型, 使用GTPSO算法完成对ESN的 ${W_{\rm{out}}}$ 的选择, 获得较优的 ${W_{\rm{out}}}$ , 进而使得预测更为精准. GTPSO算法在传统的PSO算法中上提出了两点创新, (1)引入GA算法中变异的思想, 只有当粒子群聚集严重时才会发生变异, 重新初始化部分粒子, 扩大了PSO算法搜索的范围, 增强了PSO的全局搜寻能力, 同时可以保持较快的前期寻优速度. (2)引入TS中禁忌的思想, TS的局部寻优能力较强, 搜索的过程中拥有记忆, 降低算法陷入局部最小值的状况. 保持较快的后期寻优能力, 当PSO陷入局部最优时, 可以通过禁忌逃离这种局部最优的状况. 本文使用ESNGTP算法对金螳螂(002018)和中国石油(601857)两支个股收盘价进行预测. 通过实验说明ESNGTP算法相比于传统的ESN, 预测效果更为精准. 在迭代的过程中, 从表1可知ESNGTP相比于ESN-PSO有较好的收敛效果.

虽然引入的变异思想和禁忌思想提高了预测的精度, 但是在迭代的过程中消耗的时间稍长, 因此在时间上的消耗有待改进. 此外, 实验中对于个股股价的预测使用的是每日收盘价的数据, 未曾考虑其他的影响因素, 下一步的工作, 需要考虑多种因素对收盘价的影响, 同时依据影响因素重要性的不同, 给与不同的影响因素相适应的权重.