计算机系统应用  2019, Vol. 28 Issue (8): 210-216   PDF    
基于随机非平稳和长短时记忆网络的泊位混合预测
向荣, 房祥彦     
桂林电子科技大学, 桂林 541004
摘要:为了缓解大城市中日益突出的停车困难, 现如今中国各大城市级停车诱导系统的研究开发势在必行. 在停车诱导系统中, 作为帮助用户找到最合适的停车场的重要因素, 对未来停车位的预测是一个非常重要的智能技术手段. 目前主流预测方法如果没有了实时数据, 大部分会出现误差累积现象, 从而影响预测准确性. 然而, 在停车诱导系统平台的建设早期, 我们很难做到将城市所有停车场实时的数据流搜集起来. 因此, 文中以具有周期特性的非平稳停车位历史数据为研究对象, 首先根据中心极限定理和大数定理对停车位进行统计分析, 然后结合LSTM (Long Short-Term Memory), 提出混合预测模型SAL (non-stationary Stochastic And Long short-term memory)来对未来某个时间段的停车位作有效预测. 实验数据证明, 相比于单独使用LSTM和Lyapunov指数法作长期预测, SAL的计算复杂度更低, 预测效果相对更加精确, 并且有效解决了在失去实时数据支撑情况下多步长期预测导致的误差累积问题.
关键词: 停车诱导系统    非平稳过程    正态分布    长短时记忆网络    长期预测    
Hybrid Prediction Model for Parking Occupancy Based on Non-Stationary Stochastic Process and Long Short-Term Memory Network
XIANG Rong, FANG Xiang-Yan     
Guilin University of Electronic Technology, Guilin 541004, China
Foundation item: National Natural Science Foundation of China (61572147)
Abstract: It is popular to develop the city-wide Parking Guidance System (PGS) in China nowadays, in order to alleviate the parking difficulties arising in large cities. Prediction on parking occupancy is the essential intelligent technology to help vehicles find the proper parking lot efficiently in PGS. And the known prediction methods have to be powered by real-time data, without which would cause error accumulation and significant inaccuracies. In the early stage of PGS deployment, however, it is very hard to collect the real-time data from the parking lots all over the city. Therefore, this study takes the historical data of non-stationary parking spaces with periodic characteristics as the research object. Firstly, statistical analysis of parking spaces is carried out according to the central limit theorem and Law of Large Numbers. Then, we propose a method named SAL (non-stationary Stochastic And Long short-term memory) combined with LSTM (Long Short-Term Memory), to predict the parking occupancy at the given time, based on digging the history data. Experimental data prove that compared with using LSTM and Lyapunov exponent method, SAL has lower computational complexity, more accurate prediction, and effectively solves the problem of error accumulation caused by multi-step long-term prediction without real-time data.
Key words: parking guidance system     Non-stationary process     normal distribution     Long Short-Term Memory (LSTM)     long-term prediction    

1 引言

随着经济的发展, 人民生活水平普遍提高, 城市居民机动车保有量急剧增长, 停车问题已逐渐成为城市交通的难题, 特别是大中型城市的热点区域尤为突出. 为了缓解机动车停车泊位供需矛盾, 指挥交通系统引入了停车诱导系统, 它以提高停车场以及相邻道路的利用率为目的, 多途径地向驾驶员提供停车场位置、有效停车位数量和道路交通状况等信息, 从而引导驾驶员快速有效地定位目标停车场. 停车诱导的核心是通过实现部署的分级诱导屏实时显示数据中心发送的停车场空余泊位数, 但是由于停车信息是时刻变动的, 当驾驶员看到诱导信息时的有效泊位数与车辆到达相应停车场后的实际有效泊位数往往有较大出入, 这会造成城市拥堵、驾驶员重新寻找停车场、能源浪费等等问题. 而高效率地利用停车场可以大大缓解城市交通压力、方便人们出行规划和节约能源, 因此能否相对准确预测停车场有效停车位成为交通信息管理和停车诱导系统的热点研究问题之一.

现如今, 主流的预测方法大多依赖于停车位实时数据的支撑, 下一时刻预测的精准度同刚过去的几个连续时间步的数据关联性很高. 因为交通监测数据的采集、汇聚都能保持实时性, 所以这些技术在交通流预测方面得到了很好的应用. 但是由于停车场产权分散, 不同停车场间的设备难以互联, 缺乏统一的城市级泊位监测平台. 如果没有巨大的经济和时间投入, 停车诱导系统实际上很难搜集到整个城市级所有停车场的实时停车数据. 早期的停车诱导系统部署中有这样一个合理的假设[1], 如图1所示.

假设中, 可以发现能够获得停车位实时数据的停车场只是极少数, 大量的停车场实时数据难以获得. 对不能直接获得实时数据, 仅能够提供历史数据的停车场, 由于历史数据一般距离当前有一定的时间, 因此往往不能直接使用ARIMA, WNN(Wavelet Neural Network)、RNN(Recurrent Neural Network)等短时预测技术进行直接预测, 需要基于该停车场的历史数据进行分析, 结合中长期预测技术来进行.

图 1 城市级停车诱导系统停车场数据假设

因为中长期预测过程中包含强烈的混沌特性, 所以长期预测技术很少被深入研究, 这也导致了很难达到较远时间的准确预测. 然而, 对于仅仅能够提供历史数据的停车场而言, 长期预测技术是一个非常重要预测手段. 同时, 比起短期预测, 更长期限的预测能够为用户提供更加丰富的信息帮助用户做长期规划. 因此本文针对这些具有历史数据的停车场类型做有效停车位中长期预测的研究. 首先通过分析相同时间片内的停车位历史数据的分布特性建立随机概率模型来进行多步预测. 接着, 基于预处理过的停车场历史数据, 训练LSTM来做精确的单步预测. 最后建立混合模型SAL对停车位作长期预测. SAL是一个基于差分正态分布的多步预测模型和长短时记忆网络模型组合起来的线性混合模型, 混合模型中的两个参数可以通过最小二乘法求解确定.

2 相关工作

对停车场未来有效泊位的预测, 类似于交通流量预测, 本质上是一个基于时间序列的预测问题.

针对有效停车位的预测问题, 文献[2]提出了影响因素分析法, 但是由于影响有效停车位的因素较多, 如停车场的类型(地面停车场和地下停车场)、停车场位置、停车费用、停车场周围道路交通情况、天气情况、以及从出发点到停车场的距离等等, 这些因素的多样性, 使得该方法很难对未来停车位进行准确地分析预测. Yang等人[3]建立神经网络模型对停车位进行预测, 将交通流、天气信息、活动等等因素变量作为网络模型的输入取得了不错的预测效果. Rajabioun[4]等和Klappenecker[5]等通过数学方法对停车泊位进行预测. 虽然该方法简便快捷, 但是鲁棒性及容错性较差, 预测结果也不理想. 因为基于线性统计的传统方法对于非线性时间序列的拟合效果并不是很好, Beheshti[6]等设计一个基于马尔可夫链(MCMC)的混合模型方法. 目前, 基于神经网络的改进算法成为停车位预测的主流方法[710], 其中WNN[11]、RNN[12]、LSTM[13]能够很好地拟合非线性复杂系统的动态特性, 预测效果也相对得到了提高. 后来, 混沌理论的发展又让人们对混沌时间序列产生了新的预测思路: 最大Lyapunov指数法[14]和一阶加权局域预测模型[15].

以上大多数研究局限在短时预测或者依赖实时数据的更新. 当预测步数较小的时候, 预测结果和真实值相当吻合, 随着步数的逐渐增加, 预测误差随之呈现指数增长, 甚至失去了预测意义. 而混沌时间序列预测模型虽然在多步长期预测方面取得了不错的进展, 但是预测步数依然有限, 并且严重依赖相空间的重构, 计算复杂度非常之高. 本文针对以上模型的各自缺陷和不足, 提出一种基于随机非平稳过程和长短时记忆网络的混合预测思路.

3 模型方法 3.1 随机概率模型

图2是某个停车场以天为单位归集的一段时间停车位数据. 每条曲线代表该停车场一天的停车位变化情况. 横轴是时间轴, 纵轴是被占用停车位的数量. 每十五分钟对停车位数量作一个采样点, 因此一天总共有96个采样点.

图 2 停车位数量变化图

很明显, 作为一个随机变量, ${x_i}$ 表示在时间片 $\Delta {t_i}$ 上的泊位数量, 而已知的停车位历史数据在 $\Delta {t_i}$ 上的取值就是该随机变量的采样数据. 泊位的占用与否取决于车辆的到达率和驶离率, 车辆的到达一般被认为是服从泊松分布的, 因此同一时间片内的泊位数量, 从长期看实际上就是泊松分布的极限, 也就是正态分布. 可以假设每一个时间片的泊位数量 ${x_i}$ 有:

$ {x_i}\sim N\left({\mu _i}, \sigma _i^2\right) $ (1)

我们此时可以采用最大似然法(MLE)对待定的分布参数 ${\mu _i}$ $\sigma _i^2$ 进行求解. 首先从 ${x_i}$ 中抽取n个样本 ${\rm{\{ }}{m_1}, {m_2}, \cdots, {m_n}{\rm{\} }}$ , 则似然函数为:

$ L\left({\mu _i}, \sigma _i^2\right) = \prod\limits_{t = 1}^n {\frac{1}{{\sqrt {2\pi } \sigma }}} {e^{ - \frac{{{{\left({m_t} - \mu \right)}^2}}}{{2{\sigma ^2}}}}} $ (2)

似然函数的对数为: $\log L\left({\mu _i}, \sigma _i^2\right)$ . 建立似然方程组并求解可得:

$\begin{array}{c} {\mu _i} = \overline m = \dfrac{1}{n}\displaystyle\sum\limits_{t = 1}^n {{m_t}}\\ \sigma _i^2 = \dfrac{1}{n}\displaystyle\sum\limits_{t = 1}^n {{{\left({m_t} - \overline m \right)}^2}} \end{array} $ (3)

根据求得的分布参数, 可以相对应地生成符合该正态分布的随机序列 ${S_i}$ . 于是可以定义对时刻 ${t_i}$ 的预测函数 $g({t_i})$ 是从 ${S_i}$ 中随机选取一个数作为预测值:

$ g({t_i}) = {s_i} $ (4)

显然随着 $\Delta {t_i}$ 的不同, 不同 ${x_i}$ 的分布参数是不相同的, 因此在时间轴上, 泊位的变化情况是一个非平稳的高斯过程. 由于 ${x_{i + 1}}$ ${x_i}$ 被视为了两个独立同正态分布的变量:

$\begin{array}{c} {f_{{x_i}}}({x_i}) = N\left({x_i};{\mu _i}, \sigma _i^2\right)\\ {f_{{x_{i + 1}}}}({x_{i + 1}}) = N\left({x_{i + 1}};{\mu _{i + 1}}, \sigma _{i + 1}^2\right) \end{array} $ (5)

两个相邻时间片 $\Delta {t_i}$ , $\Delta {t_{i + 1}}$ 之间, 泊位数量的变化 $\Delta {x_i} = {x_{i + 1}} - {x_i}$ , 将 ${f_{{x_i}}}({x_i})$ ${f_{{x_{i + 1}}}}({x_{i + 1}})$ 代入到 ${f_{\Delta {x_i}}}(\Delta {x_i})$ 中可以证明得到 $\Delta {x_i}$ 也服从正态分布:

$ \Delta {x_i}\sim N\left({\mu _{i + 1}} - {\mu _i}, \sigma _i^2 + \sigma _{i + 1}^2\right) $ (6)

根据以上 ${x_i}$ $\Delta {x_i}$ 的分布参数分析, 可以生成随机序列 ${S_n} = \{ {S_n}|n = 1, 2, \cdots, n\} $ 和差分随机序列 $\Delta {S_n} = \{ \Delta {S_n}| $ $ n = 1, 2, \cdots, n\}$ . 接下来, 我们可以得到另一个基于该分布的中长期预测函数:

$ g({t_i}, {t_j}) = g({t_i}) + \sum\limits_i^{j - 1} {\Delta {s_i}} $ (7)

在上述公式中, ${t_j}$ 是函数期望预测的时刻, ${t_i}$ ${t_j}$ 之前的某一个时刻. $\Delta {s_i}$ 是从随机差分序列 $\Delta {S_i}$ 中随机选取的一个数值. 上式在 $g({t_i})$ 的基础上提出了一个更加平稳的长期预测函数, 这个模型通过随机差分序列来控制预测的趋势幅度, 使得最终基于非平稳高斯过程的预测结果更加平滑准确.

3.2 混合预测模型SAL

基于非平稳高斯过程的预测在计算开销上非常小, 但是在预测上往往容易出现预测值跳变较大的情况, 而LSTM在这方面表现就好很多, 能够很好地拟合非线性复杂系统; 另一方面, 基于非平稳高斯过程的预测在极大程度上能抑制预测值的大幅偏离, 而这正是LSTM在中长期预测中的最大缺陷, 因此本文结合两者的优点进行混合预测, 模型结构如图3所示. 模型具体的流程如下:

图 3 模型结构图

(1) 首先分别根据公式 $g({t_j})$ $g({t_i}, {t_j})$ 得到 ${t_j}$ $\{ {t_{j - q}}|q = 1, 2,\cdots\} $ 时刻的停车位预测值, 其中q值依赖于LSTM输入神经元的个数.

(2) 将第一步得到的 $\{ {t_{j - q}}|q = 1, 2, \cdots\} $ 这几个相邻时刻的预测值作为LSTM网络的输入, 进一步预测得到 ${t_j}$ 时刻的值.

(3) 最后将公式(1)和LSTM网络 $f( \cdot )$ 预测得到的 ${t_j}$ 时刻的值分别以权重a和b线性加权, 从而得到对 ${t_j}$ 时刻停车位的最终预测.

因为LSTM输入层引入了随机分布因素, 因此模型最终预测得到的结果既有一定的随机性, 又不会出现较大的偏离, 模型定义为如下公式:

$ E({t_j}) = a * g({t_j}) + b * f[g({t_i}, {t_j})] $ (8)

其中, $g({t_j})$ $g({t_i}, {t_j})$ 是基于正态分布的随机差分预测模型, $f( \cdot )$ 是LSTM单步预测网络模型.

作为一种特殊的循环神经网络, 非常适合应用于时间序列的预测, 它能够克服传统RNN在反向传播中遇到的梯度爆炸和衰减的缺点, 通过在隐藏层加入记忆单元, 将时间序列的短长期相互关联起来, 控制有关信息的删除与存储, 以此构成记忆网络. 神经元结构如图4所示, 其中LSTM每个神经单元都包含输入门、输出门和遗忘门, 存储单元在整个神经元的中心, 主要负责不同时刻神经元状态值的传递和输出.

图 4 LSTM神经元结构

本文中, 首先将停车场历史数据经过Min-Max Normalization处理归一化, 然后定义损失函数为mean squared error, 使用Adam优化器来迭代计算优化整个神经网络的权重参数. 最后式(8)中的两个待定系数ab通过最小二乘法求解.

4 实验结果与分析 4.1 正态分布检验

混合预测模型第一步是建立随机差分预测. 基于停车位过去两个月的真实数据样本, 部分数据如图2所示, 每隔15分钟取一个样本点, 一天共计96个样本, 记为 $\{ {m_{ij}}|i = 1, 2, \cdots, 60;j = 1, 2,\cdots, 96\} $ . 统计并构建两个月同一时刻和相邻时刻的停车位差分序列样本分别记为 $\{ {X_n}|{X_n} = {m_{in}}, i = 1, 2, \cdots , 60, n = 1, 2,\cdots, 96\} $ $ \{ \Delta {X_n}|$ $\Delta {X_n} = {m_{i(n + 1)}} - {m_{in}}, i = 1, 2, \cdots, 60, n = 1, 2, \cdots, 96\} $ .

随机差分模型预测的关键在于序列样本 ${X_n}$ $\Delta {X_n}$ 的分布规律的识别, 分析序列样本数据, 绘制正态概率值检验图并进行Lilliefors检验, 判断其是否符合正态分布. 实验利用Matlab程序中的normplot函数绘制样本数据的正态概率值检验图, 如图5所示.

图5可以看出, 序列样本数据各点的位置近似的在一条直线附近, 因而所构建的停车位序列样本和相邻时刻停车位差分序列样本数据符合正态分布特性. 但是由于本文数据并不充分, 为避免判断失误, 进一步采用适合小样本条件的Lilliefors检验法进行验证. 利用Matlab程序中的lillietest函数, 显著性水平设置为0.05, 检验函数返回的决策参数的值为0, 即该样本数据符合正态分布, Lilliefors检验结果如表1所示.

图 5 正态性检验

表 1 Lilliefors正态性检测

因为样本数据量小以及噪声的影响, 依然存在小比例样本序列不满足正态性检验, 但是根据极限分布定理, 本文依然接受同一时刻停车位序列和相邻时刻停车位差分序列满足正态性分布的假设.

正态性检验之后, 正态分布拟合函数normfit求解可得分布参数 $\mu $ $\sigma $ . 根据获得的分布参数生成符合该分布规律的随机序列, 因此我们能够得到96个时刻的随机序列Sn={Sn|n=1, 2, …, 96}和相邻时刻的96个差分序列 $ \Delta {S_n}=\{\Delta {S_n}|n=1,2,\cdots,96\}$ . 这样我们就可以根据这些随机序列预测未来某个时刻的停车位, 并通过差分序列控制时序的趋势, 实现利用概率统计分布规律对未来停车位的随机差分预测, 随机概率模型预测未来三天的结果如图6所示.

图 6 随机概率模型未来三天预测

4.2 SAL预测结果分析

混合预测模型第二步是建立LSTM的单步预测. 实验设定输入神经元的个数为6, 隐含层神经元的个数为12, 输出神经元的个数为1. 网络训练次数设定为100次, 当超过训练次数则终止训练. 利用某住宅停车场近两个月的停车位数据训练LSTM, 然后将训练好的LSTM模型保存. 然后结合之前得到的随机差分预测模型, 利用最小二乘法求解参数ab分别为0.57和0.43, 最终实现对未来停车位时序进行多步混合预测.

实验利用本文提出的混合预测模型SAL、LSTM以及Lyapunov指数预测法对停车场未来三天的停车占有率进行预测, 预测结果对比如图7所示.

图 7 不同模型预测结果

从上图对比可以发现, LSTM的多步预测存在误差累积的致命缺陷, 随着预测步数的增长, 在没有实时数据支撑的情况下, 误差很快累积到失去预测的意义, 而本文的SAL和Lyapunov指数法则不存在这样的问题. 接下来实验进一步对比Lyapunov指数法和SAL的均方根误差, 如图8所示.

图 8 Lyapunov和SAL均方根误差

结合预测结果对比图和均方根误差图可以发现, SAL和Lyapunov指数法对未来两天内的预测都比较准确, 但是由于Lyapunov指数法在一定程度内依然存在误差累积的问题, 在230步之后的预测准确性明显降低, 图8中显示随着时间期限的增长, 均方根误差呈现陡增的现象. 而本文提出的混合预测模型在第三天的预测误差并不会显著降低, 依然能够相对准确平稳地预测真实的情况. 这是因为随着预测时间的增长, SAL模型依然能够保证预测结果符合历史真实的概率分布, 不会偏差得离谱.

4.3 SAL计算复杂度分析

接下来实验对SAL、LSTM以及Lyapunov三个方法的计算代价进行简要的分析, 以程序训练的时间和预测的时间作为对比. SAL和LSTM模型的训练时间分别为15.93 s和15.69 s, 而Lyapunov的相空间重构和Lyapunov指数计算就消耗了近17.52 s. 预测过程中, SAL、Lyapunov指数法平均每预测一步消耗0.0028 s和0.0097 s, 但是Lyapunov指数法预测第n步所需要的时间是前n–1步所需时间和, 具体的计算代价如图9所示, 因此在保证预测准确度的前提下, 本文提出的SAL具有更好的计算性能优势.

图 9 计算复杂度对比

5 结论与展望

本文针对具有周期特性的非平稳时间序列, 提出了一种随机差分预测模型和长短时记忆网络相结合的混合预测模型SAL. 首先根据中心极限定理和大数定理对停车位概率分布进行分析并提出随机差分多步预测模型; 然后对LSTM的工作原理进行分析, 提出高精度的单步预测长短时记忆网络; 接下来结合随机差分预测模型和LSTM模型的各自优势, 提出多步混合预测的思想. 该模型完全基于历史数据, 并不依赖实时数据, 相对准确地实现对非平稳停车位时序的多步长期预测. 与目前国内外其他混沌时序预测模型相比, 计算复杂度更低, 预测误差更平稳精确. 虽然SAL模型非常适合周期特性强的停车时序预测, 但现实生活中很多社会因素会对停车位时序产生突变影响, 而SAL目前对于这种突变的抖动很难很好地拟合, 因此未来会针对突变因素作更深入的研究.

参考文献
[1]
Dong S, Chen MS, Peng L, et al. Parking rank: A novel method of parking lots sorting and recommendation based on public information. Proceedings of 2018 IEEE International Conference on Industrial Technology (ICIT). Lyon, France. 2018. 1381–1386.
[2]
Wang ZH, Yi JG, Liu JT, et al. Study on the control strategy of parking guidance system. Proceedings of International Conference on Service Systems and Service Management. Chengdu, China. 2007. 1–4.
[3]
Yang ZS, Liu HH, Wang XY. The research on the key technologies for improving efficiency of parking guidance system. Proceedings of the 2003 IEEE International Conference on Intelligent Transportation Systems. Shanghai, China. 2003. 1177–1182.
[4]
Rajabioun T, Foster B, Ioannou P. Intelligent parking assist. Proceedings of the 21st Mediterranean Conference on Control and Automation. Chania, Greece. 2013. 1156–1161.
[5]
Klappenecker A, Lee H, Welch JL. Finding available parking spaces made easy. Ad Hoc Networks, 2014, 12: 243-249. DOI:10.1016/j.adhoc.2012.03.002
[6]
Beheshti R, Sukthankar G. A hybrid modeling approach for parking and traffic prediction in urban simulations. AI & Society, 2015, 30(3): 333-344.
[7]
Vlahogianni EI, Kepaptsoglou K, Tsetsos V, et al. A real-time parking prediction system for smart cities. Journal of Intelligent Transportation Systems, 2016, 20(2): 192-204. DOI:10.1080/15472450.2015.1037955
[8]
Sharma V, Yang DZ, Walsh W, et al. Short term solar irradiance forecasting using a mixed wavelet neural network. Renewable Energy, 2016, 90: 481-492. DOI:10.1016/j.renene.2016.01.020
[9]
Bashir Z, El-Hawary ME. Short term load forecasting by using wavelet neural networks. Proceedings of 2000 Canadian Conference on Electrical and Computer Engineering. Halifax, NS, Canada. 2000. 163–166.
[10]
Doucoure B, Agbossou K, Cardenas A. Time series prediction using artificial wavelet neural network and multi-resolution analysis: Application to wind speed data. Renewable Energy, 2016, 92: 202-211. DOI:10.1016/j.renene.2016.02.003
[11]
Ji YJ, Tang DN, Blythe P, et al. Short-term forecasting of available parking space using wavelet neural network model. IET Intelligent Transport Systems, 2015, 9(2): 202-209. DOI:10.1049/iet-its.2013.0184
[12]
Qiu JL, Tian JR, Chen HP, et al. Prediction method of parking space based on genetic algorithm and RNN. Hong RC, Cheng WH, Yamasaki T, et al. Advances in Multimedia Information Processing – PCM 2018. Cham: Springer, 2018. 865–876.
[13]
Li JC, Li JM, Zhang HT. Deep learning based parking prediction on cloud platform. Proceedings of the 4th International Conference on Big Data Computing and Communications (BIGCOM). Chicago, IL, USA. 2018. 132–137.
[14]
Ji YJ, Tang DN, Guo WH, et al. Forecasting available parking space with largest Lyapunov exponents method. Journal of Central South University, 2014, 21(4): 1624-1632. DOI:10.1007/s11771-014-2104-3
[15]
Liu SX, Guan HZ, Yan H, et al. Unoccupied parking space prediction of chaotic time series. Proceedings of the 10th International Conference of Chinese Transportation Professionals. Beijing, China. 2010: 2122–213.