负荷预测是指利用现有的负荷、气象、经济等数据. 通过机器学习、统计学等方法建立所预测未来时间段的负荷与已知数据间的映射, 从而对未来时间段负荷做出合理的预测^[1]. 作为电力调度的基础和电力发展规划的依据, 电力负荷预测精度的提高有利于提高电力系统的效益和稳定性^[2].

负荷预测的方法主要分为两类, 一类是基于统计学的负荷预测法, 另一类是基于机器学习的负荷预测法. 基于统计学的预测模型主要有ARIMA模型、Holt-Winters模型、卡尔曼滤波模型等^[3-5]. 基于统计学的预测模型计算简单, 模型的训练速度快, 但大多数为线性模型. 而负荷序列受到多种因素的影响, 表现出较大的非线性和随机性. 使得传统的统计模型在负荷预测问题上表现一般. 基于机器学习的预测模型主要有支持向量机(SVM)、随机森林、长短时记忆网络(LSTM)、时序卷积网络(TCN)、极限学习机(ELM)等^[6-10]. 基于机器学习的模型能将影响负荷的多种因素考虑在内, 非线性拟合能力较强, 其中传统的机器学习方法如支持向量机(SVM)、随机森林等在小样本数据集性能较好, 且训练时间快, 但对与大数据集的拟合, 效果表现一般. 而基于神经网络的机器预测模型如长短时记忆网络(LSTM)、时序卷积网络(TCN)比较在大数据集上表现更为出色, 但训练时间更长. TCN模型的计算在每个时间步是平行的, 相较于LSTM模型的逐步计算有较大的优势. 且TCN能捕捉更长时间序列间的依赖关系, TCN在计算效率和拟合能力方面都比LSTM有更大的优势. ELM在规律性较强的负荷序列中表现出较高的预测精度, 且训练时间极短, 在规律性较强的负荷序列上有较大的优势.

为降低负荷序列的复杂性, 可在训练模型前, 利用常见的信号分解方法将负荷序列分解一组具有不同时间尺度特征的固有模态函数然后再利用该组模态函数训练模型. 如文献[11-13]利用EMD分解方法与神经网络相结合的方法, 通过EMD方法分解负荷序列, 得到了一组规律性更强的固有模态函数, 再送入神经网络训练, 从而降低了模型的预测难度, 提高了模型的预测精度.

基于以上研究, 本文提出了基于EMD-TCN-ELM的短期电力负荷预测方法. 为降低负荷序列的复杂性, 利用EMD分解方法得到不同的分量. 为降低训练时间和减小分量逐个预测所带来的累计误差, 利用分量过零率大小将分量重构为高频分量和低频分量. 由于高频分量规律性更差, 利用TCN模型预测负荷的高频分量. 而低频分量的规律性更强, 考虑到训练时间和预测精度, 本文选用极限学习机ELM预测低频分量. 通过实验将所提模型EMD-TCN-ELM分别与3个单模型TCN、ELM、LSTM和3 个混合模型EMD-TCN、EMD-ELM、EMD-LSTM比较, 其MAPE分别降低0.538%, 1.866%, 1.191%, 0.026%, 1.559%, 0.323%, 所提模型的预测精度最高. 且所提模型在预测精度前3的模型中训练时间最短, 验证了所提模型在负荷预测精度和训练时间方面的优越性.

1 经验模态分解

经验模态分解(empirical mode decomposition, EMD)是一种自适应的数据处理方法^[14], 能够将原始时间序列分解为一组独立的, 近周期的固有模态函数(intrinsic mode function, IMF). 其中, IMF必须满足以下条件: 1) IMF的过零点和极值点数必须相等, 或二者之差不超过1. 2)分别由IMF局部极大值和极小值构成的上下包络线, 二者在任意时刻的均值为0^[15]. EMD分解过程如下.

1) 确定序列x(t)的极大值和极小值点, 利用3次样条插值法分别对极大值点和极小值点拟合得到上包络线和下包络线. 在得到上下包络线后, 对上下包络线取平均值得到m₁.

2) 将列x(t)减去m₁得到c₁. 得到二者之差:

$ c_1=x(t)-m_1 $

(1)

3)若 ${c_1}$ 满足IMF的条件, 则 ${c_1}$ 为 ${{\textit{IMF}}_s}$ 的第一个分量 ${{\textit{IMF}}_1}$ . 若不满足, 将 ${c_1}$ 作为新的序列, 重复步骤1)和步骤2). 直到得到 ${{\textit{IMF}}_1}$ 为止.

4)在得到 ${{\textit{IMF}}_1}$ 后. 将 $x\left( t \right)$ 减去 ${{\textit{IMF}}_1}$ 得到二者之差:

$ {d}_{1}=x\left(t\right)-{{\textit{IMF}}}_{1} $

(2)

5)在得到 ${d_1}$ 和 ${{\textit{IMF}}_1}$ 后, 将 ${d_1}$ 作为新的序列, 重复步骤1)和步骤4)得到 ${d_2}$ 和 ${{\textit{IMF}}_2}$ . 以此类推, 直到第 $n$ 个残差 ${d_n}$ 为常数或单调函数, EMD停止分解. 最终原始序列可表示为若干个IMF分量与1个残差分量之和:

$x\left( t \right) = \mathop \sum \limits_{i = 1}^n {{\textit{IMF}}_i} + {d_n} $

(3)

2 时序卷积网络

时序卷积网络(temporal convolutional networks, TCN)^[16]与常规卷积神经网络的主要区别在于扩张卷积和因果卷积的引入, TCN架构如图1所示.

TCN网络由若干个残差块堆叠而成. 残差块的内部构造块包括扩展因果卷积层, 权重归一化操作, ReLU激活函数, 空间Dropout, 残差链接, 以及可选的1×1卷积层. 残差块中卷积层的扩张系数d从输入序列到输出序列成倍数地增加, 增加了网络的感受野, 减少了网络的深度和参数, 更有利于神经网络的训练. 因果卷积的引入使得卷积层第t个时间步的输出仅与前t个时间步的输入相关. 权重归一化是针对卷积核的归一化操作, 能够加速神经网络的收敛. ReLU激活函数引入了非线性映射. 空间Dropout是针对卷积神经网络的正则化技术, 能够降低神经网络过拟合的风险. 残差连接的引入有利于梯度在整个神经网络中传播, 有利于神经网络的学习. 而当残差块的输入与输出通道大小不一致时, 需要引入1×1的卷积核改变输入的通道大小从而与输出相加.

3 极限学习机

极限学习机(extreme learning machine, ELM)^[17]本质上是单隐层前馈神经网络, 其结构如图2所示.

ELM的计算结构可表示为:

$ \sum_{i=1}^{L} \beta_{i} g\left(W_{i}\cdot X_{j}+b_{i}\right)=o_{j}, \; j=1, \cdots, K $

(4)

其中, $K$ 表示样本个数, $L$ 表示隐层节点的个数. $W_{{i}} = {\left[ {{W_{i1}}, {W_{i2}}, \cdots , {W_{iK}}} \right]^{\text{T}}}$ 表示输入节点与第i个隐层节点相连的权重向量. $\;{\beta _i}$ 表示输出节点与第i个隐层节点相连的权重向量. ${W_i} \cdot {X_j}$ 表示权重向量 ${W_i}$ 与第j个输入向量 ${X_j}$ 的内积. ${b_i}$ 为第i个隐层节点对应的偏置. $g\left( x \right)$ 表示隐藏层对应的激活函数. ${o_j}$ 为第j个输入向量 ${X_j}$ 对应的输入向量.

如果模型的所有输出 ${o_j}$ 与样本真实标签值 ${t_j}$ 相等, 即式(5)成立:

$ \sum_{i=1}^{L} \beta_{i} g\left(W_{i}\cdot X_{j}+b_{i}\right)={t}_{j}, \; j=1, \cdots, K $

(5)

式(5)可简述为:

$ H\beta =T  $

(6)

其中, $\;\beta $ 为输出权重, $T$ 为目标输出, $H$ 为隐藏节点的输出, $H$ 可表示为:

$ \begin{array}{c}H={\left[\begin{array}{ccc}g\left({W}_{1}\cdot {X}_{1}+{b}_{1}\right)& \cdots & g\left({W}_{L}\cdot {X}_{1}+{b}_{L}\right)\\ \vdots & \ddots & \vdots \\ g\left({W}_{1}\cdot {X}_{N}+{b}_{1}\right)& \cdots & g\left({W}_{L}\cdot {X}_{N}+{b}_{L}\right)\end{array}\right]}_{N\times L}\\ \end{array}  $

(7)

最优输出权重为 $\hat \beta $ 可表述为以下优化目标:

$ \|H \hat{\beta}-T\|=\min _{\beta}\|H \beta-T\| $

(8)

对线性系统 $H\beta = T$ 而言, $\hat \beta $ 可求解为:

$ \hat{\beta }={H}^+T $

(9)

其中, ${H^ + }$ 为输出矩阵 $H$ 的广义逆矩阵.

相较于一般的神经网络, ELM的训练不需要通过梯度的反向传播来更新权重. 其训练过程只需要通过以下步骤: 1)随机初始化 $ {W}_{i}、{b}_{i} $ . 2)计算输出矩阵 $H$ . 3)计算输出权重矩阵 $\;\hat \beta = {H^ + }T$ . ELM在保证模型具有较高预测精度的前提下, 大大缩短了模型训练所需时间.

4 预测方法

本文所提负荷预测方法由4个阶段构成: 1)负荷分解; 2)分量重构; 3)模型预测; 4)预测集成. 如图3所示.

1)负荷分解: 首先, 利用EMD算法将负荷序列分解为一组不同的固有模态分量和一个残差分量. 相较于原始负荷序列, 通过EMD算法得到的分量更为简单, 规律性更强, 更有利于模型的预测. 若分别对所有的分量进行预测, 存在以下问题: 第一, 由于神经网络模型训练所需时间较长, 对所有的分量预测需要较大的时间成本. 第二, 由于对每个分量的预测会产生误差, 若对所有的分量预测, 则在最终的预测集成阶段可能产生误差积累.

2)分量重构: 基于以上原因, 本文将EMD得到的分量重构为高频分量和低频分量. 重构方法为: 利用所得分量过零率的大小将分量分为高频分量组和低频分量组. 将高频分量组的分量相加的高频分量, 将低频分量组的分量相加得低频分量.

3)模型预测: 由于高频分量随机性较强, 规律较为复杂, TCN模型由于其结构的复杂性, 其对时间序列高频分量的特征提取有更大的优越性, 因此, 利用TCN模型对高频分量进行预测. 而低频分量变化较为平缓, 规律性较为明显, 若将TCN模型用于预测低频分量, 其预测效果相较于其他模型并无明显的优势, 而ELM的训练速度快, 所需时间较少, 且对规律性较强的低频分量的预测精度也较高. 此外, 不同模型的引入还能降低模型的泛化误差, 进而提高模型的预测精度. 在权衡训练时间和预测精度后, 利用ELM模型对低频分量进行预测.

4)预测集成: 在得到分别来自TCN模型和ELM模型的高频分量和低频分量预测后, 由于高频分量和低频分量在负荷序列中的占比为1:1, 因此, 将高频分量预测和低频分量预测直接相加得到负荷的最终预测.

5 实验设计 5.1 数据集

本文使用的实验数据为西班牙2018年电力消耗数据, 采样周期为1 h, 采样点个数为8760. 在经过缺失点和异常点的检测与处理后, 所得数据如图4所示. 本次实验以前7天(7×24个观测值)的历史负荷数据预测第8天(预测区间为24)的负荷数据. 将数据集归一化后, 以前7天的负荷数据为模型的特征, 第8天的负荷数据为标签, 采用滚动窗口法制作数据集, 以前80%的数据集为训练集, 后20%的数据集为测试集.

5.2 评估指标

本实验评估指标采用均方根误差(RMSE)和平均绝对百分误差(MAPE). 公式如下:

$ {MAPE}=\frac{1}{n}{\displaystyle \sum }_{i=1}^{n}\frac{\left|{\tilde{y}}_{i}-{y}_{i}\right|}{{y}_{i}}\times 100{\text{%}} $

(10)

$ {{\textit{RMSE}}}=\sqrt{\frac{\displaystyle\sum_{i=1}^{n}\left(\tilde{y}_{i}-y_{i}\right)^{2}}{n}} $

(11)

其中, n表示预测点个数, ${\tilde y_i}$ 为预测点的预测值, ${y_i}$ 为预测点的真实值. 此外, 为验证所提模型在训练时间上的优越性, 将训练时间作为额外指标.

5.3 EMD分解

利用EMD算法将原始负荷序列分解为一组IMF和残差的集合, 其分解结果如图5所示. 由图可知, 经过EMD分解, 原始负荷序列被分解为9个IMF分量和一个残差分量, 分量, 从IMF₁到IMF₉, 分量的频率逐渐降低, 波动逐渐减缓, 各个IMF分量具有不同的时间尺度特征, 表示负荷受到不同因素影响而产生的不同频率的波动, 而残差分量为单调增函数, 表示负荷序列在该年表现出下降的趋势.

为降低预测模型的训练时间成本和减少逐个分量预测可能带来的累计误差, 利用各个分量过零率大小, 将高于某个过零率的分量划分到高频分量组, 低于该过零率的分量划分到低频分量组. 将高频分量组的分量相加重构得高频分量, 低频分量组的分量相加重构得低频分量, 本实验中过零率的大小选为0.01. 各个分量过零率大小如图6所示.

通过分量重构, 各个分量被重构为高频分量和低频分量. 高频分量的波动较快且规律性较差, 其内部特征模式较为复杂. 而低频分量波动相对较慢且规则性更强, 更容易习得其特征模型. 针对高频分量特征较为复杂的特点, 由于TCN对复杂的时间序列由较强的学习能力, 本实验选择TCN模型作为高频分量的预测模型. 而对于低频分量, 由于其规律性更强, 而ELM模型, 在规律性较强的时间序列中表现出较高的训练速度和准确率, 因此, 低频分量的预测模型选择为ELM模型.

通过计算各分量的过零率, 并且四舍五入到小数点后3位可知: 分量IMF₁–IMF₄的过零率高于0.01, IMF₅–IMF₉和残差分量的过零率低于0.01, 因此, 将IMF₁–IMF₄重构为高频分量, IMF₅–IMF₉和残差分量重构为低频分量. 各个分量重构结果如图7所示.

5.4 模型构建与训练

为验证所提混合模型的优越性, 本文构造并训练了3个单一模型: TCN、ELM、LSTM. 3个混合模型: EMD-TCN、EMD-ELM、EMD-LSTM. 本文所提模型: EMD-TCN-ELM. 各个模型的结构和超参数如下:

1) TCN. 输入层: 输入形状=(7, 24), 即为加快模型的收敛和减少模型参数, 将7×24个历史观测值分布到7个时间步上, 每个时间步共享24个单元. 卷积块1: 卷积核个数=64, 卷积核大小=2, 步长=1, 扩张系数=1, 激活函数=ReLU, 空间Dropout=0.2, 1×1卷积核个数=64; 卷积块2: 卷积块2超参数设置与卷积块1类似. 区别在于扩张系数=2, 1×1卷积核个数=24, 卷积块2的第2个卷积层的单元数为24, 第2个卷积层不设置激活函数. 输出层: 在得到卷积块2残差连接的输出后, 应用Sigmoid函数得到输出层的激活, 即预测值; 损失函数=MSE, 优化器=adam, 批大小=32.

2) ELM. 输入层: 单元数=168; 隐藏层: 单元数=128, 激活函数=ReLU; 输出层: 单元数: 24.

3) LSTM. 输入层: 输入形状=(7, 24). LSTM层1: 单元数=64, 激活函数=tanh; LSTM层2: 单元数=32, 激活函数=tanh. 输出层: 单元数: 24, 激活函数=Sigmoid. 损失函数=MSE, 优化器=adam, 批大小=32.

本实验中模型的训练和预测采用的是Keras和TensorFlow框架.

6 实验结果

将所提预测模型分别与3个单一模型和3个混合模型比较, 其实验结果表1和表2所示.

将所提模型EMD-TCN-ELM与3个单一模型TCN、ELM、LSTM的预测结果比较可观察到以下结果: 1)所提混合模型相较于3个单一模型TCN、ELM、LSTM, 其MAPE和RMSE最低, 其MAEP分别降低0.538%、1.866%、1.191%. RMSE分别降低139.085 MW、531.417 MW、319.84 MW. 可见所提预测模型预测误差相较于其他3个单一模型有较大的降低, 其预测精度最高, 性能最好. 2)在3个单一模型中, MAPE和RMSE由低到高对应的模型分别为TCN、LSTM、ELM, 即TCN的预测精度要高于LSTM和ELM, 说明TCN在负荷预测问题上相较于LSTM和ELM有一定的优越性. 3)就训练时间而言, 所提混合模型训练时间最长, ELM的训练时间最短, ELM的训练时间与EMD-TCN-ELM、TCN、LSTM的训练时间之比为1.561‰, 1.936‰, 3.342‰, 即ELM的训练所需时间为其他3种模型的千分级别, 可见ELM在训练速度上有较大的优势, 然而ELM的预测误差相较于其他3种模型有较大的增加.

将所提预测模型EMD-TCN-ELM与引入EMD后的3个混合模型EMD-TCN、EMD-ELM、EMD-LSTM的预测结果比较可观察到以下结果: 1)对3个单模型引入EMD技术后得到3个混合模型EMD-TCN、EMD-ELM、EMD-LSTM, 相较于原来的3个单一模型TCN、ELM、LSTM. 3个混合模型的MAPE和RMSE均有所降低, 相较于单一模型, 其MAPE分别降低了0.512%、0.307%、0.868%. RMSE分别降低了132.399 MW、85.415 MW、228.385 MW, 验证了EMD在对负荷预测精度提升方面的稳健性. 可见、EMD能降低原始负荷序列的复杂性, 通过训练“EMD分解-重构”的规律性更强的重构子序列, 降低了预测模型的预测难度, 进而提高了模型的预测精度. 2)在所有的预测模型中, EMD-TCN-ELM的预测误差最低, 然后依次是EMD-TCN、EMD-LSTM、EMD-ELM. EMD-TCN-ELM模型相较于其他3种模型EMD-TCN、EMD-ELM、EMD-LSTM. MAPE分别降低了0.026%, 1.559%, 0.323%. RMSE分别降低6.686 MW、446.002 MW、91.456 MW. 可见, 不管是与单模型TCN、ELM、LSTM比较, 还是混合模型EMD-TCN、EMD-ELM、EMD-LSTM比较, EMD-TCN-ELM模型的预测误差仍然最低, 预测精度最高. 验证了所提模型的稳健性. 3)就训练时间而言, EMD-ELM的训练时间最低, 然而, 相较于其他3种模型, 其预测误差较大. 而在余下的3种模型EMD-TCN-ELM、EMD-TCN、EMD-LSTM中, EMD-TCN-ELM的训练时间最短, 且预测精度最高.

所有模型MAPE与训练时间对比图如图8所示, 由图可知, 在所有预测模型中, 本文所提模型预测精度最高, 在预测精度前面前3的模型EMD-TCN-ELM, EMD-LSTM、EMD-TCN中, 本文同时还具有最短的训练时间. 可见, 本文所提模型在保证最高的预测精度前提下还具有较短的训练时间, 相较于其他预测模型, 本文所提模型EMD-TCN-ELM有较大的优势.

各个预测模型在测试集的预测负荷与真实负荷对比如图9所示.

7 结论

为提高负荷预测精度, 本文提出了EMD-TCN-ELM负荷预测模型. 针对原始负荷序列较为复杂, 表现出较弱的规律性的特点, 利用EMD分解技术将原始负荷序列分解为一组波动频率不同的固有模态函数, 降低了原始负荷序列的复杂性. 为提高训练时间和避免各个模态函数单个预测造成的累积误差, 利用过零率将各个模态函数重构为高频分量和低频分量. 高频分量较为复杂, 规律性较差, 由于TCN能够处理较为复杂的时间序列, 利用TCN捕捉高频分量的信息预测高频分量. 而低频分量规律性更强, 在考虑训练时间和预测精度的前提下, 利用ELM捕捉低频分量的信息预测低频分量. 在得到高频分量和低频分量的预测后, 二者相加得到负荷的最终预测. 通过将本文所提模型EMD-TCN-ELM模型分别与3个单模型TCN、ELM、LSTM比较, 其MAPE分别下降0.538%、1.866%、1.191%. 与3个混合模型EMD-TCN、EMD-ELM、EMD-LSTM比较, 其MAPE分别下降0.026%, 1.559%, 0.323%. 所提预测模型的预测精度在所有预测模型中最高, 同时本文所提模型训练时间在排名前3的预测模型中训练时间较短. 可见, 所提模型在负荷预测问题上有较大的优性. 通过实验研究可得出以下结论.

1) EMD分解-重构技术的引入能降低原始负荷序列的复杂性, 有利于模型的预测, 从而提高模型的预测精度.

2) TCN模型相较于LSTM、ELM模型, 其预测精度更高, 但训练时间也最长. 而ELM模型的训练时间最短, 但在复杂时间序列问题上, 其预测精度较差.

3) 利用TCN模型捕捉高频分量信息, 利用ELM模型捕捉低频分量信息. 在保证预测精度最高的前提下, 还能较大程度的缩短训练时间. TCN-ELM模型的组合方式有较大的优越性.

EMD-TCN-ELM的组合方式预测精度最高的原因在于EMD-TCN-ELM的组合方式增加了模型的多样性. 从而降低了模型的泛化误差, 提高了模型的预测精度.