工业管道是工业企业内所有管状设施的总称, 已广泛应用于石油、化工等行业. 随着工业管道数量的快速扩大和服役时间增长, 管道内的腐蚀问题逐渐突出, 导致其容易发生穿孔、泄漏和开裂等失效现象, 给人民群众的生命安全和社会生态环境安全带来了巨大的隐患^[1,2]. 管道内腐蚀率的预测, 能够了解管道内腐蚀的状况, 为检测和维保措施提供依据, 具有重要的研究意义. 然而, 由于腐蚀速率与腐蚀因素之间存在复杂的非线性关系, 这给预测模型的构建带来了很大的挑战.

随着人工智能的快速发展, 大量研究人员将机器学习方法应用到管道腐蚀率预测中. 文献[3]采用原子搜索优化算法(atom search optimization, ASO)对BP神经网络的权值和偏置进行优化, 建立了基于ASO-BP的管道腐蚀率预测模型. 文献[4]采用核主成分分析(kernel principal component analysis, KPCA)对影响管道腐蚀的因素进行降维, 并将提取的腐蚀变量主成分输入到反向传播神经网络(back-propagation neural network, BRANN)中, 建立了一种基于KPCA- BRANN的管道腐蚀率预测模型. 文献[5]采用了萤火虫算法(firefly algorithm, FFA)对支持向量回归(support vector regression, SVR)中的参数进行了优化, 建立了基于FFA-SVR的管道的腐蚀率预测模型. 文献[6]采用主成分分析(principal component analysis, PCA)提取影响管道腐蚀率因素的主要特征, 利用混沌粒子群优化算法(chaos particle swarm optimization, CPSO)优化SVR中的参数对其进行腐蚀率预测, 提出一种基于PCA-CPSO-SVR的管道腐蚀率预测模型. 文献[7]采用KPCA对外腐蚀速率的影响因素进行降维处理, 利用CS对支持向量机(support vector machine, SVM)中的参数进行优选, 建立了一种基于KPCA-CS-SVM的管道腐蚀率预测模型. 文献[8]采用灰色关联度算法(grey relational analysis, GRA)对外腐蚀速率的影响因素进行降维处理, 利用改进鱼群算法(improved fish swarm algorithm, IFA)对最小二乘支持向量机(least squares support vector machine, LSSVM)中的参数进行优选, 建立了一种基于GRA-IFA-LSSVM的管道腐蚀率预测模型. 文献[9]采用KPCA提取影响混输管道内壁均匀腐蚀因素的主要特征, 利用改进布谷鸟搜索(improved cuckoo search, ICS)对极限学习机(extreme learning machine, ELM)中的参数进行优选, 建立了一种基于KPCA-ICS-ELM的管道腐蚀率预测模型. 虽然上述方法取得了较好的预测结果, 但由于特征提取和预测模型是人工设计的, 需要依赖专家经验, 预测结果仍有很大的提升空间.

近年来, 随着计算机计算能力的提升, 深度学习方法在图像识别^[10]、自然语言处理^[11]、语音识别^[12]等许多领域有着广泛的应用. 其中, 作为深度学习模型代表之一的CNN能够对数据进行卷积、池化等操作, 逐步学习到数据的深层次抽象特征. 循环神经网络(recurrent neural network, RNN)^[13]可以学习历史信息, 研究表明RNN在处理时间序列数据方面优于卷积神经网络. 作为RNN的变体, LSTM^[14,15]能够通过记忆单元和门控机制捕获数据的长期依赖关系, 弥补了RNN带来的梯度爆炸、梯度消失导致的网络模型难以训练的问题. 文献[16]提出基于LSTM的管道腐蚀率预测模型, 预测精度优于BP神经网络和RNN. 文献[17]针对传统LSTM模型特征提取不足和超参数选择的问题, 提出一种基于改进的LSTM管道腐蚀率预测模型, 通过在LSTM网络前添加全连接层提取数据特征, 并利用网格搜索方法对模型的超参数进行优化. 实验结果优于传统的LSTM模型和BP神经网络, 但模型的泛化能力仍有提升空间.

基于上述分析本文结合CNN和LSTM各自的优势, 通过CS算法实现超参数优化, 提出了一种基于CNN-LSTM-CS的工业管道腐蚀速率预测方法. 本文的主要研究工作如下: (1)构建CNN-LSTM预测模型, 有效解决特征提取能力不足和时间序列长期依赖的问题; (2)利用CS算法对整个模型的超参数进行寻优, 有效避免人工设计参数依赖经验和稳定性差等问题, 提高了模型最优学习能力; (3)在采集的工业管道腐蚀数据集上验证了提出方法的有效性.

1 相关原理 1.1 卷积神经网络

CNN的主要结构包括输入层、卷积层、池化层、全连接层和输出层^[18,19]. 第l层的卷积运算可表示为:

$ x_j^l = f\left( {\sum\nolimits_{{x_i} \in {M_{l - 1}}} {x_i^{l - 1} * k_{ij}^l + b_j^l} } \right) $

(1)

其中, $ * $表示卷积运算, $ x_j^l $为l层卷积层的第j个输出特征图, $ {M_{l - 1}} $为l–1层的特征图的集合, $ x_i^{l - 1} $为l–1层卷积层的第i个输出特征图, $ k_{ij}^l $为l层卷积运算所使用的卷积核, $ b_j^l $为第j个特征图的偏置; $ f(\cdot) $为激活函数, 本文采用ReLU激活函数.

1.2 长短时记忆网络

LSTM与RNN相比, 具有不同的传输加权模式, 除了权重矩阵节点输入之外, 还引入了用于状态保存的隐藏层, 有助于模型的长期记忆和梯度消失^[20]. LSTM结构如图1所示.

由图1可知, LSTM包括遗忘门、输入门、输出门3个门控部分组成. 计算流程可表示为:

$ {f_t} = \sigma \left( {{W_f} \cdot \left[ {{h_{t - 1}}, {x_t}} \right] + {b_f}} \right) $

(2)

$ {i_t} = \sigma \left( {{W_i} \cdot \left[ {{h_{t - 1}}, {x_t}} \right] + {b_i}} \right) $

(3)

$ {o_t} = \sigma \left( {{W_o} \cdot \left[ {{h_{t - 1}}, {x_t}} \right] + {b_o}} \right) $

(4)

$ {\hat C_t} = \tanh \left( {{W_C} \cdot \left[ {{h_{t - 1}}, {x_t}} \right] + {b_C}} \right) $

(5)

$ {C_t} = {f_t}{C_{t - 1}} + {i_t} \cdot {\hat C_t} $

(6)

$ {h_t} = {o_t} \cdot \tanh \left( {{C_t}} \right) $

(7)

其中, $ \sigma $表示Sigmoid激活函数, $ {x_t} $为当前时刻的输入特征, $ {W_f} $、$ {W_i} $、$ {W_o} $和$ {W_C} $为待训练参数矩阵, $ {b_f} $、$ {b_i} $、$ {b_o} $和$ {b_C} $为训练偏置项, $ {h_{t - 1}} $为隐藏层前一时刻的输出.

1.3 布谷鸟优化算法

CS是一种元启发式算法, 其灵感来自杜鹃物种向其他鸟巢产卵的自然行为^[21,22]. 全局随机游走表示为:

$ x_i^{t + 1} = x_i^t + \alpha \otimes {\text{Levy(}}s{\text{, }}\lambda {\text{)}} $

(8)

其中,

$ {\text{Levy(}}s{\text{, }}\lambda {\text{)}} \approx \frac{{\lambda \Gamma (\lambda ) \cdot \sin ({\text π} \lambda /2)}}{{\text π}}\frac{1}{{{s^{1 + \lambda }}}}, \;s \gg {s_0} \gt 0$

(9)

$ \alpha = {\alpha _0}(x_i^t - x_{{\mathrm{best}}}^t) $

(10)

其中, $ x_i^t $表示第t代的第i个解, $ x_{{\mathrm{best}}}^t $表示第t代的最优解, $ \otimes $表示点对点乘法. $ {\text{Levy(}}s{\text{, }}\lambda {\text{)}} $表示Levy分布函数, $ \lambda $ ($ 1 \lt \lambda \lt 3 $)表示功率系数, $ \Gamma $是伽马函数, $ {\alpha _0} $表示比例因子. 式(1)中的s是Levy分布的步长, 可表示为:

$ s = \frac{\mu }{{|v{|^{1/\lambda }}}} $

(11)

其中, $ \mu $和$ v $是从正态分布中得到的随机数, 可表示为:

$ \left\{\begin{split} & \mu \sim N(0, \sigma _\mu ^2){\text{ }}, {\text{ }}v \sim N(0, \sigma _v^2), \\ & {\sigma _\mu } = \left\{ {\frac{{\Gamma (1 + \lambda ) \cdot \sin ({\text π} \lambda /2)}}{{\Gamma \left[ {(1 + \lambda )/2} \right] \cdot \lambda \cdot {2^{(\lambda - 1)/2}}}}} \right\}{\text{ }}, {\text{ }}{\sigma _v} = 1 \end{split}\right. $

(12)

式(9)中的s₀表示Levy分布的初始步长, 局部随机游走可表示为:

$ {x}_{i}^{t+1}=\left\{\begin{array}{l}{x}_{i}^{t}+r\cdot ({x}_{{r}_{1}}^{t}-{x}_{{r}_{2}}^{t}),\; rand \gt {P}_{a}\\ {x}_{i}^{t}, \qquad\qquad\qquad 其他\end{array} \right.$

(13)

其中, $ x_{{r_1}}^t $和$ x_{{r_2}}^t $是随机选择的两个不同的解, $ r $和$ rand\; (r, rand \in (0, 1)) $是服从均匀分布的两个随机数.

2 基于CNN-LSTM-CS工业管道腐蚀率预测模型 2.1 CNN-LSTM网络结构

针对传统管道腐蚀率预测模型特征提取能力不足的问题, 本文提出一种基于CNN和LSTM结合的管道腐蚀率预测模型. 该模型网络结构如图2所示, 主要包括3个一维卷积层、1个全连接层和2个LSTM层. 卷积层之后通过添加BN层和激活函数ReLU实现数据的归一化和非线性操作, 从而加快模型收敛速度和解决梯度消失的问题, 提取出影响管道腐蚀率因素的深层次特征; 将提取的深层特征输入到LSTM更好地预测出特征信息.

2.2 CNN-LSTM-CS模型构建

在使用CNN-LSTM进行腐蚀率预测时, 其精度与卷积核数量、全连接层神经元个数、LSTM隐藏神经元个数具有很强的关联. 因此, 本文采用CS算法对这些参数进行优化, 提高模型的泛化能力, 最终建立用于工业管道腐蚀率预测的组合模型(CNN-LSTM-CS). 该模型的流程如图3所示, 包括CNN-LSTM预测主流程和CS优化两个部分. CNN-LSTM预测主流程用于对影响管道腐蚀因素数据进行预测, CS优化部分用于对CNN-LSTM网络模型进行优化.

提出方法的具体步骤如下.

(1) 采集并整理影响管道腐蚀因素数据集, 然后利用最大-最小化方法对数据进行归一化处理, 计算方法可表示为:

$ x' = \frac{{x - {x_{\min }}}}{{{x_{\max }} - {x_{\min }}}} $

(14)

其中, $ x' $为归一化后的影响管道腐蚀因素数据, $ x $为单个原始影响管道腐蚀因素数据, $ {x_{\min }} $和$ {x_{\max }} $分别表示影响管道腐蚀因素的最小值和最大值.

(2) 构建CNN-LSTM网络模型结构, 将整个数据集按条件随机划分训练集和测试集两部分. 其中训练集用于训练CNN-LSTM模型, 测试集用来对CNN-LSTM模型进行评价.

(3) 设定CS参数, 以及CNN-LSTM模型中所优化参数的取值范围.

(4) 利用CS算法对CNN-LSTM模型进行优化, 设置CS算法的适应度函数作为网络的损失函数.

(5) 设置CS算法的搜索参数、迭代次数等进行布谷鸟的位置更新、选择和剔除等寻优操作.

(6) CS算法寻优结束得到最优参数组合输入到CNN-LSTM模型中, 将测试样本输入训练好的模型, 输出预测结果进行分析.

3 实验结果与分析 3.1 实验数据

本文数据来源于浙江省湖州市新凤鸣集团湖州中石科技有限公司, 该厂内主要使用的工业管道主要包括动力管道和工艺管道, 按照输送介质不同可分为蒸汽管道、导热油管道、工艺介质管道. 以输送高温热媒的导热油管道为例, 材质为ASTM A53, 绝热层材料为石棉, 绝热层厚度为100–150 mm, 管道尺寸为DN60–DN812, 壁厚2.9–9.53 mm. 采集了温度、系统压力、CO₂分压、pH值、介质流速、Cl^–浓度、CO₂浓度和H₂S浓度8种管道腐蚀速率主要影响参数. 实验共采集854个样本, 部分数据见表1.

3.2 实验设置

所有实验均在处理器为Intel Core i9、64 GB内存和Nvidia RTX3060 (24 GB)显卡下完成. 采用Python语言, 深度学习模型基于Keras框架. 选取754个样本作为训练样本集, 剩余100个样本作为测试样本集. 本文通过CS算法对网络模型中的参数进行优化, 设置CS算法的搜索空间维度为4, 种群规模为50, 迭代次数为30, $ {P_a} $=0.5, $ {\alpha _0} $=0.6, s=0.1, $ \lambda $=1.5. CS算法寻优最终结果为[16, 18, 12, 5], 即卷积核数量为16, 全连接层神经元个数为18, 第1个LSTM隐藏神经元个数为8, 第2个LSTM隐藏神经元个数为12.

3.3 评价指标

为全面分析预测模型的有效性以及准确性, 选取以下4个指标来评估模型的性能.

平均绝对误差(mean absolute error, MAE), 适用于预测值与实际实测值之间存在显著差异的情况. 由于MAE可以避免误差抵消问题, 因此可以准确地反映实际预测误差的大小, 表示为:

$ {{MAE = }}\frac{1}{n}\sum\limits_{i = 1}^n {|{y_i} - {{\hat y}_i}|} $

(15)

均方误差(mean square error, MSE)反应的是预测值和真实值偏差程度的一种度量. MSE误差越小表明预测值与真实值重合度越高, 可以表示为:

$ {{{\textit{MSE}} = }}\frac{1}{n}\sum\limits_{i = 1}^n {{{({y_i} - {{\hat y}_i})}^2}} $

(16)

均方根误差(root mean square error, RMSE)是均方误差的算术平方根, 是预测值与真实值偏差的平方和与观测次数$ n $比值的平方根, 表示为:

$ {{{\textit{RMSE}} = }}\sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{({y_i} - {{\hat y}_i})}^2}} } $

(17)

平均绝对百分比误差(mean absolute percentage error, MAPE)表示将每个点的误差进行了归一化处理, 在一定程度上降低了个别点对平均绝对误差的影响. MAPE越小代表模型的预测精度越高, 计算公式为:

$ {{{\textit{MAPE}} = }}100{\text{%}} \times \frac{1}{n}\sum\limits_{i = 1}^n {\left| {\frac{{y_i - {{\hat y}_i}}}{{yi}}} \right|} $

(18)

其中, $ y_i $为实际值, $ {\hat y_i} $为预测值, $ n $为样本数.

3.4 特征参数相关性分析

为了验证不同特征参数对管道腐蚀率的影响, 本文利用Pearson相关系数法计算不同特征参数与管道腐蚀率的相关系数, 结果见表2. 由表2可知, 几种特征参数与管道腐蚀率的相关系数由大到小分别是H₂S浓度、CO₂浓度、温度、pH值、Cl^–浓度、介质流速、系统压力. 每种特征参数与管道腐蚀率的相关系数都相对较高, 均超过了0.5. 因此, 本文选取采集的8种特征参数作为模型的输入, 管道的腐蚀率作为模型的输出.

3.5 实验结果与对比分析

为了验证本文方法的有效性, 选择BP神经网络、SVR、CNN、LSTM、CNN-LSTM和CNN-LSTM-CS这6种方法进行实验对比, 图4为6种方法对管道腐蚀率预测结果曲线. 由图4可以看出经CS优化的CNN-LSTM的方法更接近真实情况, 预测性能明显优于其他5种方法.

表3为各项指标的具体误差值. 由表3可知, 本文提出的CNN-LSTM-CS的MAE、MSE、RMSE以及MAPE这4个指标分别为0.19674、0.58529、0.59332以及0.039 55. 对比BP神经网络、SVR、CNN、LSTM、CNN-LSTM的MAE分别降低了0.30753、0.2817、0.20864、0.25298和0.11908; MSE降低了0.11614、0.10217、0.06505、0.04918和0.01908; RMSE降低了0.44248、0.40036、0.34493、0.28125和0.06161; MAPE降低了0.05062、0.04567、0.03476、0.0492和0.00524. CNN、LSTM、CNN-LSTM和CNN-LSTM-CS这4种基于深度学习方法的预测结果优于传统基于机器学习的BP神经网络和SVR方法;与CNN-LSTM和CNN-LSTM-CS方法相比, CNN仅使用单一的卷积神经网络模型对其腐蚀率进行预测, 而LSTM仅利用时间特征对其腐蚀率进行预测, 这两种方法预测的误差较大;与CNN-LSTM方法相比, 本文提出的CNN-LSTM-CS方法利用CS对网络参数进行自主寻优, 在各种误差指标下都呈现最优的预测性能.

图5为6种方法的误差对比直方图. 由图5可以直观地看出6种方法的预测性能, 其中BP神经网络、SVR、CNN和LSTM方法的各项指标都较大, CNN-LSTM和CNN-LSTM-CS方法的误差较小, CNN-LSTM-CS方法的误差均小于其他5种方法.

表4为6种方法的运行时间对比结果. 从几种方法的运行时间比较中可以看出, 本文方法CNN-LSTM-CS的运行时间比BP神经网络、SVR、CNN和LSTM的运行时间长, 但低于CNN-LSTM方法. CNN-LSTM-CS方法虽然在运行时间上没有取得最优的效率, 但是在可控范围之内, 综合预测精度等各项指标, 本文方法具有更好的应用性.

4 结论

(1) 提出一种基于CNN-LSTM-CS工业管道腐蚀率预测模型, 实现了对采集的管道腐蚀数据腐蚀率的智能预测.

(2) 针对高度非线性的管道腐蚀数据, 利用CS算法对构建的CNN-LSTM模型中参数进行优化, 使模型避免陷入局部最优的情况, 提高了模型的泛化能力.

(3) CNN-LSTM-CS方法相对于CNN-LSTM、LSTM和CNN模型, 各项指标均取得了最优的结果, 能够满足工业管道腐蚀率智能预测的需求, 为工业管道检测智能化发展提供了技术支撑.

虽然本文方法具有较高的预测精度和较好的实用性, 但该方法存在训练时间较长的不足. 因此, 下一步研究工作是通过在预测模型中引入可分离卷积, 从而实现在提高管道腐蚀率预测准确度的同时提升模型的性能.