2023, Vol. 32
2. 西安理工大学 自动化与信息工程学院, 西安 710048
2. School of Automation and Information Engineering, Xi’an University of Technology, Xi’an 710048, China
随着碳达峰和碳中和目标的提出, 要构建以新能源为主体的新型电力系统, 意味着光伏、风能、核能等新能源作为未来电力系统的主体地位将进一步凸显[1]. 在此背景下, 太阳能光伏是一种具有巨大潜力的清洁实用技术. 然而光伏发电系统在运行的过程中, 光伏组件效率的下降不仅取决于灰尘沉积的浓度, 还取决于不同地区灰尘的特性, 由于地区环境和地质的差异, 导致灰尘颗粒的形状, 粒径以及成分有所不同, 这会直接影响光伏组件对太阳辐射的吸收, 进而降低组件性能. 此外, 为了对预期的光伏性能进行最佳的管理和分析, 选址也变得越来越重要[2].
由于灰尘是影响光伏组件效率的重要因素之一, 大量研究者对灰尘颗粒的物理性质和化学性质进行了分类和讨论. 2015年, Mishra等人[3]在印度6个采样点的研究中, 将灰尘分为6种形状, 包括矩形颗粒、矩形板颗粒、六边形板颗粒、椭圆形颗粒、球形颗粒以及三角形板颗粒. 2016年, Kazem等人[4]对阿曼北部6个城市的灰尘积聚对光伏电池板的性能影响进行研究, 实验表明, 灰尘物理性质的差异与灰尘的来源有关, 并通过不同城市灰尘特性给出光伏系统选址建议. 2019年, Tanesab等人[5]研究了来自两个不同地理位置的灰尘对各种光伏组件的功率输出退化影响, 发现来自Babuin的角形形状颗粒比来自Perth的椭圆形和球状颗粒具有更好的光学性质. 2021年, Wu等人[6]根据灰尘颗粒的形状预测灰尘积聚对光伏组件相对透射率的影响, 结果表明, 与球形灰尘颗粒相比, 立方灰尘颗粒导致的相对透射率下降更大. 2022年, Lange等人[7]在各种条件下对光伏玻璃上的抗反射涂层进行磨损试验, 发现灰尘颗粒类型对磨损行为有着显著的影响. 由此可知, 灰尘颗粒的类型对于光伏系统选址有着重要意义.
近年来, 卷积神经网络(CNN)在计算机视觉和语音识别方面取得了巨大的进展[8]. 在图像识别领域, 自从AlexNet网络模型[9]赢得ISLVRC2012 (ImageNet large scale visual recognition)竞赛的冠军后, 之后的VGGNet[10]、ResNet[11]等经典网络模型为图像分类任务带来一系列的突破. 卷积神经网络的发展, 使得其在各个领域得到广泛的应用[12-15]. Yin等人[12]利用卷积神经网络和扫描电子显微镜提高了大气颗粒物基于粒子能谱分类时存在的精度低和耗时问题. Maffezzoli等人[13]将显微镜和深度神经网络相结合, 用于冰芯颗粒的自主图像分类, 克服了颗粒检测依赖于密集的台式显微镜问题. Ayyagari等人[14]中提出了一种基于耦合的CNN-LSTM模型, 对大型工业联合发电厂的19类灰尘进行分类, 包括煤尘、细灰尘、红土和沙子等. 总而言之, 深度学习的方法可以用于颗粒形状的分类和分析.
考虑到不同类型的灰尘颗粒对光伏组件效率及光伏系统选址有一定的影响, 针对上述研究, 结合灰尘检测仪器一般都是可移动设备, 计算资源有限, 因此本文选取了模型较小, 计算复杂性低的轻量级网络模型ShuffleNetV2[16], 提出了一种利用改进的ShuffleNetV2模型结合显微镜来识别光伏板上的灰尘. 与原模型相比, 改进的ShuffleNetV2模型在提高模型性能的同时保持了模型的轻量化.
1 ShuffleNetV2模型ShuffleNet是一种专门为计算能力有限, 设备设计的轻量级神经网络结构[17]. 在其基本单元中, 首先通过逐点组卷积降低计算量, 再通过通道重组这一操作解决了通道信息流通不畅问题, 这在保证精度的同时降低了模型的计算量.
在卷积神经网络架构设计中, 除精度外, 模型复杂度是评价模型好坏的另一个重要因素. 在实际应用中, 要在有限的计算预算下获得最佳的性能, 因此, Ma等人[16]提出了ShuffleNetV2模型, 其基本单元如图1所示. 图1(a)为步长为1的基本单元, 首先进行通道分割操作, 其次在右分支首部和尾部使用逐点卷积进行通道信息融合, 在中间使用3×3的深度卷积核对特征进行提取, 最后将左右分支的通道数拼接后进行通道重组操作. 图1(b)为步长为2的降采样基本单元, 首先将特征分别输入左右两个分支, 其次在左分支利用步长为2的3×3的深度卷积核进行下采样特征提取, 并使用逐点卷积进行通道信息融合; 在右分支首部和尾部使用逐点卷积进行通道信息融合, 在中间使用步长为2的3×3的深度卷积核进行下采样特征提取, 最后将左右分支的通道数拼接后进行通道重组操作.
与ShuffleNet模型相比, ShuffleNetV2模型中仍使用了同ShuffleNet模型中一样的深度卷积核, 利用深度卷积核参数量和计算量比普通卷积核小的优势进行特征提取. 在模型设计上, ShuffleNetV2模型根据其提出的4条高效网络设计准则, 保持大量等宽通道、适当使用组卷积、降低网络的碎片化、减少元素操作, 在ShuffleNet模型的基础上提出了ShuffleNetV2模型.
2 改进的ShuffleNetV2模型 2.1 激活函数Mish激活函数在网络的训练中起着关键作用, 通过引入非线性来帮助网络学习数据中的复杂模式. 在ShuffleNetV2模型训练过程中, 为了缓解ReLU函数单侧抑制现象, 即当神经元激活后的值小于零, 则梯度将会被置零, 本文使用Mish函数[18], 定义如下:
| $ f(x) = x \cdot \tanh (\ln (1 + {{\rm{e}}^x})) $ | (1) |
相比ReLU激活函数, Mish作为一个光滑非单调激活函数, 允许将更好的信息深入神经网络, 从而提高模型的表现性能. 图2展示了ReLU函数和Mish函数的对比曲线.
|
图 1 ShuffleNetV2基本单元 |
|
图 2 ReLU和Mish函数的对比曲线 |
2.2 注意力机制CA
目前, 注意力机制在计算机视觉领域已被广泛使用, 并逐渐成为视觉任务性能提升的重要组件. 其中, 注意力机制SE (squeeze-excitation)模块[19]由于其简单有效, 成为卷积神经网络模型架构改进的常用模块, 但注意力机制SE模块并没有考虑空间位置信息, 在图像识别任务中, 空间位置信息的丢失会影响到权重的分配, 进而影响图像识别的精度. 虽然之后的注意力机制CBAM (convolutional block attention module)模块[20]的空间分支中尝试引入卷积核大小为7的卷积来解决空间位置信息的丢失, 但长程依赖问题仍没有解决. 为了不仅考虑到编码通道的信息, 同时考虑到位置信息, Hou等人[21]提出如图3所示的注意力机制CA (coordinate attention)模块. 首先将输入特征图分别基于宽度和高度两个方向进行全局平均池化, 获得两个单独的方向信息特征, 其中, 高度
| $ Z_c^h(w) = \frac{1}{W}\sum\limits_{0 \leqslant i \lt W} {{x_c}} (h, i) $ | (2) |
宽度
| $ Z_c^w(w) = \frac{1}{H}\sum\limits_{0 \leqslant j \lt H} {{x_c}(j, w)} $ | (3) |
然后将这两个包含嵌入方向信息的特征图编码为两个注意力图, 利用两个注意力图分别获取沿输入特征图一个空间方向的长程依赖关系, 从而在最后生成的注意力图中保留了原来的空间位置信息. 根据空间位置信息, 有助于模型更准确地定位和识别感兴趣的区域[21].
由于环境等因素, 本文所采集的数据包含了许多非重要的噪声信息, 而这些噪声会给灰尘的识别带来干扰, 为了有效地抑制噪声并突出重要区域的空间位置信息, 本文引入了注意力机制CA模块, 相比原始网络的计算复杂度, 加入注意力机制CA模块几乎没有额外的计算.
|
图 3 坐标注意力机制CA模块 |
2.3 混合深度可分离卷积
在对灰尘图像的识别中, 由于灰尘颗粒的大小和形状具有差异性, 固定大小的卷积核在识别过程中效果不佳. 而如果直接引入不同尺寸大小的卷积核, 例如InceptionV1[22], 会带来大量计算负担. 针对上述问题, 为了在识别过程中卷积层能够捕获不同尺度特征, 同时不引入较多的计算和存储开销, 本文借鉴了MixNet网络[23]在深度卷积中混合多个内核大小的思想, 对特征图中不同通道的特征进行不同尺度的融合.
如图4所示, 本文采用大小为3×3、5×5、7×7的混合深度卷积核对不同通道进行卷积运算. 与常规卷积不同, 混合深度卷积首先对通道进行分组, 然后在不同的组内使用不同尺寸大小的深度卷积核, 以此来捕获不同尺度的模式信息.
2.4 改进的ShuffleNetV2模型结构本文对ShuffleNetV2模型中步长为1和步长为2的基本单元进行改进. 针对ShuffleNetV2模型中所使用的ReLU函数存在单侧抑制现象, 引入光滑非单调的Mish函数来提高模型的表现性能. 其次, 结合采集灰尘图像特征, 本文利用混合深度卷积核的优势, 在不显著增加计算量和内存开销的同时, 使模型可以融合不同尺寸大小卷积核所提取的特征信息. 将大小为3×3、5×5和7×7的混合深度卷积核嵌入到ShuffleNetV2模型步长为1和步长为2的基本单元中. 最后, 考虑到ShuffleNetV2模型基本单元首部和尾部的逐点卷积都起着通道信息融合的作用, 而逐点卷积占据了模型大部分的计算量, 为了在提高模型性能的同时保持模型的轻量化, 因此将基本单元尾部的逐点卷积替换成参数量小的注意力机制CA模块, 在过滤不重要特征的同时, 可以捕获到感兴趣区域的空间位置信息. 改进的ShuffleNetV2模型整体结构如图5所示, 图5(a)为改进步长为1的基本单元, 图5(b)为改进步长为2的降采样基本单元.
|
图 4 混合深度可分离卷积 |
3 实验参数与数据集 3.1 实验参数设置
本文是在深度学习PyTorch 1.71框架下完成实验仿真. 实验中初始学习率设置为0.001; 迭代周期设置为100, 批次batchsize大小为24; 所有权重参数初始化为均值为0、标准差为0.01的高斯分布; 使用Adam优化器进行参数更新, 损失函数为交叉熵函数; 数据集划分为80%的训练集和20%的测试集; 采用迁移学习策略, 在模型训练前导入ShuffleNetV2预训练模型.
3.2 数据采集与扩充本文实验样本来自4个不同地区光伏板上的灰尘颗粒积聚图像. 通过数据采集共得到239张灰尘颗粒积聚图像, 其中伊金霍洛旗地区61张、榆林地区65张、西安地区44张、渭南地区69张. 所采集的灰尘图像中颗粒是随机分布的, 且大多为不规则颗粒. 但经过对比发现不同地区光伏板表面灰尘颗粒有一定的区别, 例如, 伊金霍洛旗地区的灰尘颗粒中一些是偏絮状颗粒, 榆林地区的灰尘颗粒中一些是偏球体形状颗粒.
|
图 5 改进的ShuffleNetV2模型结构 |
由于原始数据集过小, 同时为了防止在训练过程中模型出现过拟合, 提升模型的泛化能力, 对获取的不同地区灰尘颗粒积聚图像进行离线和在线数据增强. 首先将收集的灰尘颗粒积聚图像通过亮度增强、水平翻转、围绕中心旋转和图像平移4种离线增强技术进行数据扩充, 得到718张样本图像, 其中伊金霍洛旗地区170张、榆林地区192张、西安地区152张、渭南地区204张; 然后将图片随机裁剪成224×224大小, 进行归一化处理后传入网络. 4个地区收集的灰尘样品如图6所示.
4 实验结果与分析 4.1 评价指标本文以准确率
| $ Acc = \frac{{{n_{{\rm{correct}}}}}}{n} $ | (4) |
其中,
|
图 6 不同地区的灰尘样品 |
除网络的性能指标外, 网络模型复杂度对于模型实际的部署也很重要, 常用的评估指标为参数量和浮点运算量. 利用网络的参数量来衡量模型的大小, 由于参数量比较大, 一般以
| $ Param{s_{{\rm{conv}}}} = ({K_h} \times {K_w} \times {C_{{{\rm{int}}} }} + 1) \times {C_{{\rm{out}}}} $ | (5) |
其中,
浮点运算量可理解为计算量, 在深度学习中常使用的单位为
| $ FLOP{s_{{\rm{conv}}}} = [({K_h} \times {K_w} \times {C_{{{\rm{int}}} }} + 1) \times {C_{{\rm{out}}}}] \times {H_{{\rm{out}}}} \times {W_{{\rm{out}}}} $ | (6) |
其中,
本文使用改进的ShuffleNetV2模型与ShuffleNetV2模型分别对数据集进行训练.
为验证数据增强对模型性能的影响, 设置对照实验, 结果如图7所示. 图7中, 在ShuffleNetV2中使用原始样本数据集和扩充后的样本数据集进行对比, 模型识别准确率提高0.51个百分点.
|
图 7 数据增强对模型的影响 |
图8是在ShuffleNetV2中使用ReLU激活函数和Mish激活函数的模型准确率对比曲线. 通过不同激活函数的对比发现, 使用Mish激活函数后, ShuffleNetV2模型在保持参数量不变的情况下, 准确率提升0.65个百分点, 模型的浮点运算量减少到1.49×108.
图9展示了融合注意力机制CA模块前后模型准确率变化曲线, 结果表明, 将注意力机制CA模块融合到ShuffleNetV2模型的基本单元中, 模型的性能指标有显著的提升, 准确率提高了1.54个百分点; 此外, 在模型的复杂度上, 模型的浮点运算量减少到
|
图 8 不同激活函数对模型的影响 |
|
图 9 坐标注意力机制对模型的影响 |
表1为引入不同混合深度卷积核对模型的影响, 分别将3组尺寸大小不同的混合深度卷积核嵌入到ShuffleNetV2步长为1和步长为2的基本单元中. 由表1可见, 在原始模型基础上, 引入3种不同混合深度卷积核对模型识别准确率分别提高1.61个百分点、1.46个百分点、0.91个百分点. 这说明不同尺度信息的融合是有助于灰尘图像的识别, 但随着混合深度卷积中卷积核尺寸的不断增大, 模型的参数量和计算量也在不断增大. 本文结合其他改进点, 最后选择采用3×3、5×5和7×7的混合深度卷积核.
|
表 1 不同混合深度卷积核对模型的影响 |
为了进一步说明本文所改进方法的有效性, 本文以ShuffleNetV2模型为基础与上文提出的各改进模型进行对比. 由表2可见, 融入注意力机制CA模块和Mish激活函数后, 模型准确率提升了2.68个百分点, 同时模型的浮点运算量减少到1.07×108, 参数量减少到1992700个. 进一步说明了加入激活函数和坐标注意力机制融合对ShuffleNetV2模型是有积极影响的.
|
|
表 2 改进ShuffleNetV2模型的对比实验 |
在上述改进的基础上, 为了综合考虑不同混合深度卷积核的嵌入对模型的影响, 分别对不同混合深度卷积核的加入进行实验, 结果表明, 采用3×3、5×5和7×7的混合深度卷积核与Mish激活函数以及注意力机制CA模块的融合有助于模型准确率的提升, 同时改进的ShuffleNetV2模型与原模型相比, 准确率提高了4.81个百分点, 并且在模型复杂度上, 模型浮点运算量减少到1.14×108, 参数量减少到2031288个.
在相同实验条件下, 本文将改进的ShuffleNetV2模型与其他经典网络模型进行对比. MobileNetV2[25]是一个经典的轻量级网络模型, 专门为计算资源有限的移动设备所设计. ResNet34是一种经典的残差网络, 利用残差结构解决了网络退化问题, 使网络的学习能力增强. GhostNet[26]是一个对卷积进行重新设计从而解决生成特征图冗余的轻量级网络模型. 因此本文选取MobileNetV2模型、ResNet34模型、GhostNet模型与我们所改进的网络模型进行了实验比较, 结果如下.
由表3可见, 在准确率方面, 与ResNet34模型相比, 精度提升了0.65个百分点; 与轻量级模型MobileNetV2相比精度提升了1.11个百分点; 与轻量级模型GhostNet相比, 精度提升了4.51个百分点; 与轻量级模型ShuffleNetV2相比, 精度提升了4.81个百分点. 虽然与MobileNetV2模型、ResNet34模型相比精度并无大幅提高, 但在模型复杂度上, 改进后的ShuffleNetV2模型浮点运算量仅为1.14×108, 远低于其他模型. 通过将改进模型与不同网络模型的对比, 有效验证了本文所提改进模型的可行性和有效性.
5 结语本文提出了一种利用改进的ShuffleNetV2模型来识别光伏板上的灰尘方案. 通过引入光滑非单调的Mish激活函数和注意力机制CA模块在提高模型表现性能的同时极大地降低了模型的复杂度; 然后运用混合深度卷积核的优势, 在不显著增加计算量和内存开销的同时, 融合特征图中不同卷积核提取的特征信息来进一步提高模型的表现性能. 实验结果表明改进后的ShuffleNetV2模型性能指标有显著的提高, 并且模型复杂度上与其他经典模型相比也有很大的优势. 但本文还未与光伏板发电效率建立直接关系, 这也是我们下一步要进行的工作.
|
|
表 3 不同模型的对比实验 |
| [1] |
张敏, 刘进, 林江刚, 等. “双碳”背景下屋顶分布式光伏开发环境效益分析. 能源研究与利用, 2021(6): 37-41. DOI:10.16404/j.cnki.issn1001-5523.2021.06.008 |
| [2] |
Aïssa B, Isaifan RJ, Madhavan VE, et al. Structural and physical properties of the dust particles in Qatar and their influence on the PV panel performance. Scientific Reports, 2016, 6: 31467. DOI:10.1038/srep31467 |
| [3] |
Mishra SK, Agnihotri R, Yadav PK, et al. Morphology of atmospheric particles over semi-arid region (Jaipur, Rajasthan) of India: Implications for optical properties. Aerosol and Air Quality Research, 2015, 15(3): 974-984. DOI:10.4209/aaqr.2014.10.0244 |
| [4] |
Kazem HA, Chaichan MT. Experimental analysis of the effect of dust’s physical properties on photovoltaic modules in Northern Oman. Solar Energy, 2016, 139: 68-80. DOI:10.1016/j.solener.2016.09.019 |
| [5] |
Tanesab J, Parlevliet D, Whale J, et al. The effect of dust with different morphologies on the performance degradation of photovoltaic modules. Sustainable Energy Technologies and Assessments, 2019, 31: 347-354. DOI:10.1016/j.seta.2018.12.024 |
| [6] |
Wu Z, Yan SY, Ming TZ, et al. Analysis and modeling of dust accumulation-composed spherical and cubic particles on PV module relative transmittance. Sustainable Energy Technologies and Assessments, 2021, 44: 101015. DOI:10.1016/j.seta.2021.101015 |
| [7] |
Lange K, Pfau C, Grunwald E, et al. Abrasion testing of anti-reflective coatings under various conditions. Solar Energy Materials and Solar Cells, 2022, 240: 111732. DOI:10.1016/j.solmat.2022.111732 |
| [8] |
Fan SY, Wang Y, Na ZX, et al. A master-slave residual network-based classification method for PV panels dust accumulation. Proceedings of the 2020 Chinese Automation Congress (CAC). Shanghai: IEEE, 2020. 2351–2355.
|
| [9] |
Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc., 2012. 1097–1105.
|
| [10] |
Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. Proceedings of the 3rd International Conference on Learning Representations. San Diego: ICLR, 2015. 1–14.
|
| [11] |
He KM, Zhang XY, Ren SQ, et al. Deep residual learning for image recognition. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016. 770–778.
|
| [12] |
Yin CC, Cheng XZ, Liu XL, et al. Identification and classification of atmospheric particles based on SEM images using convolutional neural network with attention mechanism. Complexity, 2020, 2020: 9673724. |
| [13] |
Maffezzoli N, Cook E, Bilt W, et al. Detection of ice core particles via deep neural networks. The Cryosphere Discussions, 2022: 1–37.
|
| [14] |
Ayyagari KS, Munian Y, Inupakutika D, et al. Simultaneous detection and classification of dust and soil on solar PhotoVoltaic arrays connected to a large-scale industry: A case study. Proceedings of the 18th International Conference on the European Energy Market (EEM). Ljubljana: IEEE, 2022. 1–6.
|
| [15] |
Piedra P, Kalume A, Zubko E, et al. Particle-shape classification using light scattering: An exercise in deep learning. Journal of Quantitative Spectroscopy and Radiative Transfer, 2019, 231: 140-156. DOI:10.1016/j.jqsrt.2019.04.013 |
| [16] |
Ma NN, Zhang XY, Zheng HT, et al. ShuffleNetV2: Practical guidelines for efficient CNN architecture design. Proceedings of the 15th European Conference on Computer Vision. Munich: IEEE, 2018. 122–138.
|
| [17] |
Zhang XY, Zhou XY, Lin MX, et al. ShuffleNet: An extremely efficient convolutional neural network for mobile devices. Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018. 6848–6856.
|
| [18] |
Misra D. Mish: A self regularized non-monotonic neural activation function. arXiv:1908.08681v3, 2019.
|
| [19] |
Hu J, Shen L, Sun G. Squeeze-and-excitation networks. Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018. 7132–7141.
|
| [20] |
Woo S, Park J, Lee JY, et al. CBAM: Convolutional block attention module. Proceedings of the 15th European Conference on Computer Vision. Munich: Springer, 2018. 3–19.
|
| [21] |
Hou QB, Zhou DQ, Feng JS. Coordinate attention for efficient mobile network design. Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021. 13708–13717.
|
| [22] |
Szegedy C, Liu W, Jia YQ, et al. Going deeper with convolutions. Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE, 2015. 1–9.
|
| [23] |
Tan MX, Le QV. MixConv: Mixed depthwise convolutional kernels. arXiv:1907.09595v3, 2019.
|
| [24] |
Chen C, Zhu T, Li SQ, et al. Apple leaf disease regcognition method base on improved ShuffleNetV2. Proceedings of the 3rd International Conference on Advances in Computer Technology, Information Science and Communication (CTISC). Shanghai: IEEE, 2021. 276–282.
|
| [25] |
Sandler M, Howard A, Zhu ML, et al. MobileNetV2: Inverted residuals and linear bottlenecks. Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018. 4510–4520.
|
| [26] |
Han K, Wang YH, Tian Q, et al. GhostNet: More features from cheap operations. Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020. 1577–1586.
|