2024, Vol. 33
随着计算机视觉和深度学习技术的飞速发展, 目标检测方法[1,2]已广泛应用于众多实际场景, 其中包括对输电线路上频繁出现的鸟巢、破损绝缘子等异物等进行智能巡检, 这一技术的应用显著降低了人工巡检的成本和资源消耗. 然而, 尽管技术[3]取得了显著进展, 但在实际部署时面临数据碎片化、隐私安全等诸多挑战, 这些因素限制了大规模数据集的构建和模型的泛化能力, 特别是在电力系统领域中, 由于每家电力公司只能处理局部区域的线路检测, 使得电力系统检测图像样本数据不足, 进一步加剧了这些挑战.
针对电力系统检测图像样本数据不足的问题, Zu等人[4]提出可以通过数据增强来扩展数据集, 如对图像进行剪切和旋转, 改变图像的亮度和色彩饱满度等. 然而, 这种方法在提高目标检测模型性能方面的能力有限. Zhou等人[5]提出了一种基于生成式对抗网络的数据扩展方法. 但是这种方法生成的电力检测图像与特定场景的训练集具有相似的特征, 限制了模型的泛化能力. Liu等人[6]将迁移学习的方法引入到电路巡检中并取得了一定的效果, 但提出的方法高度依赖于参数的选择和调整, 可解释性较差. 此外, 由于跨领域迁移学习高度依赖于源领域数据集的数量以及源和目标领域数据集的相似度, 而电力检测图像数据集对隐私性要求较高, 因此难以获得作为源域的图像数据. 可以看出, 受限于数据安全与数据孤岛等问题, 现有方法在实际应用中的性能受到了极大限制.
联邦学习是谷歌在2016年提出的一种新的机器学习/深度学习的协作训练范式[7], 通过利用分散的客户端数据的模型更新来建立一个聚合模型, 避免了原始数据的泄漏问题. 通过将联邦学习技术与迁移学习技术相结合应用到多节点系统中, 可以有效解决不同节点之间的数据孤岛问题, 同时由于数据孤岛而导致的模型泛化差的问题也得到了很大的改善, 这一做法已在大量的研究中得到验证[8,9]. 因此, 本文提出了一种结合联邦学习和迁移学习的电路缺陷检测方法, 通过构建一个统一的联合检测模型, 并采用权重矩阵分解和插入适配器层的方式, 实现了对多个不同电力公司数据分布的有效适应. 本文贡献可以总结如下.
(1) 提出了一种结合迁移学习与联邦学习的策略以解决电力巡检的数据隐私与分散问题, 通过跨公司共享模型更新提升泛化能力, 避免原始数据共享.
(2) 采用权重矩阵低秩分解与适配器层技术, 有效适配不同电力场景数据, 显著降低了模型参数量, 增强了模型对多样化场景的自适应能力.
(3) 在真实电力场景数据集及Insulator数据集上进行了广泛实验, 各客户端平均AP超过86%, FPS (frames per second)达到35以上, 证明了本文方法在不同场景电力巡检中的有效性.
1 相关研究 1.1 输电线路的目标检测为了解决传输线外部目标检测中复杂度高、特征表达能力弱、人工标注费力等问题, 沈茂东等人[10]提出了一种新的高压线路目标检测网络TLFOD网, 用于高压传输线路上的不规则异物. 该网络优化了候选箱的大小, 并根据异物的特点提出了一种端到端的联合训练方法. Guo等人[11]利用Faster R-CNN来检测传输线上的风筝和气球等异物, Faster R-CNN在检测精度和速度方面表现出色, 但其缺点在于需要大量的训练数据和计算资源, 并在密集场景中受到较大限制. 目前, 输电线路的模型检测性能主要受限于数据孤岛以及复杂场景导致的模型泛化性差.
1.2 联邦学习联邦学习是一个具有多个客户端的协作学习框架, 同时保持每个客户端数据集的隐私. 在这个分散的框架中, FedAvg[12]被认为是一种事实上的算法, 其中服务器和客户端只通信有效地模型参数. Yang等人[13]第一次将联邦学习分为3种类型: 1)水平联邦学习, 其中组织共享部分特征; 2)垂直联邦学习, 其中组织共享部分样本; 3)联合迁移学习, 其中两个样本和特征都没有太多共同之处. 联邦学习的主要瓶颈之一是跨客户端数据集的统计异质性问题, 因为来自异质性分布的权重差异阻碍了聚合方案的收敛. Liu等人[14]联邦迁移学习用于跨域学习模型中, 通过共享知识而不损害用户隐私. 它允许在数据联盟中进行补充知识的跨域传输. 使目标域能够利用源域的标签构建灵活有效的模型, 可以有效地适应各种安全的多方机器学习任务. 此外, 一些算法通过局部更新梯度和聚合梯度之间的对齐来解决局部异质性, 作为校正项[15]或基于蒸馏的损失[16]来实现全局平衡.
1.3 迁移学习迁移学习的目的是将知识从现有的领域转移到一个新的领域. 在迁移学习的设置中, 这些领域往往是不同的, 但又是相关的, 这使得知识迁移成为可能. 其关键思想是减少不同域之间的分布差异. Huang等人[17]通过提出一种实例重加权的方法, 根据某种加权技术重用源域样本进行知识迁移; Wang等人[18]基于特征匹配的思想, 利用子空间几何结构进行子空间学习减少不同域数据质检的差异; 但这些方法在使得模型结构更加复杂的同时实际性能却提升有限. Chen等人[19]将联邦学习与迁移学习方法结合起来进行数据聚合, 通过迁移学习构建个性化模型. 它能够实现准确和个性化的医疗保健, 而不损害隐私和安全, 这与本文的研究目标一致.
2 基于迁移联邦学习的输电线路缺陷检测算法本节将详细介绍本文提出的面向电路巡检任务的迁移联邦学习方法.
2.1 模型整体框架模型整体架构如图1所示, 主要包括以下几个部分: (1)电力公司: 提供不同分布的电力场景数据; (2)统一检测模型: 一个基于Transformer架构的检测网络[20]; (3)模型自适应学习模块: 根据不同的场景数据自适应调整模型权重.
服务器首先初始化一个统一的检测模型并将其参数分发给参与该轮联邦学习的电力公司, 作为本地训练的起始模型. 各公司利用自己的电力巡检图像数据集进行模型的适应学习, 包括采用参数分解降低模型的参数量, 通过插入适应层的方式适应不同分布的电力数据. 之后将更新的模型参数回传给服务器. 服务器收集并聚合这些参数, 形成更新后的模型, 再次分发给各电力公司以供实际应用. 整个过程中, 各公司的原始图像数据本地存储, 不进行外部共享, 确保了数据的隐私性.
2.2 参数分解与自适应在实际的电力巡检场景中, 由于不同电力公司负责的输电线路及其检测目标存在显著差异, 联合检测模型面临着一个核心挑战: 如何在确保模型体积合理的同时, 保持快速推理的能力以适应无人机等移动平台的实时目标检测需求. 尤其是采用基于Transformer架构的检测模型时, 其较大的模型体积与硬件条件的限制之间的矛盾尤为突出.
Transformer模型的核心—自注意力机制, 依赖于输入序列与权重矩阵(Wq, Wk, Wv)的乘积计算, 构成了模型推理过程中的关键计算步骤. 因此, 本节提出一种参数分解与适应策略, 具体结构如图2所示.
|
图 1 模型结构 |
|
图 2 参数分解与适应策略 |
具体来说, 首先将权重矩阵Wq和Wv分解为两个低秩矩阵和一个对角线矩阵的乘积, 具体过程可以表达为:
| $ {{W = UD}}{{{V}}^{\rm{T}}} $ | (1) |
其中, U和V分别代表左右奇异矩阵, D为对角矩阵, 包含了原矩阵的奇异值. 此分解过程不仅降低了参数量, 而且通过保留最重要的奇异值, 确保了模型的性能不受影响. 为了进一步提升模型对分散电力数据场景的适应性, 引入了一个动态参数自适应学习机制, 通过动态调整低秩矩阵U、V及对角矩阵D的更新速度, 可以实现更加精细化的权重调整. 具体地, 引入了学习率调整因子λ, 用于控制不同部分参数更新的速率, 具体过程如下:
| $ W'=W+\lambda_u \Delta U D V^{\mathrm{T}}+U \lambda_d \Delta D V^{\mathrm{T}}+U D \lambda_v \Delta V^{\mathrm{T}} $ | (2) |
其中, ΔU、ΔD、ΔVT分别代表对应矩阵的更新量, 而λu、λd、λv则是针对不同矩阵设计的学习率调整因子. 这种设计使得模型能够根据不同电力场景的具体需求, 灵活调整权重更新策略.
2.3 任务引导的适配器目前主流的模型适应学习方法分别为参数矩阵分解与添加适配器学习. 这两个方法在模型作用空间位置与机制上并不冲突, 本文方法将这两种方法进行有机结合, 并通过适当的门控机制让其发挥更好地适应学习效果, 而计算效率方面的下降可以忽略不计. 所提出的适配结构被添加在联合检测模型Transformer层的MHA (multi-head attention)之前与FFN (feed forward network)之后, 通过插入少量的适配器, 然后冻结原模型权重来达到高效微调的效果, 其具体结构如图3所示.
|
图 3 适配结构 |
具体地, 适配器采用一种增强的特征转换过程, 该过程通过融合多个转换层和动态调整层来实现对特征的深度处理, 具体过程如式(3):
| $ {X_{\rm enhanced}}{ = }\beta {(}{W_{e}}\sigma {(}{W_{\rm down}}X{)) + }\gamma {(}{W_{\rm context}}{X_{\rm global}}{)} $ | (3) |
其中, Xenhanced代表增强转换层的权重矩阵, β和γ是动态调整系数, 用于平衡增强特征和全局上下文特征Xglobal的影响. Wenhanced是一个专门设计用于提取全局上下文信息的权重矩阵, 通过与Xglobal的乘积来捕捉跨电力公司数据的共性特征. 为了实现更精细的模型适应调整, 我们引入了一个多级门控机制, 该机制通过多个门控单元的组合使用来动态调整适配器模块的行为, 具体过程如下:
| $\left\{ \begin{split} & G=\operatorname{Sigmoid}\left(W_g X_{\text {global }}+b_g\right) \\ & \alpha=G \odot \tanh \left(W_\alpha X_{\text {down }}+b_\alpha\right) \\ & \beta=G \odot \tanh \left(W_\beta X_{\text {enhanced }}+b_\beta\right) \\ & \gamma=(1-G) \odot \tanh \left(W_\gamma X_{\text {context }}+b_\gamma\right) \end{split} \right.$ | (4) |
其中,
| $ X^{\prime}=X+\alpha X_{\text {down }}+\beta X_{\text {enhanced }}+\gamma X_{\text {context }}$ | (5) |
针对各节点数据总量、训练速度和精度的不一致性, 提出了一种异步模型聚合策略. 由于不同节点模型的上传速度和频率不同, 中央服务器在接收到边缘节点后会临时存储边缘模型. 当收集到的边缘模型超过一半时, 该模型将被聚合. 根据节点数据和边缘模型的精度, 对收集到的边缘模型进行动态加权聚合. 客户端的聚合权重显示在式(6)中:
| $ {W_{{i}}} = \frac{{\left( {\dfrac{{{D_i}}}{{\displaystyle\sum {_{j = 1}^n{D_j}} }} + \dfrac{{{P_i}}}{{ \displaystyle\sum {_{j = 1}^n{P_j}} }}} \right)}}{2} $ | (6) |
其中, n表示参与聚合的客户端数量. Dj和Pj分别是客户端j的数据量和准确性. 中央服务器计算每个客户端的权重, 并动态平均边缘模型以获得聚合模型.
3 实验结果及分析 3.1 实验设置在服务器端和客户端, 本文模型的训练和测试过程都在一块RTX3090Ti的GPU服务器上完成, 使用PyTorch深度学习框架构建基于DETR (detection Transformer)的联合检测模型, 在模型训练过程中, 采用随机梯度下降优化器(SGD)进行优化, 训练轮次固定为80 epochs, 学习率设置为0.01, 在第40 epochs降低0.01, batch size大小为64.
3.2 实验数据集电力数据集: 该数据集为使用无人机在真实输电线路场景中采集的电力巡检图像, 共包含
|
表 1 不同客户端的电力数据分布 |
Insulator数据集: 为了进行公平的比较, 使用了开源的Insulator数据集对本文方法进行了广泛验证, 该数据集共包含600张图像, 实验中将整个数据集80% (500张图像)被用于训练, 其余的20% (100张图像)被用于测试. 训练集被随机分为5个客户端, 分别拥有40张、80张、100张、120张图像和160图像, 分别模拟真实情况下不同的电力公司不平衡的局部数据分布.
3.3 评估指标在电路目标检测中, 平均精度AP和FPS被普遍使用于目标检测模型的精度和效率, 本文同样选择AP和FPS作为评价性能的指标.
AP (average precision)可以解释为Precision×Recall (PR)曲线的近似AUC, 这是目标检测使用最广泛的评价指标, 同时反映了检测结果的精度和召回率. AP的值等于PR曲线下的面积. P代表精度, R代表召回率. 在实验中计算AP时, 选择IoU的阈值为0.5. AP越大, 表示性能越好.
FPS是衡量目标检测模型检测速度的指标, 它表示模型每秒能够处理的图像帧数. FPS的衡量标准是越大越好. 较高的FPS值表示模型能够在更短的时间内处理更多的图像帧, 具有更快的检测速度和更高的实时性能.
3.4 实验结果与分析为了确保模型在各种场景下具备良好的检测性能, 本文选择了DETR作为基础检测模型, 并让下游的电力公司在该模型的权重基础上进行适应性学习. 为了提高基础模型的综合性能, 本文采用了数据增强、TTA (test time augmentation)等策略对DETR算法进行了改进, 并应用到Insulator数据集上进行训练和测试, 结果显示AP性能达到了89.7%, FPS指标达到35, 这表明我们的模型在检测精度和效率方面已经能够很好地适应各种电路巡检场景的需求.
接下来, 为了公正地评估本文方法的有效性, 我们在公开数据集上将本文方法与多个联邦学习方法进行了对比, 基础检测模型采用上述改进后的DETR模型, 每个客户端采用的单独训练模型与统一检测模型相同, 但不同之处在于它们不采用联邦学习架构和适应学习模块. 我们提出的迁移联邦学习方法支持具有相似结构的不同客户端模型. 虽然各客户端的单独训练模型与统一检测模型相似, 但我们的方法通过模型自适应学习模块, 在不同的电力场景数据上自适应调整模型权重, 以适应各个客户端的特定需求. 具体来说, 适配器层可以根据各客户端的数据特点进行调整, 从而支持具有相似结构的不同客户端模型. 最终, 在划分的不同客户端数据上的AP精度结果如表2所示, 对比方法主要包括主流的联邦学习框架FedAvg和DFL方法, 对于每个模型框架, 各个客户端仅基于本地数据进行训练和测试. 而CT表示将数据集中到一起的集中式模型训练, 所有方法采用相同的基础检测模型.
|
|
表 2 与先进方法的对比实验结果 (%) |
从表2中可以看出, 在不同客户端的AP精度存在显著差异, 与每个单个客户端相比, 联合学习可以显著提高性能. 本文提出的方法在大多数客户端上的性能超过了主流的联邦学习框架, 甚至优于联合学习的方法, 只在极个别的客户端由于数据分布差异过大而略低于联合学习方法, 但这也很好地展示了本文方法在实际场景中的优越性能.
最后, 为了验证提出的联邦迁移学习方法在实际应用场景中的有效性, 在电力公司采集的电力数据集上进行了进一步实验验证, 图4展示了本文方法在不同客户数据集上的测试性能, 其中客户端(供电公司)的数量为5个. 可以看到, 使用本文方法迁移后的检测模型可以有效适应多种不同场景下的电力巡检任务. 在前几轮中, 拥有大量数据的客户端占主导地位, AP值快速增长, 然而, 随着轮数的增加, 改进速度变得缓慢, 各客户端适应学习后的检测模型AP值接近基础模型的性能. 此外, 实验中还比较了训练损失, 如图5所示. 随着训练的进行, 损失持续降低到合理的收敛范围内, 综合结果表明, 本文提出的方法在优化训练损失和泛化性能方面是切实有效的.
|
图 4 训练过程中的AP值 |
|
图 5 训练损失 |
为了更好地展示本文提出的算法在不同电力场景中的检测效果, 本文在划分每一个客户端数据集时随机选取了两张不同大小的测试图像进行检测, 这些数据包含了多种输电线路中常见的目标. 最终检测结果如图6所示, 结果表明, 本文提出的迁移联邦学习方法通过简单的自适应学习, 在多个不同电力检测场景中的目标检测任务展现出了相当优秀的性能表现. 并且对于这些图像检测的平均时间只有21 ms, 这将很好地满足实际应用场景中的实时检测需求.
4 结论与展望本文提出了一种基于迁移联邦学习的输电线路缺陷检测算法, 旨在利用统一的联邦学习框架适应多个不同电力公司的数据分布. 该方法基于一个泛化性较强的联合检测模型, 通过参数矩阵分解和添加适配器的方法使得检测模型可以适应到任意数据分布的客户端应用场景中, 并在多个接近真实场景的输电线路数据集上进行了实验验证, 结果表明, 本文提出的迁移联邦学习方法能够在保证客户数据安全性和隐私性的前提下, 显著提高联合检测模型的检测精度和泛化能力.
|
图 6 真实场景中的检测结果 |
虽然我们的研究已经在一定程度上验证了基于迁移联邦学习的算法在输电线路缺陷检测中的有效性, 但在不同地区、不同季节和不同天气条件下, 输电线路的运行状态可能存在较大差异, 这可能会影响到模型的性能和泛化能力. 因此, 我们需要进一步研究如何通过更加智能化的模型适应性调整来应对这些变化, 以提高算法在实际应用中的稳定性和可靠性. 特别是, 我们可以考虑扩大实验数据集的规模和多样性, 以及引入更多实际工程应用中的实验验证, 以更全面地评估算法的性能和实用性.
| [1] |
Xiao YZ, Tian ZQ, Yu JC, et al. A review of object detection based on deep learning. Multimedia Tools and Applications, 2020, 79(33): 23729-23791. |
| [2] |
尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综述. 自动化学报, 2016, 42(10): 1466–1489. [doi: 10.16383/j.aas.2016.c150823] 尹宏鹏, 陈波, 柴毅, 等. 基于视觉的目标检测与跟踪综述. 自动化学报, 2016, 42(10): 1466–1489. |
| [3] |
张林华, 方正云, 李仕林, 等. 双重对抗无监督域自适应绝缘子检测算法. 重庆大学学报, 2021, 44(03): 122–131. 张林华, 方正云, 李仕林, 等. 双重对抗无监督域自适应绝缘子检测算法. 重庆大学学报, 2021, 44(03): 122–131. |
| [4] |
Zu GX, Wu GL, Zhang C, et al. Detection of common foreign objects on power grid lines based on Faster R-CNN algorithm and data augmentation method. Journal of Physics: Conference Series, 2021, 1746(1): 012039. DOI:10.1088/1742-6596/1746/1/012039 |
| [5] |
Zhou FN, Yang S, Fujita H, et al. Deep learning fault diagnosis method based on global optimization GAN for unbalanced data. Knowledge-based Systems, 2020, 187: 104837. DOI:10.1016/j.knosys.2019.07.008 |
| [6] |
Liu JH, Guo F, Gao H, et al. Defect detection of injection molding products on small datasets using transfer learning. Journal of Manufacturing Processes, 2021, 70: 400-413. DOI:10.1016/j.jmapro.2021.08.034 |
| [7] |
Konečný J, McMahan HB, Yu FX, et al. Federated learning: Strategies for improving communication efficiency. arXiv:1610.05492, 2016.
|
| [8] |
Li DL, Wang JP. FedMD: Heterogenous federated learning via model distillation. arXiv:1910.03581, 2019.
|
| [9] |
Otoum S, Guizani N, Mouftah H. On the feasibility of split learning, transfer learning and federated learning for preserving security in ITS systems. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(7): 7462-7470. DOI:10.1109/TITS.2022.3159092 |
| [10] |
沈茂东, 裴健, 付新阳, 等. 一种新的输电线路异物检测网络结构——TLFOD Net. 计算机与现代化, 2019, (2): 118–122. 沈茂东, 裴健, 付新阳, 等. 一种新的输电线路异物检测网络结构——TLFOD Net. 计算机与现代化, 2019, (2): 118–122. |
| [11] |
Guo SQ, Bai QL, Zhou XX. Foreign object detection of transmission lines based on faster R-CNN. In: Kim KJ, Kim HY, eds. Information Science and Applications. Singapore: Springer, 2020. 269–275.
|
| [12] |
McMahan B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data. Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale: PMLR, 2017. 1273–1282.
|
| [13] |
Yang Q, Liu Y, Chen TJ, et al. Federated machine learning: Concept and applications. ACM Transactions on Intelligent Systems and Technology, 2019, 10(2): 12. |
| [14] |
Liu Y, Kang Y, Xing CP, et al. A secure federated transfer learning framework. IEEE Intelligent Systems, 2020, 35(4): 70-82. DOI:10.1109/MIS.2020.2988525 |
| [15] |
Karimireddy SP, Kale S, Mohri M, et al. Scaffold: Stochastic controlled averaging for federated learning. Proceedings of the 37th International Conference on Machine Learning. PMLR, 2020. 5132–5143.
|
| [16] |
Lee G, Jeong M, Shin Y, et al. Preservation of the global knowledge by not-true distillation in federated learning. Proceedings of the 36th Conference on Neural Information Processing Systems. New Orleans, 2022. 1–14.
|
| [17] |
Huang PP, Wang G, Qin SY. Boosting for transfer learning from multiple data sources. Pattern Recognition Letters, 2012, 33(5): 568-579. DOI:10.1016/j.patrec.2011.11.023 |
| [18] |
Wang JD, Feng WJ, Chen YQ, et al. Visual domain adaptation with manifold embedded distribution alignment. Proceedings of the 26th ACM International Conference on Multimedia. Seoul: ACM, 2018. 402–410.
|
| [19] |
Chen YQ, Qin X, Wang JD, et al. FedHealth: A federated transfer learning framework for wearable healthcare. IEEE Intelligent Systems, 2020, 35(4): 83-93. DOI:10.1109/MIS.2020.2988604 |
| [20] |
Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with Transformers. Proceedings of the 16th European Conference on Computer Vision. Glasgow: Springer, 2020. 213–229.
|