原始无损路面图像对分析路面损伤演化细节及制定下一步养护方案具有重要意义, 而实地采集中无法获取路面裂缝图像对应的初始状态. 为了获取其对应的无损路面图像, 本文提出了一种基于深度图像先验的无监督沥青路面裂缝图像修复算法, 可实现对单张路面图像中裂缝的高效语义级修复. 首先采用鲁棒主成分分析算法去除路面裂缝图像表面的竖状条纹噪声. 随后, 采用最大类间方差法及形态学处理得到裂缝区域的二进制掩码图像. 最后, 运用提出的深度图像先验修复算法对裂缝区域进行修复得到最终的无损路面图像. 在自采集路面裂缝图像数据集上对所提方法进行了评估. 实验结果表明, 所提方法能够有效实现路面裂缝图像语义级修复, 峰值信噪比和结构相似性较传统的方法有了明显提升, 平均达到了43.3823 dB和0.9834, 且兼具高速度.
The original damage-free pavement image is of great significance for analyzing the evolution details of pavement damages and formulating the next maintenance plan. However, the initial state corresponding to a pavement crack image cannot be obtained in field acquisition. To obtain the corresponding damage-free pavement image, this study proposes a deep image prior-based unsupervised crack image inpainting algorithm for asphalt pavements that enables efficient semantic-level inpainting of cracks in a single pavement image. Specifically, a robust principal component analysis algorithm is used to remove the vertical stripe noise on the surface of the pavement crack image. Then, the maximum between-class variance method and morphological processing are employed to obtain a binary mask image of the crack area. Finally, the crack area is inpainted with the proposed deep image prior-based inpainting algorithm to obtain the final damage-free pavement image. The proposed method is evaluated on a dataset of self-collected pavement crack images. The experimental results show that the proposed method can effectively achieve semantic-level inpainting of pavement crack images as it significantly improves the peak signal-to-noise ratio and structural similarity to an average of 43.3823 dB and 0.9834, respectively, compared with those of the traditional methods and it also achieves a high speed.
在实际工程应用中, 当发现路面存在损伤时, 基于对应无损路面图像有助于分析路面损伤演化细节, 且与相关结构工程理论知识结合更可辅助预测路面寿命或分析路面损伤演化趋势, 为下一步的养护管理提供决策支持. 而实测条件下采用多功能道路检测车采集到的路面受损图像难以获知其原始状态, 需采用图像修复技术对路面图像受损区域进行修复以得到对应的无损路面图像. 沥青路面常见的损伤主要包括开裂、车辙、沉陷、冻胀及水损[
图像修复是对图像中的受损区域进行重建, 或去除图像中多余物体的一门技术[
传统方法依据修复思想的不同可分为基于扩散的方法和基于样本块的方法[
基于深度学习的图像修复方法依据模型结构的不同可分为基于卷积神经网络(convolutional neural networks, CNN)和基于生成对抗网络(generative adversa-rial network, GAN)的方法[
本文针对上述问题提出了一种基于深度图像先验[
裂缝区域掩码流程示意图如
路面裂缝图像数据集通过安装在多功能道路检测车上的线阵相机采集而来, 在采集过程中由于相机上的LED强照明系统补光的原因, 不可避免地会产生竖状的条纹噪声, 而其会影响后期裂缝区域的分割, 因此需要将此类噪声去除. 本文采用RPCA算法[
裂缝区域分割流程示意图
RPCA算法[
其中,
其中,
式(1)中的矩阵分解可通过求解凸优化问题来实现[
其中,
本文采用增广拉格朗日乘子法(augmented Lag-range method, ALM)求解上述的凸优化问题, 该算法可以有效地把
路面裂缝区域的提取主要采用最大类间方差(Otsu)法[
假设图像的灰度级用
若通过阈值
因此目标和背景的灰度均值
其中,
综上可得:
假设图像中目标与背景两类的类间方差用
让
形态学处理主要包括膨胀、标记连通域等数字图像处理技术中常见的操作. 由于Otsu阈值分割后的裂缝存在局部断裂的情况, 因此需要通过膨胀将距离较近的裂缝连接起来; 而标记连通域是为了根据连通区域面积大小来去除孤立噪点, 从而保留裂缝主体部分.
在获取裂缝区域掩码图像后, 需通过图像修复算法对路面裂缝区域进行修复, 最终得到对应的无裂缝图像. 本文采用深度图像先验算法进行修复, 它与一般的深度学习算法不同, 即无需成对的数据进行训练, 而是仅通过输入单张路面裂缝图像及对应掩码图像便可得到无损路面图像.
一般来说, 图像修复问题可用如下函数表示:
其中,
神经网络结构自身可以捕获大量低级的图像先验信息[
其中,
神经网络对噪声具有高阻抗性, 对自然信号具有低阻抗性. 也就是说, 它首先会学习并拟合出自然的图像, 其次才会学习并拟合那些不规则噪声[
对于路面裂缝图像修复问题来说, 路面裂缝图像
其中,
本实验构建了一种编解码器架构形式的网络模型. 编码器和解码器均由6个模块组成, 具体的网络结构如
本文中网络损失函数如式(17)所示:
从式(17)可以看出, 损失函数在计算过程中去除了裂缝区域像素值的参与. 也就是说, 最初网络的输入为随机噪声矩阵
由于本文目的是为了获取路面裂缝图像对应的无损路面图像, 理想的结果为: 只需改变路面裂缝图像中裂缝区域的像素值, 而路面背景区域的像素值应当保持不变. 因此本文将重建后的图像中的路面背景区域用路面裂缝图像的路面背景区域替代, 具体的变换公式如式(18)所示:
其中,
对应的变换过程如
网络结构图
无损路面变换示意图
本实验的硬件环境为一台Dell塔式服务器, 主要配置为2个E5-2650V4 CPU, 64 GB内存, 480 GB固态硬盘和4 TB机械硬盘, 包含4 块 GTX 1080 Ti GPU, 且每一块GPU显存大小均为12 GB. 操作系统为Ubuntu 18.04. 实验的整个网络在PyTorch 1.1环境下运行.
原始数据为安装在多功能道路检测车上的线阵相机采集到的200张路面裂缝图像, 且分辨率为2048×2944 . 首先将每一张原始图像裁剪成512×512的子图, 然后从中选取300张含裂缝的图像构成本实验所需数据集.
实验数据集展示图
为定量评价图像的修复质量, 且考虑到第4.3节所引入的评价指标计算中涉及到真值图像, 因此本文借助Photoshop (PS)软件对路面裂缝图像中裂缝区域进行了自动填充操作, 即将路面受损区域像素值用周围路面背景像素值代替, 使整张图像构成无损路面, 并把它当做真值图来进行定量评价.
PS前后效果对比图(按列一一对应)
本文采用峰值信噪比(peak signal to noise ratio,
(1)峰值信噪比(
给定一张原始干净图像
其中,
(2)结构相似性(
在
其中,
在RPCA算法去除竖状条纹噪声的实验中, 需对原始数据进行预处理, 即将原始图像矩阵按列进行等量划分, 然后再进行矩阵重构. 本文原始图像矩阵大小为512×512, 将其按列等分为16份, 即分成16个512×32的矩阵. 然后将这些矩阵按行拼接, 则重构后的矩阵为8192×32. 算法迭代计算完成后, 再分别把得到的低秩矩阵和稀疏矩阵恢复成512×512. 恢复出来的低秩矩阵即为要去除的竖状条纹噪声, 稀疏矩阵为去除条纹噪声后保留的路面图像. 实验正则化参数
在图像修复实验中, 网络中设置的超参数如
网络超参数表
超参数 | 数值 |
|
|
|
|
|
|
|
|
|
|
|
0.01 |
optimizer |
|
实验中采用了RPCA算法对路面裂缝图像表面的竖状条纹噪声进行去除.
实验中采用了数字图像处理相关方法实现对裂缝区域的分割, 实验效果展示如
原始路面裂缝图像
RPCA算法去除竖状条纹效果图
裂缝区域掩码提取
本文设置了Criminisi算法[
为了更直观的评估这几种算法的修复结果, 本文进一步以路面图像I和II为例, 对I和II中局部区域修复结果进行对比, 以红色框标志选定区域, 效果展示如
路面裂缝图像修复效果图
修复区域局部放大对比
此外, 本文采用
修复后路面图像的
图像修复算法 | 路面图像I | 路面图像II | 路面图像III | 路面图像IV |
Criminisi | 39.9358 | 44.9202 | 44.8173 | 41.3813 |
FMM | 41.7656 | 46.5870 | 46.4689 | 40.2694 |
FDM | 42.1036 | 46.6985 | 46.7421 | 40.6616 |
本文算法 | 42.6079 | 46.8979 | 42.5391 | 41.4165 |
修复后路面图像的
图像修复算法 | 路面图像I | 路面图像II | 路面图像III | 路面图像IV |
Criminisi | 0.9422 | 0.9820 | 0.9801 | 0.9575 |
FMM | 0.9617 | 0.9812 | 0.9844 | 0.9477 |
FDM | 0.9689 | 0.9876 | 0.9852 | 0.9561 |
本文算法 | 0.9725 | 0.9914 | 0.9858 | 0.9790 |
误差损失曲线图
为了验证本文所提算法的高效性, 本文分别采用Criminisi算法与所提算法对图像I–IV进行修复, 并将修复过程所耗费的时间进行了对比, 由于另外两种对比算法FMM与FDM算法在Python官方库中已经集成好了, 因此本文直接调用了集成好的这两种算法, 并未统计这两种算法的时间效率. 从
4种方法修复时间对比(s)
图像修复算法 | 路面图像I | 路面图像II | 路面图像III | 路面图像IV |
Criminisi | 5321.65 | 1523.81 | 1754.86 | 4056.49 |
本文算法 | 192.79 | 194.23 | 194.92 | 195.79 |
由于上述实验结果只列出了4张路面裂缝图像作为样例来进行展示. 为了更具说服力,
所有测试图像评价指标平均值
图像修复算法 | 消耗时间 (s) | ||
Criminisi | 41.7568 | 0.9741 | 3642.83 |
FMM | 42.6594 | 0.9803 | — |
FDM | 42.8452 | 0.9820 | — |
本文算法 | 43.3823 | 0.9834 | 194.48 |
本文提出了一种路面裂缝图像的修复方法. 一方面, 为了获取裂缝区域的掩码图像, 首先去除了路面裂缝图像中的竖状条纹噪声, 然后通过数字图像处理的相关方法得到了裂缝区域掩码图像. 另一方面, 在得到裂缝区域掩码图像后, 通过本文所提算法对裂缝区域进行修复得到了最终的原始无损路面图像. 针对传统修复算法的图像局部细节恢复不理想的情况, 本文所提算法修复的结果视觉效果更自然,
王晓峰. 沥青路面结构的疲劳损伤和寿命估算研究. 建材技术与应用, 2021, (5): 29–32.
张金喜, 张嘉, 曹丹丹. 沥青路面裂缝问题研究现状综述. 市政技术, 2021, 39(11): 17–23, 34.
廖晓芳. 破损图像丢失区域自适应优化修复方法仿真. 计算机仿真, 2019, 36(6): 388–392.
et al. Image inpainting. Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New Orleans: ACM, 2002. 417–424.]]>
Shen CJ. Mathematical models for local nontexture inpaintings. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019–1043.
Chan TF, Shen JH. Nontexture inpainting by curvature-driven diffusions. Journal of Visual Communication and Image Representation, 2001, 12(4): 436–449.
Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing, 2004, 13(9): 1200–1212.
张申华, 王克刚, 祝轩. 局部特征信息约束的改进Criminisi算法. 计算机工程与应用, 2014, 50(8): 127–130.
Barnes C, Shechtman E, Finkelstein A,
et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations. Proceedings of the 16th European Conference. Glasgow: ACM, 2020. 725–741.]]>
et al. Deep fusion network for image completion. Proceedings of the 27th ACM International Conference on Multimedia. Nice: ACM, 2019. 2033–2042.]]>
et al. Semantic image inpainting with deep generative models. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017. 6882–6890.]]>
et al. Foreground-aware image inpainting. Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019. 5833–5841.]]>
et al. Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017. 1125–1134.]]>
et al. Robust principal component analysis? Journal of the ACM, 2011, 58(3): 11.]]>
Otsu N. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62–66.
Yang YC, Nagarajaiah S. Blind denoising of structural vibration responses with outliers via principal component pursuit. Structural Control & Health Monitoring, 2014, 21(6): 962–978.
Al-Najjar YAY, Soong DC. Comparison of image quality assessment: PSNR, HVS, SSIM, UIQI. International Journal of Scientific and Engineering Research, 2012, 3(8): 1–5.
Wang Z, Bovik AC, Sheikh HR,
Telea A. An image inpainting technique based on the fast marching method. Journal of Graphics Tools, 2004, 9(1): 23–34.