在图像处理领域, 图像去噪是一项极具挑战性的任务. 图信号理论的发展为我们解决这一问题提供了新的视角. 本文研究了基于图信号方法的权重矩阵与拉普拉斯矩阵, 将它们用于图像去噪的目标函数, 这两个矩阵可以很好地定义观测图像与期望图像之间的内在联系. 在提出去噪目标函数的基础上, 我们给出了最优解和一种迭代的快速求解算法. 实验表明, 该方法优于BM3D和WNNM等前沿的去噪方法.
In the field of image processing, image denoising is quite challenging. The development of graph signal theory provides a new perspective for us to solve this problem. In this study, the weight matrix and the Laplace matrix based on a graph signal method are studied, and they are used for the objective function of image denoising. These two matrices can well define the internal relationship between the observed image and the expected image. After proposing the denoising objective function, we give the optimal solution and an iterative fast solution algorithm. Experiments show that this method is superior to cutting-edge denoising methods such as BM3D and WNNM.
受各种记录设备所固有的物理限制, 大多数真实世界中获取到的图像都包含了一定程度的噪声和失真[
其中,
一类常见的去噪算法基于某些特定变换域, 例如傅里叶变换、快速傅里叶变换、离散余弦变换、小波变换, 这类算法主要利用稀疏性, 使用较少的非零系数来表示信号. 确定变换域后还需要确定阈值, 阈值函数一般有硬阈值和软阈值两种选择[
另一类方法基于空域, 直接在原图像上进行处理, 这类方法还可分为局部和非局部两种. 常见的局部方法包括高斯滤波器、最小均方滤波器、双边滤波器、维纳滤波器, 局部算法的基本思想是利用像素之间的相关性, 而像素的相关性会由于噪声水平变高而严重受损, 因此局部方法在高噪声条件下表现不佳. 非局部方法中最常用的是非局部均值滤波(NLM), 它利用了图像的非局部相似性, 是一种典型的逐点去噪算法[
图信号处理的方法为图像去噪提供了一种新思路. 非局部图变换算法通过图信号处理在图像块中构造出数据自适应的变换域用于去噪, 并在深度图像去噪问题中表现优秀[
目前基于图信号的去噪的研究中, 主要方法都是通过图像块匹配后, 使用图信号的方法对每一个图像块分别进行去噪, 关于图像块的去噪比较类似于传统方法中基于变换域的方法, 本质上是利用图傅里叶变换得到一个新的变换域. 而本文所提出的算法虽然同样基于图信号处理, 但更类似于基于空域方法, 直接针对图像本身设计滤波器得到去噪图像.
在本文的方法中, 首先选择适当的相似性度量, 计算出图像对应的权重矩阵以及拉普拉斯矩阵, 根据所得矩阵的滤波效果, 提出了一个基于图信号的目标函数, 这个目标函数使用权重矩阵来拟合数据保真度项, 并同时加入拉普拉斯先验项以确保恢复信号的平滑性. 我们随后说明了所提出的目标函数的合理性, 并最终使用迭代的方式对优化问题进行快速求解.
本文的其余安排如下: 首先在第2节中介绍准备工作, 然后在第3节中提出并详细描述了我们的算法, 并分别在第4节和第5节中介绍实验和结论.
根据图信号处理的相关理论, 可以将图像建模为无向加权图
其中,
图像的图结构与其对应的权重矩阵
确定图权重的一种常用方法是使用距离的指数衰减函数, 即:
其中,
关于常用的距离度量在
常用的距离度量
滤波器 |
|
经典回归滤波器 |
|
双边滤波器 |
|
非局部均值滤波器 |
|
常用距离度量的图形解释
图信号处理中的一个重要算子是图拉普拉斯算子
对拉普拉斯矩阵进行特征分解, 有
接下来说明, 对于图信号
由
由于拉普拉斯矩阵
换一个角度, 如果将
同理, 由于
本文提出下面的优化问题:
其中, 第一项为数据保真度项, 用来衡量观测输入
对于目标函数
首先计算
令
考虑到权重矩阵
由式(6), 迭代更新表达式为:
其中,
如果每一轮都要求出最优的
总结归纳后得到算法1.
算法1. 基于图结构滤波的图像去噪算法
1) 非局部均值核计算输入图像
2) 根据权重矩阵
3) 循环执行下列迭代直到收敛:
4) 得到输出图像近似等于
算法1中, 步长
为了验证本文所提出的方法的性能, 使用
用于评估算法性能的一组图像
其中,
对于图像恢复效果的衡量, 使用峰值信噪比(
视觉上的主观比较如
基于图滤波去噪算法, NLM, BM3D, WNNM的
图像 | 方法 | 噪声方差 | |||||
0.2 | 1 | 5 | 20 | 100 | 400 | ||
House | 本文 | ||||||
BM3D | 47.83 | 46.27 | 43.12 | 40.02 | 36.63 | 33.78 | |
NLM | 37.82 | 37.81 | 37.77 | 37.53 | 34.44 | 25.45 | |
WNNM | 46.51 | 45.43 | 42.60 | 39.30 | 36.44 | 33.86 | |
Cameraman | 本文 | ||||||
BM3D | 42.87 | 42.33 | 40.66 | 37.81 | 33.50 | 30.25 | |
NLM | 33.52 | 33.51 | 33.45 | 33.22 | 31.44 | 24.91 | |
WNNM | 41.74 | 41.43 | 40.37 | 37.97 | 33.22 | 29.47 | |
Barbara | 本文 | ||||||
BM3D | 41.97 | 41.71 | 40.72 | 38.77 | 35.38 | 32.03 | |
NLM | 37.54 | 37.50 | 37.32 | 36.63 | 32.99 | 25.10 | |
WNNM | 40.15 | 39.99 | 39.37 | 38.04 | 35.08 | 31.18 | |
Lena | 本文 | ||||||
BM3D | 42.47 | 42.06 | 40.79 | 38.79 | 35.88 | 33.02 | |
NLM | 37.59 | 37.58 | 37.54 | 37.28 | 34.20 | 25.43 | |
WNNM | 41.63 | 41.22 | 40.06 | 38.34 | 35.62 | 32.42 | |
Peppers | 本文 | ||||||
BM3D | 38.30 | 38.19 | 37.74 | 36.77 | 34.90 | 32.75 | |
NLM | 36.42 | 36.42 | 36.41 | 36.32 | 33.89 | 25.43 | |
WNNM | 37.83 | 37.70 | 37.21 | 36.23 | 34.70 | 32.51 | |
Goldhill | 本文 | ||||||
BM3D | 41.38 | 40.95 | 39.45 | 36.93 | 33.47 | 30.69 | |
NLM | 34.99 | 34.98 | 34.96 | 34.82 | 32.73 | 25.18 | |
WNNM | 40.24 | 39.90 | 38.63 | 36.17 | 32.60 | 29.58 |
Goldhill图像的去噪示例
本文提出了一种基于图信号的图像去噪通用方法. 这个方法基于以下两点分析: (1)将基于NLM滤波计算得到的图结构用于描述图像的内在框架. (2) 基于图像计算的权重矩阵和拉普拉斯矩阵分别可以看作自适应低通和高通滤波器, 可用于表征图信号的特征. 我们创新性地提出了一种基于图信号的目标函数用于去噪, 对于所提出的目标函数, 给出了理论的最优解和迭代逼近算法. 实验表明, 本文所提出的方法在数值指标和视觉效果上都优于BM3D和WNNM等前沿去噪算法.
Lebrun M, Colom M, Buades A,
Dong WS, Zhang L, Shi GM,
et al. Depth map denoising using graph-based transform and group sparsity. 2013 IEEE 15th International Workshop on Multimedia Signal Processing (MMSP). Pula: IEEE, 2013. 1–6.]]>
Meyer FG, Shen XL. Perturbation of the eigenvectors of the graph Laplacian: Application to image denoising. Applied and Computational Harmonic Analysis, 2014, 36(2): 326–334, doi: 10.1016/j.acha.2013.06.004.
Yan CG, Li ZS, Zhang YB,
Cheung G, Magli E, Tanaka Y,
Mäkinen Y, Azzari L, Foi A. Collaborative filtering of correlated noise: Exact transform-domain variance for improved shrinkage and patch matching. IEEE Transactions on Image Processing, 2020, 29: 8339–8354, doi: 10.1109/TIP.2020.3014721.
et al. Weighted nuclear norm minimization with application to image denoising. 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014. 2862–2869.]]>
Bhola VK, Sharma T, Bhatnagar J. Image quality assessment techniques. Int. J. Adv. Res. Comput. Sci. Softw. Eng. , May, Special, 2014. 156–161.