1 引言

随着科技的进步, 数码相机取代了传统胶卷相机的垄断地位, 并搭载在智能手机中, 成为了现代人日常生活密不可分的一部分. 数码相机中的感光元件CCD或CMOS是按矩阵排列的电子感光元件, 为了减少成本、缩小体积, 其内部图像传感器大多采用彩色滤镜阵列(Color Filter Array, CFA), 再通过RAW图像去马赛克过程对缺少像素信息插值恢复^[1]. 根据奈奎斯特采样定律, 当屏幕信息频率接近于数码相机的感光元件阵列密度时, 会产生摩尔纹现象. 此外, 这种CFA方式通过降低了采样频率来提高采样效率, 但细节的缺失更容易出现彩色摩尔纹现象. 近年来, RAW图像去马赛克算法得到不断地改进和完善, 为避免摩尔纹的产生取得了良好的效果, 如邱菊^[2]提出基于CCD静态图像的摩尔纹去除算法研究. 邱香香^[3]提出基于CCD静态图像的摩尔纹去除算法. 刘芳蕾^[4]提出基于图像分解的纹理图像摩尔纹消除方法. Sun等人^[5]提出了基于多分辨率卷积神经网络的摩尔纹图像修复.

另一类摩尔纹并不是在成像时直接产生, 而是在缩放后产生. 当拍摄图像的分辨率远高于被拍摄图像的分辨率时, 由于屏幕信息频率远低于数码相机的感光元件阵列密度, 根据奈奎斯特的采样定律, 这并不会在成像时产生摩尔纹现象. 然而在缩放过程中图像的信息频率随之缩放, 使得图像高频信息相互混叠, 导致图像产生摩尔纹干扰. 1983年, Parker^[6]等中详细介绍的各类经典空间插值方法, 但例如最邻近域法、双线性插值法、双三次插值法, B样条插值法, 三次卷积插值法和兰索斯插值算法均有严重的摩尔纹现象. 在OpenCV中提出了新的图像缩放算法—利用像素区域关系的重采样插值(resampling using pixel area relation), 通过快速获取几个像素平均值从而得到较为平滑的缩放图像, 是现今最为实用的避免缩放类摩尔纹的算法. 此外对于现在比较流行的基于字典学习的图像插值方法, 基于深度学习的图像插值方法以及基于决策树的图像插值方法等, 均有着良好的实验效果^[7–9]. 但它们都需要预先利用大量图像做训练, 使得实用性大打折扣. 本文特指的摄屏类图像就具有典型的缩放类摩尔纹, 它是过采样图像由于缩放插值算法成像受到高频的噪声干扰失真所导致的. 如今主流手机的后置摄像头的像素一般在1200万以上, 其远高于主流的屏幕分辨率^[10]. 高分辨率的图像在低分辨率的屏幕中完整显示需要经历图像缩放操作, 而且, 缩小的比例越接近于被采样图像的真实大小, 则两者频率越接近, 信息混叠的干扰就越明显. 摄屏类图像固有全局的高频信号, 且条纹像素的灰度值较低, 使得图像梯度较大, 因此, 该类图像的摩尔纹现象尤为严重. 在另一类非等比例缩放算法中, 基于内容感知的图像非等比例缩放等技术得到较为广泛地应用, 例如基于混合能量的内容敏感图像缩放等^[11,12]. 此外, 镜头畸变和角度旋转等差异同样存在于被采样图像和摄屏图像之间, 此类算法也广泛应用于拍摄图像处理中^[13,14].

除一般的用户的电脑显示屏外, 大型LED屏幕在舞台、广场等地被广泛应用. 大型LED银幕的液晶点间条纹清晰可见, 拍摄的图像在缩放显示时极易产生摩尔纹, 这都严重降低了画面质量.

被采样的屏幕图像和采样获得的成像图像之间有着分辨率的转变. 普通的图像, 高频信息体现图像细节, 往往符合实际需求. 针对更高细节的需求, Tsai^[15]是最早提出超分辨率重建(SRIR或SR)的人之一, 超分辨率重建是一种将已有的低分辨率图像转换成高分辨率图像的方法, 文献[16]详细介绍了超分辨率的原理及方法. 而摄屏类图像的高频条纹受LED液晶显示屏的物理构造影响, 在更高分辨率的情况下采集了网纹状噪声, 是一种不符合实际需求的由低分辨转变为高分辨率的变化.

基于上述分析, 结合图像的超分辨率重构的逆向思维和非等比率缩放算法, 以及利用模型驱动的图像分割技术和随机游走进行高频信号的采集^[17,18]. 实现针对摄屏类图像的重构算法, 将图像还原成被采样图像, 使其更贴近用户实际需求, 同时解决摄屏类图像分辨率过大, 以及缩放后摩尔纹现象、镜头畸变、拍摄角度倾斜等问题.

2 重构算法的基本思路

本文提出的高分辨率摄屏类图像重构方法分为图像空间域的重构和图像颜色通道的插值恢复, 主要算法步骤包括高频信号采样和像素颜色插值两部分, 本文介绍了滤波算法和三种交替使用的图像分割算法. 算法流程如图1所示. 通过空间长度自适应的滤波算法分离两个方向的图像周期信号, 通过两个方向上的映射来分离并建立信号模型, 在重构图像的具体过程中, 先重构图像的空间矩阵, 再对像素值插值恢复.

2.1 图像信号与空间映射

如图2(d)、(g)所示, 摄屏类图像信号呈现周期变化. 在成像过程中, 被采样图像的像素点矩阵在屏幕中以液晶点的形式输出, 在相机采样后形成呈矩阵排布的状如“山峰”的液晶点单元区域. 描述摄屏图像的模型可表示为:

${{ {P}}_{{ {a}} + i}} = \frac{{i \cdot {{ {P}}_{ {a}}}}}{{{T_{ab}}}} + \frac{{{T_{ab}} - i \cdot {{ {P}}_{ {a}}}}}{{{T_{ab}}}},\;\left( {i = 0, 1, 2, \cdots, {T_{ab}}} \right)$

(2)

式中, x为摄屏图像的空间坐标, $I(x)$ 为摄屏图像, $J(x')$ 为被采样原图, $x'$ 为空间坐标x在被采样原图上映射的空间坐标, a为环境光值, 即忽略屏幕自身发光的液晶点间隙采样所表现的光值, ${t_1}(x)$ 为原图信息影响率, ${t_2}(x)$ 为环境光值影响率.

求解 $x'$ 与x的映射关系, 需要对图像高频信号进行采样. 已知被采样像素 ${{{P}}_{{{i}}, j}}$ 对应于摄屏图像液晶点单元区域 ${{{E}}_{i, j}}$ . 显然像素点集合 $\{{{ {P}}_{1, j}}{ {, }}{{ {P}}_{2, j}}{ {, }}{{ {P}}_{3, j}}, \cdots, {{ {P}}_{n, j}}{ {\} }}$ 对应单元区域集合 ${{ {E}}_j}{ { = }}\{{{ {E}}_{1, j}}{ {, }}{{ {E}}_{2, j}}{ {, }}{{ {E}}_{3, j}}, \cdots, {{ {E}}_{n, j}}{ {\} }}$ . 通过图像分割先将摄屏图像分割成 ${{ {E}}_1}{ {, }}{{ {E}}_2}{ {, }}{{ {E}}_3}, \cdots, {{ {E}}_n}$ 的连续条形区域, 再进一步分割成一个个液晶点单元区域小块, 能够精确有效地重构图像的空间结构.

2.1.1 空间长度自适应的线型滤波算法

在分割图像时, 为了尽可能保留横轴方向的高频信号同时去除相切方向的高频噪声, 需要在保留横方向图像梯度信息的同时削弱竖轴方向的梯度变化. 本文提出一种空间长度自适应的线型滤波算法. 经实验观察, 单元区域内极大值点和中心点对应的 ${t_1}(x)$ 值较大, 最接近采样图像信息, 因此按竖轴方向通过爬山算法取得极大值点集Q并舍去非极大值点的灰度信息, 其中A点与B点为相邻的两个极大值点, 将A点与B点的距离 ${T_{ab}}$ 作为线型滤波器的长, 宽度为1, 保留极大值信息的同时梯度最小化, 将A点与B点之间的灰度分量 ${{ {P}}_{{ {a}} + i}}$ 设为等差数列, 既

$\begin{split} I(x) = & J(x'){t_1}(x) + A{t_2}(x)\\ = & J(x'){t_1}(x) + A(1 - {t_1}(x)) \end{split}$

(1)

通过极大值点的间距作为线型滤波的滤波器的和长度, 组成连续不重叠的滤波器窗口.

液晶点单元各个方向都存在强梯度变化, 本文通过滤波算法, 将图像梯度分解成两个方向. 受图像畸变和镜头角度等复杂变化影响, 两个方向存在对应水平和竖直方向上的偏转角度. 效果如图2(e)、(f)、(h)所示.

2.1.2 图像高频信号的提取

通过滤波后的图像信息, 其横轴方向的周期变化更为明显直观, 当坐标接近液晶点单元区域中心时, 图像灰度值达到峰值, 当坐标处在区域边缘, 即液晶点间隙时, 图像灰度达到最低值, 如图2(h)所示其横截面具体呈现波浪形的渐变曲线, 符合三角函数变化, 式(1)中原图信息强度 ${t_1}(x)$ 可表示为:

${t_1}(x) = \frac{{{B}}}{2}\left( {\sin \frac{{2\pi x}}{{{T_x}}} + 1} \right)$

(3)

其中, B表示受环境光照影响的屏幕信息最大影响率, 即原图信息影响率 ${t_1}(x)$ 的理论最大值, ${T_x}$ 为高频信号变化周期.

受镜头畸变和拍摄角度等因素影响, 周期 ${T_x}$ 是随坐标小幅波动的变量, 因此取 ${T_x}$ 的平均数常量 $\overline {{T}} $ 作为代替. $\overline {{T}} $ 可表示为:

$\overline {{T}} {{ = }}\frac{1}{{{n}}}\sum\limits_{x = 0}^n {{T_x}} $

(4)

本文提出高频信号提取的基于邻域搜索快速Greedy算法^[17], 加快算法的收敛速度, 更高精度地提取图像高频信号进行图像分割, 具体算法如下:

首先通过标定横轴方向上的周期邻域内极小值点, 从而获得周期连续的高频图像点集, 竖轴方向相邻的像素点组成相连的像素集合, 这些集合在全局上形成连续不想交的密集条纹, 物理上对应于滤波图像中的液晶点间隙.

${{set}}(x) = \left\{ {\begin{array}{*{20}{l}} 1, & {P_{x - 1}} > {P_x} < {P_{x + 1}}\\ 0, & {{\text{其他}}} \end{array}} \right.$

(5)

通过贪心算法标定极小值点能够最大限度地获取图像高频信号. 但是同样噪声较多. 通过简单的集合逻辑滤波简单地去除噪声 $\Delta a$ , 而 $\Delta a$ 往往大于实际存在的噪声a.

$\frac{d}{{\displaystyle\sum\nolimits_{i = 0}^n {set(n)} }} < \overline {{T}} {{ < }}\frac{d}{{\displaystyle\sum\nolimits_{i = 0}^n {set(n)} - \Delta a}}$

(6)

通过先验的频率周期 $\overline {{T}} $ , 标定领域最小值点, 获得更为精确的结果.

${{set}}(x) = \left\{ {\begin{array}{*{20}{l}} 1,&{P_x}{{ =\min}}\left( {{P_{x - \frac{T}{2}}}, {P_{x - \frac{T}{2} + 1}}, \cdots, {P_{x + \frac{T}{2}}}} \right)\\ 0,&{{\text{其他}}} \end{array}} \right.$

(7)

算法相比较于梯度算子等边缘检测的图像分割算法, 通过已知的变化函数和周期, 更加快速准确地提取图像高频信号.

其次对标定信息的模型拟合, 利用摄屏图像的先验知识, 即固有的空间结构来建立数学模型, 通过横轴方向上的周期性和竖轴方向上的连续性, 修复图像的缺失点和偏差点. 实际是基于模型驱动的图像分割算法中的目标几何判定.

此外利用基于随机游走的图像分割算法, 采用贝努利随机游走迭代的方式.

贝努利随机游走迭代的方式是一种一维线段上的随机游走. 已知滤波后的大小为 ${{m}} \times m$ 图像g, 将图像g的每一行作为整体分割成m个大小为 ${{m}} \times 1$ 的线形图像集合, 以竖轴方向的变化为时间向量依次作为图像帧数, 从而将二维图像分割成一维线段集, 将图像分割转化为直线上的随机游走. 如图3所示, 若种子点于t时刻在直线上的位置为点i, 那么在下一时刻t+1, 或以p的概率跳到t+1整数点, 或以q的概率运动到i–1点, 或以r=1–p–q的概率继续停留在i点. 随着帧数的迭代, 种子点的运行轨迹在二维图像上形成了连续的路径, 从而完成图像分割. 实际实验过程以像素的梯度变化和先验的周期信息为标准, 种子点朝灰度值较小的方向游走, 使其轨迹对应于摄屏图像中液晶点物理间隙, 对应于所求的高频条纹.

通过随机游走跟踪图像的极小值点获取高频条纹信息, 返回种子点路径, 在高频信号图像模型建立上起到复检作用. 随机游走算法优点在于获得连续稳定的线段, 缺点在于需要在平滑区域开始作为初始帧, 获得精准的种子点.

图4是摄屏图像, 通过滤波操作, 将其网状的周期高频信号分离, 如图5是滤波后图像. 通过滤波削弱图像竖直方向高频信号并保留水平方向高频信号, 图6是图5对应的图像分割轨迹, 其轨迹为密集的互不相交的水平方向条纹, 对应于摄屏图像所采集的液晶点间隙. 算法通过精准的图像分割轨迹, 从而计算摄屏图像与原始图像的空间映射关系.

2.2 图像空间重构

在图像空间重构过程中, 需要计算从大小为 ${{m}} \times m$ 的原图像g到大小为 ${{n}} \times n$ 的目标图像h的空间非线性映射 $\varPhi $ . 引入大小为 ${{m}} \times n$ 的过度图像t, 将映射 $\varPhi $ 拆解为从g到t的竖直方向映射 ${\varPhi _1}$ 和从t到h的水平方向映射 ${\varPhi _2}$ .

${{h}} = \varPhi \left( g \right) = {\varPhi _2}\left( t \right) = {\varPhi _2}\left( {{\varPhi _1}\left( g \right)} \right)$

(8)

图像g通过滤波后拆解成M1和M2两个相切方向的高频信号模型. 通过竖直方向的周期高频变化M1形成的条纹状滤波图像, 将图像沿水平方向分割成 ${{{E}}_1}{{, }}{{{E}}_2}{{, }}{{{E}}_3}, \cdots, {{{E}}_n}$ 的连续条形区域, 其中 ${{{E}}_j}$ 在h上的映射区域为n维行向量 ${\alpha ^{{j}}}$ , 通过拆解, 在过度图像t上的映射为m维行向量 ${\beta ^{{j}}}$ . 得到过度图像 ${{t}} = {[{\beta ^1}, {\beta ^2}, {\beta ^3}, \ldots, {\beta ^n}]^T}$ 和M2在图像t上的映射M3.

${\beta ^{{j}}} = {\varPhi _1}\left( {{E_j}} \right)$

(9)

同理通过M3和过度图像t, 将图像进一步空间重构, 形成 ${{n}} \times n$ 的目标空间矩阵. 实际实验时, 将四周不完整的边框舍去, 获得规整的矩阵 $h'$ .

2.3 图像颜色通道插值恢复

在图像空间重构的基础上, 通过插值算法, 恢复图像的颜色通道. 不同的插值算法具有不同的实际效果. 本文算法重点测试了三类不同的插值算法. 分别是是线性的区域重采样的插值算法, 去除液晶点间隙噪声的插值算法和基于加权的插值算法.

区域插值算法能够有效消除噪声干扰, 但同样对细节造成一定缺失. 领域内极大值解的插值算法, 通过图像的先验知识, 频域内的极大值来代替被采样图像的灰度值, 优点是细节保存完整, 缺点是容易产生噪声并且对环境光照敏感. 此外基于加权和卷积的插值算法本文具体实验了基于兰索斯函数拟合的重构算法和基于向量内积的自适应加权插值重构算法, 具有一定的改进效果但时间复杂度大增. 本文实验的区域插值算法使用线性插值且滤波器大小为2倍信号周期. 去除液晶点间隙噪声的插值算法以一个信号周期作为滤波器大小的线性插值为基础去除物理噪声点. 在实际算法中, CFA滤镜阵列绿色分量占比更多, 以绿色通道分量判断噪声点并舍弃^[19]. 此外, 利用向量的内积操作, 自适应地增大.

3 实验结果与分析

为验证本文算法的重构效果, 使用50幅不同偏转角度和频率空间大小的摄屏图像进行实例验证, 并与原被采样图像、一般缩放图像和重采样算法的缩放图像相比较. 此外还对不同颜色插值算法进行讨论. 实验平台采用Windows10, Visual Studio 2017编译环境, Intel Corei7 3.6 Hz CPU 时钟频率, 内存16.0 GB. 实验图像的频率周期 ${{T}} \in [4, 10]$ , 偏转角度不超过23度23°, 实验图片以1200 W摄像头在无镜头光灯的明亮环境下采样.

利用本文算法对图像进行重构的结果如表1和图8所示, 实验Lena图展示了原被采样图像的光滑区域和高频区域在摄屏图像与缩放及重构图像中的表现. 从结果可以看出, 由于Bayer格式摄像设备采集的实际RGB分量比为1: 2: 1以及白平衡设置等因素, 图像在采样后造成绿色分量较实际值偏大使得图像较原图相比更绿更暗. 去噪重构图像有效地筛除了部分绿色分量以及部分液晶点物理结构所造成的低灰度信号, 色调还原最佳. 线性插值重构与区域从采样类似, 获得更为平滑的图像, 有效抑制了摩尔纹的产生, 但在细节上去噪声重构算法更佳. 同时, 重构图像准确还原图像原始空间结构, 并且消除图像短镜头畸变和角度倾斜等问题.

如图9所示, 图像直方图直观地反应出图像间色调的相似程度^[20]. 本文算法重构后图像在图形上恢复了图像的空间结构, 且较好地恢复了图像颜色, 在重构图像中有效避免了摩尔纹的产生. 为了更好地评判重构后的图像质量, 本文图像的直方图相似度(Correlation)和巴氏距离(Bhattacharyya distance)来评价色调的还原程度^[20]. 并对各类图像进行定量评价, 各评价指标的计算结果如表2所示.

直方图相似度 ${{{d}}_{correl}}$ 和巴式距离 ${{{d}}_{bhatta}}$ 公式如下:

${{{d}}_{correl(h, h')}} = \frac{{ \displaystyle\sum\nolimits_k {({h_k} - \overline h )} \displaystyle\sum\nolimits_k {({{h'}_k} - \overline {h'} )} }}{{\sqrt { \displaystyle\sum\nolimits_k {{{({h_k} - \overline h )}^2}} \displaystyle\sum\nolimits_k {{{({{h'}_k} - \overline {h'} )}^2}} } }}$

(10)

${{{d}}_{bhatta(h, h')}} = \sqrt {1 - \frac{1}{{\sqrt {\overline h \overline {h'} {k^2}} }}\sum\nolimits_k {\sqrt {{h_k} \cdot {{h'}_k}} } } $

(11)

式中, k为直方图的灰度级, $\overline h $ , $\overline {h'} $ 分别为 ${h_k}$ , ${h'_k}$ 的均值, 计算结果归一化. 图像与被采样图像的 ${{{d}}_{correl}}$ 越大, 说明相似度越高, 色调还原程度越好. 图像与摄屏图像的 ${{{d}}_{correl}}$ 越小, 说明相似度越低, 色调重采样度越高. 图像与被采样图像的 ${{{d}}_{bhatta}}$ 越小, 说明像素的离散分布越吻合, 色调越接近. 图像与摄屏图像的 ${{{d}}_{bhatta}}$ 越大, 同样说明色调重采样度越高. 实验结果中, 去噪声重构图像和内积法重构图像与被采样图像的直方图相似度达到81.5%和84.3%, 远高于摄屏图像的38.7%和区域重采样插值缩放图像的62.3%. 数据表明在几类图像中, 去噪声重构图像色调还原程度最高.

4 结论与展望

本文针对高清摄屏图像相对于实际被采样图像像素过大, 缩放容易产生摩尔纹等问题, 提出全新的图像重构思想, 并对应基本算法步骤. 与传统图像插值以及重构不同, 本文重构算法在图像超分辨率重构和非等比例缩放算法的思想基础上, 针对摄屏图像的独特性质, 一方面利用液晶屏幕的物理结构, 在针对性的滤波算法基础上通过模型驱动的图像分割和随机游走来提取图像的信号模型进而完成空间重构. 另一方面通过对摄屏图像的先验知识, 有效抑制物理结构带来的噪声干扰, 获得色调还原度和细节保存较好的重构图像. 实验样本中去噪声重构图像和内积法重构图像与被采样图像的直方图相似度达到81.5%和84.3%, 远高于摄屏图像的38.7%和区域重采样插值缩放图像的62.3%. 算法将图像的空间矩阵重构还原至被采样的屏幕画面, 在保留了图像信息的同时, 舍去高频网状周期噪声, 极大地压缩图像大小, 使图像更符合实际需求. 本文算法在液晶屏幕拍摄, 尤其是被封装的设备方面具有实用价值.

本文的重构方法在图像分割上对于光滑区域更为理想, 但算法较为依赖先验的光滑区域信息, 在被采样图像全局均有高频噪声的情况下误差较大. 并且本文算法在偏转角度和信号周期长度上普适性不佳. 实验结果受外界噪声干扰明显, 具体受屏幕镜面反射、环境光值、液晶坏点、聚焦、屏幕污垢灰尘等因素影响. 目前使用单帧图像作为实验素材, 可以通过多帧图像进行相机标定从而来提高精度.