1 引言

大部分摄像头采用的是RGB图像传感器, 加上相应的光学系统, 而在光学系统中都会使用一个红外光截止滤镜, 即IR-CUT; 它的作用就是防止IR串扰RGB光线在RGB图像传感器上的成像. 四带图像偏色校正算法就是要探究在移除IR-CUT之后, 受IR串扰的四带偏色图像如何恢复自然色彩的问题, 使得校正后的四带图像更接近正常的RGB三带图像.

目前的四带图像偏色校正算法有: 晏嫚^[1]利用白点反射的白平衡算法对四带图像中特殊物体的特殊区域进行校正,但只对四带图像进行局部校正, 未考虑特殊物体外其他区域的偏色校正; 林李金等^[2,3]通过四带图像的数据分析, 得到四带图像不同区域的校正算法来进行偏色校正, 而由于分割精度问题, 使得不应该被分割进来的区域被划到一起, 导致错误校正; 石慧玲^[4]是从四带图像全局进行初步校正, 再通过改进的Frankle-McCann Retinex算法对四带图像进行最终偏色校正, 此方法克服了局部校正的局限性, 但对不同场景的四带图像偏色校正效果不一致; 童飞扬^[5]把前人相应的四带图像偏色校正算法应用到视频流中, 并未对四带图像偏色校正算法做任何优化; 曾兆滨等^[6]是在实验环境下, 通过24色卡建立三元一次多项式回归算法来对四带图像进行偏色校正, 此法无需对图像场景进行分割识别和局部校正, 且初步解决了同色温环境下, 不同场景照片校正效果不一致的问题, 但其校正后树叶等绿色植物场景色彩恢复不够自然.

本文基于曾兆滨等^[6]算法的思想局限性, 从训练样本、样本数据类型和算法校正模型入手, 有效提升了四带图像的偏色校正效果.

2 多项式回归算法的构建与优化

本节介绍了三元一次四带图像偏色校正算法; 在此基础上, 通过增加训练样本量、优化数据类型和校正模型实现校正效果的提升.

2.1 多项式回归算法的建立

首先获取实验环境下的24色卡的三带图像和四带图像; 如图1所示, 用( ${R_{3i}},{G_{3i}},{B_{3i}}$ )表示24色卡RGB图像的各颜色块三通道均值量, ( ${R_{4i}},{G_{4i}},{B_{4i}}$ )表示24色卡四带图像的各颜色块三通道均值量, 其中 $i = 1,2,3, \cdots ,24$ , 表示颜色块. 获得的数据分别组成三带矩阵 ${Y_3}$ 和四带矩阵 ${X_4}$ , 它们之间的关系^[6,7]如公式(1)所示:

${Y_3} = {X_4}{C^{\rm{T}}}$

(1)

其中,

$ \left\{\begin{aligned} & {Y_3} = \left[{ \begin{array}{*{20}{c}} {{R_{31}}}&{{G_{31}}}&{{B_{31}}} \\ {{R_{32}}}&{{G_{32}}}&B _{32} \\ {\cdots}&{\cdots}&{\cdots} \\ {{R_{324}}}&{{G_{324}}}&{{B_{324}}} \end{array}} \right]\\ & {X_4} = \left[ {\begin{array}{*{20}{c}} {{R_{41}}}&{{G_{41}}}&{{B_{41}}}&1 \\ {{R_{42}}}&{{G_{42}}}&{{B_{42}}}&1 \\ {\cdots}&{\cdots}&{\cdots}&{\cdots} \\ {{R_{424}}}&{{G_{424}}}&{{B_{424}}}&1 \end{array}} \right]\\ & C = \left[ {\begin{array}{*{20}{c}} {{a_{11}}}&{{a_{12}}}&{{a_{13}}}&{{a_{14}}} \\ {{a_{21}}}&{{a_{22}}}&{{a_{23}}}&{{a_{24}}} \\ {{a_{31}}}&{{a_{32}}}&{{a_{33}}}&{{a_{34}}} \end{array}}\right] \end{aligned}\right.$

${C^{\rm T}}$ 为校正矩阵C的转置矩阵. 将式(1)展开为:

$\left\{ {\begin{array}{*{20}{c}} {{R_{3i}} = {a_{11}}{R_{4i}} + {a_{12}}{G_{4i}} + {a_{13}}{B_{4i}} + {a_{14}}} \\ {{G_{3i}} = {a_{21}}{R_{4i}} + {a_{22}}{G_{4i}} + {a_{23}}{B_{4i}} + {a_{24}}} \\ {{B_{3i}} = {a_{31}}{R_{4i}} + {a_{32}}{G_{4i}} + {a_{33}}{B_{4i}} + {a_{34}}} \end{array}} \right.$

(2)

然后根据离差平方和思想^[8]来估计校正矩阵的系数, 由离差平方和公式:

$\delta = \sum {{{({Y_3} - {X_4})}^2}} $

(3)

得到 ${C^{\rm T}}$ 的表达式:

${C^{\rm T}} = {\left( {Y_3^{\rm T}{X_4}} \right)^{ - 1}}Y_3^{\rm T}{Y_3}$

(4)

最后将得到的校正矩阵代回式(1), 即完成了多项式回归的四带图像偏色校正模型建立.

2.2 样本优化

在有监督的机器学习中, 在建立相应算法前, 都需要大量的训练数据, 增大训练数据量, 可使得算法更加健壮; 根据《应用回归分析》^[9], 训练数据要为解释变量的10倍以上. 本文所采用的多项式回归算法, 是机器学习的一种, 相对整块色卡, 原来是取每个色块平均值, 有24色块, 3通道, 共有72对训练数据, 但相对每个色块而言只有3对训练数据, 进行24次训练. 根据这一点, 我们通过扩大数据量来训练算法, 最终得到以色块质心为中心点的2×2像素区域作为每块颜色数据, 那么对于每个色块共有12对训练数据, 对于整块色卡有288对训练数据, 需要进行96次训练. 最后通过t检验^[9]来判断解释变量的数据量是否对因变量具有解释能力, t检验如式(5)所示.

$t = \frac{{{\beta _i}}}{{\sqrt c \sigma }}$

(5)

其中, $\;{\beta _i}$ 为校正系数, $c = {({X_4}'{X_4})^{ - 1}}$ , $\sigma $ 为回归标准差.

2.3 数据类型优化

本文在彩色数字图像的色彩校正过程中, 采用有符号浮点型的数据类型来优化表达像素值. 这是由校正矩阵的校正系数决定的, 其数据类型为有符号浮点型, 为使整个校正模型的数据类型统一, 计算精度高, 最后校正得到的像素值更可靠, 将训练样本以及校正样本一律采用有符号浮点数据类型进行计算.

2.4 三元二次校正模型

实际的彩色成像系统并不是线性的, 获取光信号后, 会经过摄像头内部图像信号处理模块, 进行白平衡、Gamma校正、降噪等一系列处理^[10], 这使得RGB三通道间的关系并不是线性的. 为了提高校正能力, 将校正模型中的多项式改为三元二次多项式. 将以上校正式(1)改写为:

${y_3} = j{x_4}$

(6)

其中,

$ \left\{\begin{aligned} &{y_3} = {\begin{array}{*{20}{c}} ( {R_n'}& {G_n'}&{B_n'} )^{\rm {T}} \end{array}}\\ &j = \left[ \begin{array}{*{20}{c}} {{a_{11}}}&{{a_{12}}}&{{a_{13}}}&1 \\ {{a_{21}}}&{{a_{22}}}&{{a_{23}}}&1 \\ {{a_{31}}}&{{a_{32}}}&{{a_{33}}}&1 \end{array} \right]\\ &{x_4} = {\left[\begin{array}{*{20}{c}} {{R_n}}& {{G_n}}&{B_n} \end{array} \right]^{\rm{T}}} \end{aligned}\right.$

其中, n为像素点次序. 改为三元二次后, 以上 $j$ 和 ${x_4}$ 变为:

$ \left\{\begin{aligned} & j = \left[ \begin{array}{*{20}{c}} {{a_{11}}}&{{a_{12}}}&{\cdots}& {{a_{19}}}&1 \\ {{a_{21}}}&{{a_{22}}} &{\cdots}&{{a_{29}}}&1 \\ {{a_{31}}}&{{a_{32}}} &{\cdots}&{{a_{39}}}&1 \end{array} \right]\\ & {x_4}\! =\! {\left[\!\!\!\!\begin{array}{*{20}{c}} {R_n^2}\!\!& \!\! {G_n^2}\!\!& \!\! {B_n^2}\!\!&\!\!{{R_n}{G_n}} \!\!&\!\!{{R_n}{B_n}} \!\!&\!\!{{G_n}{B_n}}\!\!&\!\!{{R_n}}\!\!&\!\! {{G_n}}\!\!& \!\! {{B_n}}\!\!&\!\!1 \end{array}\!\!\!\!\right]^{\rm{T}}} \end{aligned}\right. $

根据以上优化思想, 最终得到优化的四带图像校正算法, 如图2流程图所示.

3 实验结果与分析

先进行3.1节的基础实验, 验证两种优化方法的可用性; 然后在优化的基础上进行三元一次和三元二次校正实验, 即实验3.2; 将每种算法的色差值记录下来, 最终进行色差值比较, 得到最佳校正算法,即优化的三元二次校正算法. 其中色差计算根据CIE色差公式进行计算^[11].

$\Delta E = \sqrt {{{\left( {{L_3} - L_4'} \right)}^2} + {{\left( {{a_3} - a_4'} \right)}^2} + {{\left( {{b_3} - b_4'} \right)}^2}} $

(7)

3.1 三元一次校正模型实验

基于三元一次的四带图像偏色校正算法, 进行数据类型和训练样本的优化实验, 得到三元一次校正模型的24色卡色差比较图, 如图3; 以及相应四带图像24色卡的色差均值比较表, 如表1所示.

从实验数据可知数据类型优化的三元一次校正算法校正效果最好, 其色差均值为3.0722; 其次是训练数据优化的三元一次校正算法, 其色差均值为6.7567; 最后未经优化的三元一次校正算法, 色差均值为7.116. 从优化校正后的色差均值来看, 数据类型优化的三元一次校正算法效果明显; 而训练数据优化的三元一次校正算法在原来基础上略有提高.

3.2 三元二次校正模型实验

将优化后的三元一次多项式回归四带图像偏色校正算法模型中的多项式改为三元二次, 同时使用基于白平衡的灰度世界法进行24色卡色差校正实验. 得到优化后的三元一次与三元二次校正算法的24色卡色差比较图, 如图4所示; 表2是优化后的三元一次与三元二次校正算法的24色卡色差均值比较表.

由实验数据可知, 优化的三元二次校正算法优于优化的三元一次校正算法, 并且都比灰度世界法校正24色块的四带图像效果好.

3.3 室外四带图像偏色校正

采取优化的三元一次和三元二次四带图像偏色校正算法分别对室外红外强度较弱情况下的四带图像进行校正.

首先在相应场景下获取24色卡的三带和四带图像, 如图5.

然后获取色块训练数据, 构建优化的三元一次和三元二次校正算法, 对比图见图6~图9. 分别对图6和图8的四带图像进行校正, 得到图7和图9, 以及相应的误差均值比较表, 如表3和表4所示.

通过比较发现, 优化的三元一次校正算法对操场和草坪的四带图像校正有一定的效果, 但人眼还是可以明显看出偏色, 与相应的三带图像相比, 差别较大; 而优化的三元二次校正算法的校正效果优于前者, 其校正的效果接近于三带图像.

4 结论与展望

本文针对三元一次多项式四带图像回归偏色校正算法的不足, 结合机器学习和彩色图像的特性, 优化三元一次校正算法的训练数据及处理的数据类型, 降低了校正后图像的色差均值; 在此基础上, 根据RGB图像灰阶表达的非线性特性, 使用三元二次校正算法, 使得校正效果进一步得到提高. 本文的研究结果可以为从事红外数字滤波和彩色图像偏色校正领域的研究人员提供参考.