视网膜是人体唯一可以直接观察到血管的部位, 而且可以反映一些先天或是遗传性的疾病, 如早产儿视网膜疾病、视网膜母细胞瘤、糖尿病等. 部分视网膜疾病与全身病相关, 而一些严重的遗传性病变成为重要的儿童致盲眼病, 因此通过获取视网膜图像进行眼科等疾病的诊断具有重要意义^[1].

目前临床上常用直接检眼镜、间接检眼镜、眼底相机和广域视网膜数字化成像系统(简称RetCam Ⅲ)对婴幼儿进行眼底疾病筛查^[2]. 视网膜成像的研究主要基于眼底相机技术, 通过设计照明系统和成像系统来实现视网膜成像. Knoll^[3]于1969年发明了采用内部照明方式的眼底相机, 该眼底相机成像系统和照明系统共用接目物镜, 光能利用率高, 但结构复杂, 像差难校正. DeHoog等^[4]于2008年研究了眼底相机照明系统结构参数, 给出了相关参数的选取方法, 具有重要参考意义. Tran等^[5]于2012年研究了便携式眼底相机, 采用普通数码相机作为图像采集设备, 可以校正人眼屈光度, 但是图像质量受数码相机影响较大. 眼底相机可以实时获取视网膜客观图像, 为医生提供可靠图像依据, 但成像视场小, 只能达到30°~45°的视场角^[6]. 美国Clarity医疗公司研制的RetCam系列设备较广泛用于ROP筛查, 成像视场可高达100°, 但价格高昂, 不能被广泛应用. 因此设计了一款可以实现视网膜广域成像的婴幼儿视网膜广域成像系统具有重要的现实意义.

本文将角膜接触眼底镜应用于眼底相机基本结构^[7–11]中建立了婴幼儿视网膜广域成像系统, 解决了眼底相机成像视场角小的缺点. 该系统包括硬件部分和软件部分. 硬件部分包括照明子系统和成像子系统, 软件部分包括图像处理子系统. 照明子系统中采用多环光纤照明来实现均匀照明; 成像子系统中采用广角接目物镜和成像物镜可以提高光能的利用率, 提高成像视场; 图像处理子系统中采用CMOS相机接收图像, 设计图像处理软件实时获取存储图像、并进行相机标定和畸变校正, 获得较清晰图像以便于医生的诊疗和远程医疗. 实验验证了角膜接触眼底镜对于扩大成像视场的可行性, 所设计系统具有视场大、结构小巧、操作简单、实时性高等优点.

1 婴幼儿视网膜广域成像系统硬件部分设计

婴幼儿视网膜广域成像系统包括硬件部分和软件部分. 角膜接触眼底镜连接照明子系统和成像子系统, 采用内部照明方式, 实现视网膜广域成像; CMOS相机连接硬件部分和软件部分, 搭建成像光路和照明光路, 通过CMOS相机实现图像的采集获取, 通过图像处理子系统实现图像的预处理. 系统设计的流程图如图1所示.

1.1 照明子系统设计

人眼相当于一个暗室, 因此需要设计照明光路照亮眼底. 为实现眼底的充分照明, 光路设计为多环光纤照明的内部照明方式.

1.1.1 光源的选择

在设计照明子系统时, 首要任务是选择光源. 根据我国医药行业标准YY0634-2008《眼科仪器 眼底相机》^[12]的规定, 选用峰值波长介于520 nm~560 nm之间的LED光源.

进入眼睛并被视网膜吸收的辐射通量(520 nm~560 nm)正比于瞳孔的面积. 在亮度<0.01 cd∙m^–2时, 瞳孔的直径约为7 mm, 当亮度达到10 000 cd∙m^–2时, 瞳孔的直径会缩小到大约2 mm. 因此为实现免散瞳成像, 选择亮度范围为10 cd∙m^–2~10 000 cd∙m^–2, 可调节.

1.1.2 照明子系统布置

照明系统采用环形光纤照明. 单环光纤照明结构虽然能实现环形光照明, 但照明视场角较小; 多环光纤照明即可以实现环形照明, 还可以得到比单环结构更大的工作深度, 实现大视场照明, 如图2(a)所示, 可以在 ${h_0}\sim {h_3}$ 深度范围内得到均匀的光斑. 综合分析, 选择多环光纤内部照明方式进行照明, 不仅可以提高光能利用率, 减少能量损失, 提高光照度, 还可以实现广域照明. 照明光路同成像光路共用角膜接触眼底镜, 因此多环形光纤可以在角膜接触眼底镜的前表面呈现环形分布的均匀照明. 多环光纤布置如图2(b)所示.

1.2 成像子系统设计

在成像子系统设计前, 首先根据人眼光学特性及屈光系统结构建立眼模型, 再进行视网膜成像系统成像光路的设计分析, 并分析其光学特性, 在图像处理部分进行几何畸变校正.

1.2.1 婴幼儿眼模型的建立

人眼屈光系统包括角膜前后表面、房水、晶状体、玻璃体、视网膜等. 常用眼模型有Gullstrand I号眼模型、Gullstrand-Le Grand眼模型、Escudero-Sanz大视场眼模型等^[13,14], 其中Gullstrand I号眼模型、Gullstrand-Le Grand等眼模型只适合于研究人眼近轴光学特性, 在进行视网膜周边部分成像时会有较大误差, 因此为同时实现视网膜及其周边部分成像采用Escudero-Sanz大视场眼模型, 该模型定义了视网膜的球面面型, 使得视场增大, 使用范围扩大, 满足设计需要.

用ZEMAX光学设计软件建立Escudero-Sanz大视场眼模型, 图3(a)为在ZEMAX中建立的婴幼儿眼模型, 可借助此模型对视网膜广域成像的成像视场进行准确计算. 图3(b)为0~85°视场内眼模型的场曲和畸变, 视场增大, 畸变增大.

1.2.2 角膜接触眼底镜设计

视网膜图像先经人眼放大成像, 再经角膜接触眼底镜反射成实像. 角膜接触眼底镜的设计决定着该成像系统的成像质量高低及成像视场角大小. 非球面镜具有较好的光学性能, 可以校正系统的高级像差, 简化光学系统结构^[15–17]. 为了实现高的成像质量和大的成像视场角, 我们在设计角膜接触眼底镜时, 镜面两面都采用非球面结构.

通常, 光学设计中采用基准二次曲面+变形的方法来描述偶次非球面, 其普遍式方程为:

$z = \frac{{c{r^2}}}{{1 + \sqrt {1 - \left( {1 + k} \right){c^2}{r^2}} }} + {a_1}{r^2} + {a_2}{r^4} + {a_3}{r^6}+ \cdots $

(1)

式中, k为二次曲面的圆锥系数, $r$ 为径向坐标, $ {a_1},{a_2},$ ${a_3}, \cdots $ 为高次非球面系数. 通过这些参数确定非球面的形状, 以校正像差.

将偶次非球面看成是一个球面与一个中心厚度无限薄的校正板的结合, 如图4所示.

初级像差系数增量为:

$\left\{ \begin{array}{l} \Delta {S_{\rm{I}}} = \left( {n - n'} \right)\frac{b}{{{r_0}^3}}{h^4} = \frac{{(n - n'){e^2}}}{{{r_0}^3}}{h^4}\\ \Delta {S_{\rm{II}}} = \Delta {S_{\rm{III}}} = \Delta {S_{\rm{IV}}} = \Delta {S_{\rm{V}}} = 0 \end{array} \right.$

(2)

式中, $h$ 为校正板的矢量高.

当光阑不在校正板上时, 初级像差系数增量为:

$\left\{ {\begin{array}{*{20}{l}} {\Delta {S_{\rm{I}}} = \left( {n - n'} \right)\frac{b}{{{r_0}^3}}{h^4} = \frac{{(n - n'){e^2}}}{{{r_0}^3}}{h^4}}\\ {\Delta {S_{\rm{II}}} = \Delta {S_{\rm{I}}}\left( {{{{h_z}} / h}} \right)}\\ {\Delta {S_{\rm{III}}} = \Delta {S_{\rm{I}}}{{\left( {{{{h_z}} / h}} \right)}^2}}\\ {\Delta {S_{\rm{IV}}} = 0}\\ {\Delta {S_{\rm{V}}} = \Delta {S_{\rm{I}}}{{\left( {{{{h_z}} / h}} \right)}^3}} \end{array}} \right.$

(3)

式中, ${h_{\rm{z}}}$ 为校正板主光线矢量高.

由式(3)可见, 选在 ${h_{\rm{z}}}$ 大, $h$ 小的位置设为非球面, 可以在尽量少影响轴上像差的同时对轴外像差施加影响.

角膜接触眼底镜如图5所示. 在成像系统中, 要尽可能降低人眼像差造成的影响; 在照明光路中, 应保证多环光纤照明光源形成的环形光经角膜接触眼底镜到人眼瞳孔处, 可以均匀地照亮眼底视网膜及其周边血管区域. 最大静态视场为85°, 焦距10 mm, 按人眼焦距为17 mm进行计算, 放大率为0.59.

角膜接触眼底镜在设计时一方面要尽量校正人眼自身像差, 提高一次成像质量; 另一方面要保证人眼瞳孔和成像光路的环形光阑共轭, 满足广域成像要求. 因此在成像光路设计时, 角膜接触眼底镜采用多重结构进行优化设计, 可以很好的控制像差, 得到理想效果, 满足视网膜广域成像的要求.

1.2.3 视网膜成像光路设计

视网膜成像光路包括角膜接触眼底镜、接目物镜、环形光阑和成像物镜. 由于人眼是个暗室, 所以采用大相对孔径的物镜, 以提高像面上的光照度. 光学系统由焦距 ${f'}$ 、相对孔径 ${D / {{f'}}}$ 和视场角 $2\omega $ 三个参数来表征其基本性能. 成像光路的视场角 $2\omega $ 决定了被拍摄视网膜的空间范围, 视场角 $2\omega = 70^\circ \sim 100^\circ $ 被称为广域成像.

(1) 视场角 $2\omega $ 与放大倍率 $\beta $

正常人眼的焦距 $f$ 为16.6 mm, 物面高度为 $y$ , 则满足关系:

$\tan \omega = \frac{y}{f} $

(4)

当物高为二分之一人眼直径, 即 $y = 12$ mm时, 满足 $\tan \omega = \dfrac{y}{f} = 0.723 < 0.914 = \tan 42.5^\circ $ , 因此在视场角为85°的大视场下, 物高为12 mm. 系统选用大恒图像的工业AVT相机来接收图像, 其有效光电接收靶面尺寸为8.8 mm×6 mm, 所以理论像高为10.65 mm. 放大倍率 $\beta $ 为0.89.

(2) 系统焦距 ${f'}$

视网膜成像系统的入瞳是瞳孔, 经角膜接触眼底镜和接目物镜后所成像是系统的孔径光阑, 即瞳孔与孔径光阑共轭. 考虑到角膜接触眼底镜的厚度, 取接目物镜组瞳孔的距离为35 mm, 孔径光阑位于接目物镜组成像镜组之间, 接目镜组选用广角接目镜组, 半视场50度, 焦距为28 mm, 成像镜组选用广角物镜, 半视场50度, 焦距为16.66 mm. 则根据高斯成像公式得:

$\frac{1}{{{l'}}}{{ - }}\frac{1}{l} = \frac{1}{{{f'}}} $

(5)

由式(5)计算出孔径光阑距离接目物镜的距离为 ${l'} = 140$ mm.

系统总长定为265 mm, 设待检查眼睛为正视眼, 式(6)、(7)成立:

$\beta = \dfrac{{f_2'}}{f} \times \dfrac{{l_2'}}{{ - {l_2}}} $

(6)

$ f_1' - {l_2} + l_2' = 265 $

(7)

已知放大倍率 $\beta $ 为0.89, $f_1' = 28$ mm代入(6)、(7)式, 得 ${l_2} = - 155$ mm, $l_2' = 82$ mm.

根据系统焦距公式:

${f'} = - \frac{{f_1'f_2'}}{\Delta } $

(8)

其中 $\Delta = - {l_2} + f_1' - f_1' - f_2' = - {l_2} - f_2'$ $ = 138.34$ mm, 则 ${f'} = - 3.37$ mm.

综上所述, 得到了成像物镜和接目物镜的工作距离以及成像光路的系统焦距.

(3) 相对孔径 ${D / {{f'}}}$

相对孔径表示能进入镜头到达CMOS上的光能量, 因而决定像平面光照度定义为入瞳直径D与系统焦距 ${f'}$ 之比. 即:

${D / {{f'}}} = 0.89 $

(9)

综上所述为婴幼儿视网膜广域成像系统设计参数.

2 婴幼儿视网膜广域成像系统软件部分设计

婴幼儿视网膜广域成像系统的软件系统由CMOS相机、图像处理软件和计算机组成, 用于采集图像和进行图像预处理. 图像处理软件以VisualStudio 2010为开发平台, 基于C++面向对象编程开发技术, 并结合OpenCV视觉库实现软件的功能.

2.1 图像处理软件实现

在相机打开的情况下, 软件可以读取摄像机视频信息. 用户进入病历信息界面, 可以输入病人基本信息并保存. 摄像机打开后进行相机标定, 并进行几何畸变校正. 将采集的视网膜图像保存在计算机中并实时显示相机拍摄的画面.

2.2 视网膜图像畸变校正

视网膜成像时, 图像畸变有很多因素: (1) 患者坐姿改变; (2) 头部倾斜和眼部的转动; (3) 相机与眼睛间距离的改变; (4) 相机和眼光学系统的固有畸变.

系统可以通过相机标定确定CMOS相机内外参数. 通过相机标定来修正相机模型参数, 以校正光学系统畸变.

2.2.1 相机畸变模型

Xu等人^[18]证明基于平面棋盘格图案的标定结果更精确, 因此本论文采用平面棋盘格图案进行相机标定.

3D空间点 $({X_{{w}}}, {Y_{{w}}}, {Z_{{w}}})$ 与2D图像传感器平面上的投影点 $(u, v)$ 用针孔模型描述为

$s{{{u}}_I} = {{K}}\left[ {\begin{array}{*{20}{c}} {{R}}&{{t}} \end{array}} \right]{{{X}}_W} $

(10)

式中, ${{{u}}_I} = {(u, v, 1)^{\rm{T}}}$ , ${{{X}}_{{w}}} = {({X_{{w}}}, {Y_{{w}}}, {Z_{{w}}}, 1)^{\rm{T}}}$ , $s$ 为物体在相机坐标系的z坐标, $[{{R }}t]$ 为相机外参, ${{K}}$ 为相机内参数矩阵.

$K = \left[ {\begin{array}{*{20}{c}} {{u_s}{f_u}}&\gamma &{{u_0}} \\ 0&{{v_s}{f_v}}&{{v_0}} \\ 0&0&1 \end{array}} \right] $

(11)

式中, $({u_0}, {v_0})$ 为相机的主点坐标; ${f_u}$ 、 ${f_v}$ 分别为 $u$ 和 $v$ 方向的焦距; ${u_s}$ 、 ${v_s}$ 分别为 $u$ 和 $v$ 方向的像元尺寸(像素/mm); $\gamma $ 为 $u$ 和 $v$ 轴间的剪切系数.

视网膜图像采集光学系统较为复杂, 会在视网膜图像中引入几何畸变. 主要包括径向和切向两种主要的畸变^[19,20]. 径向畸变比较小, 可以用 ${{r}} = 0$ 位置的泰勒级数展开式的前几项进行定量描述. 由于角膜接触眼底镜存在较大的畸变, 因此调节公式如下:

$\left\{\begin{gathered} {x_{\rm{corrected}}} = x(1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}) \\ {y_{\rm{corrected}}} = y(1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}) \\ \end{gathered} \right. $

(12)

式中, $\left( {x, y} \right)$ 是畸变点的原始位置, $\left( {{{{x}}_{\rm{corrected}}}, {y_{\rm{corrected}}}} \right)$ 是校正后位置.

切向畸变是由于透镜不完全平行于像平面而产生的, 用两个额外参数 ${p_1}$ 和 ${p_2}$ 来描述, 如下:

$\left\{\begin{gathered} {x_{\rm{corrected}}} = x + \left[ {2{p_1}y + {p_2}({r^2} + 2{x^2})} \right] \\ {y_{\rm{corrected}}} = y + \left[ {{p_1}({r^2} + 2{y^2}) + 2{p_2}x} \right] \\ \end{gathered} \right.$

(13)

其中, 总共有五个所需要的畸变参数. 在OpenCV中将五个参数放置到一个畸变向量中, 形成一个 $5 \times 1$ 的矩阵, 按顺序依次包含 ${k_1}$ , ${k_2}$ , ${p_1}$ , ${p_2}$ , ${k_3}$ .

2.2.2 相机几何畸变校正

在进行成像系统的CMOS相机的标定时, 使用尺寸为 $0.5 \times 0.5$ 英寸的2D棋盘格图案, 置于相机的最佳的焦距处以获得清晰的图像. 相机在正视眼状态下获取到32幅棋盘格图像, 可得到如表1所示的相机内参数, 单位是像素.

得到相机内参数后, 可按式(11)、(12)和(13)进行视网膜图像的径向畸变和切向畸变校正.

3 结果分析

图6(a)、6(b)为相机径向畸变和切向畸变的分布情况, 径向畸变误差间隔为10像素, 切向畸变误差间隔为0.5像素.

由图6可见, 红色圆形区域内为有效成像区域, 最大径向畸变约为20像素, 最大切向畸变约为4像素. 因此, 系统可以实现有效成像区内的视网膜图像的畸变校正.

如图7为开发的婴幼儿视网膜广域成像软件, 可以实现相机的标定和视网膜图像的畸变校正.

文章所采用的基于相机标定的几何畸变校正方法, 有效的补偿了系统几何畸变, 标定后可得到的相机内参数, 可以校正视网膜图像的径向畸变和切向畸变分别为20像素和4像素.

在实验室搭建光路, 利用模型眼进行视网膜图像成像. 将模型眼制作前视网膜展开图与采集图像进行对比, 如图8(a)、8(b).

由图8可知, 该视网膜成像系统可以实现视网膜的广域成像, 并可以采集到视网膜周边血管较清晰的图像. 视场角也比较理想, 可以实现85°广域成像.

光学传递函数(MTF)是像质评价的重要标准, 可以较全面的反映系统成像质量.

根据我国医药行业标准YY0634-2008《眼科仪器 眼底照相机》规定可知, 当视场角为85°时, 视场中心处的分辨率大于60 lp/mm, 视场中部处的分辨率大于40 lp/mm, 视场边缘处的分辨率大于25 lp/mm即可. 在实际应用中, 截止频率的大小取决于探测器的分辨率. CMOS相机的截止频率由像素的大小决定, 即:

$fc = \frac{1}{{2 \times pixel\;width}}$

(14)

文章选用的CMOS相机的像素尺寸为7.4 um, 计算得MTF的截止频率是68 cy/mm.

为获得较好的成像质量, 系统的一般截止频率MTF应大于0.2. 由图9可以看出, 在截止频率为68 cy/mm时, 各视场的MTF均高于0.2, 满足设计与使用要求.

4 结语

婴幼儿视网膜广域成像系统包括硬件部分和软件部分. 硬件部分包括照明系统和成像系统. 针对视网膜图像获取问题, 研究了人眼光学特性及屈光结构, 根据婴幼儿眼球特点建立了Escudero-Sanz大视场眼模型, 设计了角膜接触眼底镜, 可以实现85°视场的视网膜广域成像.

软件部分由CMOS相机、图像处理软件和计算机组成. 从理论上对视网膜成像过程中的广域视场、照明与图像特点等进行了分析, 提出的基于平面棋盘格图案标定法的几何畸变校正方法可有效校正成像系统中的几何畸变.