1 引言

视神经炎是一种由视神经病变产生的炎症^[1], 常见于儿童和青壮年中. 在临床上, 传统的视神经炎可以被分为典型和非典型两种形式^[2]. 典型视神经炎常以多发性硬化(MS)为主要的症状. 非典型性视神经炎通常指非MS相关性免疫调节性视神经炎^[3], 一般伴随其他炎症性疾病出现. 视神经炎早期阶段, 患者会出现眼球疼痛和明显的、非正常的视力下降症状, 一旦发展到后期, 会衍生出眼球萎缩的症状, 甚至会给患者造成不可逆的永久性失明. 因此, 视神经炎的早期诊断对于治疗有着重要的作用. 目前, 视神经炎主要是人工诊断的形式, 由眼科医生根据患者的眼底视网膜图像特征进行诊断和分析, 但是由于早期视神经炎的特征不明显, 并且所采集的眼底视网膜图像的质量容易受当日光照, 采集机器的影响, 种种情况导致视神经炎的诊断准确率不高, 效率低, 特别是当患者人数过多, 眼科医生人手不够时, 容易造成误诊或是诊断不及时的状况^[4], 拖延了患者早期治疗时间. 因此, 设计一个基于深度学习的视神经炎自动分类系统非常必要, 在自动分类系统的帮助下, 辅助医生高效地完成诊疗, 保证患者的最佳治疗时间.

随着深度学习的发展, 越来越多的人选择使用深度学习技术来进行医学图像的处理. 丁蓬莉等人^[5]在AlexNet基础上, 提出了一种新的CompactNet网络模型对糖尿病视网膜图像进行自动分类, 但是由于已标记的视网膜图像数据分配不均匀, 不能充足地提取图像中的特征, 使得分类准确率不高. 针对特征提取不充分的问题, 李琼等人^[6]设计了一种具有更深结构的BNnet网络, 并使用了迁移学习的训练方法进行特征提取, 以提升糖尿病视网膜图像分类准确率, 但该方法在图像预处理, 特征提取, 图像分类3部分未形成一个完整的系统. 根据眼底图像含有多种细微特征的特点, 连先锋等人^[7]以VGG-16网络模型为基础, 加入多特征融合, 有效地减少了网络参数, 进一步提高了分类准确率. Jayakumari等人^[8]使用Inception V3卷积神经网络来挖掘糖尿病视网膜检测和分类过程中多层网络的深层信息, 但是由于所有类别的图像数量不足, 导致准确率不高.

在上述方法的基础上, 加入注意力机制可以进一步提高网络的分类能力. 近年来, 注意力机制得到了快速的发展, 在深度学习领域有了广泛的应用. 程小辉等人^[9]提出了一种融合MobileNetV2和EfficientNetB0网络的注意力网络ME-ANet, 使用全局注意力机制来学习图像中病变特征, 但由于数据集质量不高, 评估体系不完善, 影响了分类精度和准确率. 张子振等人^[10]将高效率网络EfficientNet与注意力机制相结合进行图像分类工作, 提取出更多的有效特征信息. Li等人^[11]在CenterNet模型中加入混合注意力模块(CBAM), 并使用ReLU6函数替代原来的ReLU函数以避免梯度爆炸问题, 该方法虽然提高了分类性能, 但产生了过拟合现象, 导致模型泛化能力不高. Li等人^[12]将卷积块注意模块与深度可分离卷积进行协同集成, 形成了一种轻量级的AM-SdenseNet网络, 减少了参数以克服过拟合问题, 但是数据集没有满足大型网络的训练需求. Sun等人^[13]使用了一种基于注意力机制和深度残差网络的卷积神经网络(RANet)来提取特征, 设计了一种混合集成模型TSRNet对提取的特征进行分类. Lan等人^[14]利用ResNet-34模型结合CBAM来提取整体特征和局部特征, 并融合两种特征设计了FusionSegNet网络, 但是注意力机制的定位与临床图像数据特征的结合性不足, 导致病变区域定位误差率高.

通过分析上述文献, 加入注意力机制可以提高分类准确率, 但是对临床数据分类的效果还不够理想, 所以, 本文对来自大连市第三人民医院的视神经炎临床数据进行了分析, 将正常眼底图像与视神经炎图像进行对比. 在正常眼底图像中, 视盘呈圆盘状, 形状规则, 边界清晰分明, 视网膜周围血管走向正常, 无动静脉管壁的扩张迂曲(如图1(a)所示); 在视神经炎眼底图像中, 视盘边界模糊, 呈现发散状, 视盘附近出现条状出血(如图1(b)所示), 视网膜周围血管出现明显的扩张(如图1(c)所示), 因此本文根据上述视神经炎临床特征, 提出一种融合改进的混合注意力机制的AlexNet2_att视神经炎自动分类模型, 使之可以提取到更多的区域内临床特征, 提高对视神经炎临床数据的分类准确率, 增强模型的实用性.

本文提出的AlexNet2_att分类模型, 是以AlexNet为基础, 在AlexNet网络的5个卷积层的每个卷积层后面添加一个批归一化层(batch normalization), 来加快模型训练时的收敛速度, 使得模型训练过程更加稳定, 同时在AlexNet网络中的池化操作中, 采用最大池化操作(max pooling), 来有效减少网络参数的数量. 在改进的AlexNet网络的基础上, 加入本文提出的改进的混合注意力机制CS-CBAM, CS-CBAM是CBAM的改进模型, 将通道注意力模块中的平均池化和最大池化的多分支结构改为平均池化单分支结构, 减少参数以加快网络训练, 将全连接层用卷积层替代, 可以从特征图的全局特征中锁定视神经炎图像中关键的局部特征. 为了验证本文模型对视神经炎临床数据的分类效果, 使用不同的网络与本文提出的模型进行对比, 同时在本文的临床数据集上进行训练和评估, 结果证明了本文模型在视神经炎临床数据分类上具有良好的性能.

2 数据集与预处理 2.1 数据集介绍

本文所用数据来自于大连市第三人民医院, 所用数据均为视神经炎患者的临床数据. 针对临床数据中视神经炎患病图像与正常图像的数量不平衡, 影响网络训练效果的问题, 本文收集了医院内多批视神经炎患者眼底图像, 使患病图像数量与正常图像数量上达到平衡. 数据集中含有103张视网膜彩色图像, 分辨率为2992×2000, 根据是否患有视神经炎, 将数据集分为视神经炎图像和正常图像两类, 视神经炎图像有51张, 正常图像有52张. 数据集信息如表1所示. 数据集样例图如图2所示.

2.2 数据预处理

在图像采集时, 图像可能会有过曝光、亮度过暗或者被大量噪声所污染的情况, 导致数据集中图像质量不一. 使用神经网络进行训练和分类时, 所用数据的质量将会对训练结果有着很大的影响. 为了进一步提高网络的分类准确率和速度, 需要对所用数据集进行预处理操作.

通过预处理, 筛选出不适合训练的图像, 并将图像转换成方便后续机器学习的形式, 同时进行数据增强操作, 扩增和平衡数据集中正常图像和患病图像数量, 避免图像数量不足、类别不均衡导致的分类结果误差.

2.2.1 去除冗余信息

数据集中图像分辨率为2992×2000, 图像的两侧含有无用的黑色边框, 为了使图像的细节特征更明显, 提升网络的训练速度, 需要去掉图像中多余的黑色边框, 除去图像中的冗余信息, 如图3(b)所示.

本文网络模型默认输入图像分辨率为227×227, 去除黑框后, 将所得图像统一修改分辨率为227×227.

2.2.2 数据均衡化处理

原始数据集中的数据具有亮度、色调不一致的情况, 拟采用CLAHE算法^[15]来对图像进行限制对比度的自适应直方图均衡化, 从而增强图像的对比度.

首先, 初始图像是RGB的彩色图像, 先使用RGB通道分离技术进行提取图像绿色通道操作, 在提取绿色通道后的图像中, 血管显示更加清晰, 有助于模型对特征的提取, 以及减少计算时间和资源^[16]. 处理结果如图4(b)所示.

之后使用CLAHE算法, 进行限制对比度自适应直方图均衡化操作. CLAHE是一种非常经典的直方图均衡化算法, 比起传统的AHE算法来说, 能够在增强图像对比度的同时抑制噪声. 结果如图4(c)所示.

2.2.3 数据增强

由于数据集图像数量少, 不利于模型学习图像的本质特征, 会影响模型的鲁棒性. 所以, 本文使用多种数据增强方法对数据集的数量进行扩充, 以此提高模型的学习效果, 具体方法如下所示.

(1) 旋转

通过将预处理后的图像顺时针旋转90°、180°、270°的方法, 实现旋转处理的图像数量增强.

(2) 翻转

将预处理后的图像分别进行水平翻转和垂直翻转处理. 实现翻转处理的图像数量增强.

(3) 平移

将预处理后的图像按上下左右4个方向分别平移20个像素单位, 实现平移处理的图像数量增强.

经过数据增强处理后, 将原有数据集的图像数扩充8倍, 数据增强样例如图5所示.

3 实验方法 3.1 AlexNet

2012年, Krizhevsky等人设计的AlexNet^[17]在当年的ImageNet图像分类比赛中获得第1名. 引起了广泛的关注, 证明了CNN在复杂模型中的有效性. AlexNet网络模型由5个卷积层, 3个全连接层组成. AlexNet默认的输入图像分辨率为227×227×3. 该8层结构框架可保证其强大的学习分析能力, 加速对海量数据集的处理, 缩短网络训练过程与研究周期, 并减少卷积神经网络过拟合的发生. AlexNet网络结构如图6所示.

与CNN相比, AlexNet在激活函数上选取了非线性非饱和的ReLU函数. ReLU激活函数比Sigmoid激活函数有更快的训练速度, 并且在训练阶段梯度衰减快慢方面, ReLU激活函数也要优于Sigmoid函数. ReLU函数的公式如式(1)所示. AlexNet 采用dropout正则化方法来解决过拟合问题. 在AlexNet的前两个全连接层的后面, 加入了dropout层, 并设置的失活概率为0.5, 有效地减少了过拟合现象的发生, 减少了计算量的同时, 也降低了参数量.

$ReLU(x) = {\rm{max}}(0, x)$

(1)

3.2 混合注意力模块

近几年, 人们发现将注意力机制与深度学习技术相结合, 不仅可以深度地学习特征图像中有意义的特征信息, 而且更容易找到特征信息在图像中的具体位置, 从而忽略输入中的背景干扰以及冗余信息^[18], 大大提高了网络的学习效率和准确率^[19]. 注意力机制可分为3种, 分别是通道注意力机制, 空间注意力机制和混合注意力机制^[20].

CBAM^[21]是从通道维度和空间维度计算特征的混合注意力机制, 将注意力映射与输入特征映射相乘, 自适应学习特征. CBAM具体结构如图7所示.

针对视神经炎病变眼底图像中病变区域不明显, 出现出血症状时的出血点位置难以判断的问题, 本文在所使用的网络中加入了混合注意力CBAM模块, 进行多次训练后, 发现加入注意力模块后网络对视神经炎临床数据集分类的结果没有明显的提升, 分类效果不显著. 基于上述问题, 本文提出了一种改进的混合注意机制——CS-CBAM注意模块, 它包含一个改进的通道注意力模块和一个空间注意力模块. CS-CBAM模块示意图如图8所示.

在改进的通道注意力模块中, 只采用平均池化操作实现对图像通道特征的压缩, 降低模块的复杂性. 因为采用单支的池化操作, 池化后输出特征图的复杂性不高, 同时为了加强该模块对每个通道重要性的特征学习, 将MLP中的全连接层替换为卷积核大小为1×1的卷积层, 实现通道特征的进一步学习与提取.

将特征图 ${F_{{\rm{in}}}}$ 输入到CS-CBAM模块后, 首先进行平均池化, 然后将特征图进行两次卷积操作, 之后将卷积后得到的特征图通过Sigmoid函数进行激活, 最后将激活后所得的特征图和输入特征图 ${F_{{\rm{in}}}}$ 进行对位相乘的乘法操作, 得到输出特征图 ${F_{{\text{C-out}}}}$ . 至此, 完成通道注意力的提取工作, 之后进行空间注意力的提取. 将通道注意力模块的输出 ${F_{{\text{C-out}}}}$ 作为空间注意力模块的输入, 首先顺序进行最大池化和平均池化的处理, 然后, 将处理后的特征图输入到一个卷积核为7×7的卷积层中, 之后经过Sigmoid函数进行激活, 最后将激活后的特征图和空间注意力模块的输入特征图 ${F_{{\text{C-out}}}}$ 进行对位相乘, 输出最终的特征图 ${F_{{\text{CS-out}}}}$ . 完成了整个CS-CBAM模块的流程.

3.3 AlexNet2_att网络

传统的AlexNet模型, 由于参数过多, 容易产生过拟合现象^[22], 导致AlexNet模型分类准确率不高. 所以为了提高本文模型训练准确率和训练速度^[23], 本文对AlexNet进行了改进, 设计了一个融合混合注意力机制的改进AlexNet网络AlexNet2_att.

在原有AlexNet的基础上, 将原有的位于第1, 第2, 第5卷积层的局部响应归一化层(LRN)换成批归一化层(BN), 同时在第3、第4卷积层后也加入批归一化层. 批归一化处理是由Ioffe等人^[24]提出的一种数据处理技术, 用于训练神经网络, 一般位于全连接层和卷积层之后、激活函数之前. 引入批归一化层可以有效减少网络训练时间^[25]. 在批归一化层中, 首先计算每个输入值的均值与方差, 计算公式如式(2)和式(3), 之后根据所得均值和方差, 对输入进行批归一化处理, 计算公式如式(4).

$\mu = \frac{1}{\lambda }\sum\limits_{i = 1}^\lambda {{X_i}}$

(2)

$\sigma = \frac{1}{\lambda }\sum\limits_{i = 1}^\lambda {{{({X_i} - \mu )}^2}}$

(3)

其中, $\mu$ 为输入 ${X_1}, {X_2} , \cdots , {X_\lambda }$ 的均值. $\sigma$ 为输入 ${X_1}, {X_2} , \cdots , {X_\lambda }$ 的方差.

$\mathop {{\hat X_i}}\limits = \frac{{{X_i} - \mu }}{{\sqrt {{\sigma ^2} + m} }}$

(4)

其中, $\mathop {{\hat X_i}}\limits$ 为归一化后的结果, m是一个极小值.

如果仅使用式(4)对输入数据进行归一化, 会对本层网络所学习到的特征有所破坏. 于是引入两个可学习参数 $\alpha , \; \beta$ 来进行恢复. 计算公式如式(5):

${y_i} = {\beta _i}{X_i} + {\alpha _i}$

(5)

AlexNet2_att模型中, 对AlexNet的池化层采用最大池化(max pooling)运算^[26], 实现更快的训练速度. 将max pooling加在第1卷积层, 第2卷积层和第5卷积层后面. 最大池化是在每个区域中找到最大的值, 最后提取出原始特征图中的主要特征. 最大池化层的计算如式(6)所示:

${P_n} = \mathop {{\rm{max}}}\limits_{i \in {R_n}} {C_i}$

(6)

其中, ${R_n}$ 表示特征图中的第n个池化区域, ${C_i}$ 表示 ${R_n}$ 的第i个像素的值.

经过上述的改进, 形成了改进的AlexNet2网络, 在AlexNet2的基础上, 融入本文提出的CS-CBAM混合注意力模块, 让其在通道注意力和空间注意力两方面对图像进行特征提取. 在AlexNet2网络的卷积层和全连接层之间以串行的连接方式, 加入本文设计的CS-CBAM混合注意力模块, 形成AlexNet2_att模型. CS-CBAM混合注意力模块以改进的AlexNet2网络的卷积层所获得的特征为输入, 在注意力模块中对特征进行自适应学习, 整合有意义的特征信息, 忽略冗余无用的信息, 最后将结果送入网络的全连接层和Softmax层进行分类输出. AlexNet2_att模型如图9所示.

4 实验结果 4.1 评价指标

在本文中, 使用损失率(loss)、准确率(accuracy)、精确率(precision)、特异性(specificity)、召回率(recall)、F1-score来对实验结果进行有效的评估. 各评价指标计算公式如下所示.

$accuracy = \frac{{TP + TN}}{{TP + TN + FP + FN}}$

(7)

$precision = \frac{{TP}}{{TP + FP}}$

(8)

$recall = \frac{{TP}}{{TP + FN}}$

(9)

$specificity = \frac{{TN}}{{TN + FP}}$

(10)

$F1 {\text{-}} score = \frac{{2 \times precision \times recall}}{{precision + recall}}$

(11)

其中, TP是样本为正类, 预测结果为正类样本的数量; TN是样本为负类, 预测结果为负类的数量; FP是样本为负类, 预测结果为正类的错误分类数量; FN是样本为正类, 预测结果为负类的错误分类的数量. 性能指标的范围为[0, 1], 数值越大, 表示分类效果越好.

在对临床视神经炎数据进行分类时, 特别需要模型对视神经炎的视盘边界以及视盘周围血管特征进行学习, 通过这些特征来准确判断图像的类别. 同时临床中要考虑模型的实用性, 即模型需要满足错误率低的要求, 因此accuracy值的大小将会作为评估本文模型对临床数据分类结果的一个重要指标.

4.2 结果分析

本文的视神经炎分类模型的流程如图10所示. 将预处理后的图像输入到本文的网络中, 进行训练与预测, 将训练集和测试集以7:3的比例进行划分. 本文网络的学习率设置为0.0001, MiniBatchSize设置为128, 选择最大迭代次数MaxEpochs为10. 使用混淆矩阵来输出实验结果, 使用本文方法, 视神经炎图像的分类准确率可达99.2%, 实验结果如图11所示, 混淆矩阵共有3行3列, 其中每行代表图像真实的类别, 每列代表预测的类别. 绿色方框中的第1行数据为预测正确的图像数量, 第2行数据为预测正确的图像数量占总图像数的比例. 粉色方框中的第1行为预测错误的图片数量, 第2行数据为预测错误的图像数量占总体图像数量的比例. 第3行、第3列为实验结果, 其中的上下两组数据分别为每种识别情况下预测正确和预测错误的比例. 网络进行训练过程中, AlexNet2_att网络模型的损失函数(loss)和平均准确率(accuracy)的曲线如图12所示. 从图12(a)中可以看出, 在训练后期, 准确率可以稳定在99%左右.

使用本文所提出的评价指标对AlexNet2_att模型的分类结果进行评估. accuracy、precision、recall、specificity、F1-score一系列评价指标值如表2所示. 可以看出, 使用AlexNet2_att模型对数据集进行训练, 实验结果准确率可以达到99.19%, 精度为99.18%, 召回率为99.18%, 特异性的值为99.19%, 而且综合评价指标F1-score的百分值高达99.18%, 进一步证明了本网络的分类效果显著.

4.3 对比分析

为了验证本文方法在视神经炎图像分类工作上的性能, 设置了两组对比实验, 实验中使用不同的网络对本文的数据集进行分类, 依然使用准确率(accuracy)、精确率(precision)、特异性(specificity)、召回率(recall)、F1-score比较本文方法与其他方法的分类性能.

实验1. 为了证明本文提出的分类方法在图像分类上的创新性和实用性, 将本文方法与VGG16^[27]、VGG19^[27]、ResNet50^[28]、GoogLeNet^[29]、DenseNet^[30]这5个传统的卷积神经网络(CNN)进行对比. 实验过程中, 6个模型均使用本文数据集进行测试, 实验结果如表3所示. 从表3中可知, 本文方法的各项指标均高于其他5个网络, 准确率分别比VGG16、VGG19、ResNet50、GoogLeNet、DenseNet高了14.41%, 13.19%, 10.30%, 8.21%, 7.52%, 综合评价指标F1-score的百分值分别比其他5个网络提高了12.91%, 12.39%, 9.52%, 7.98%, 7.12%, 实验结果表明, 本文方法在视神经炎视网膜图像分类上的分类方法有效, 分类效果显著.

实验2. 本文模型在AlexNet的基础上, 对AlexNet进行改进形成了一个新的AlexNet2网络, 在AlexNet2网络的基础上串行加入了CS-CBAM混合注意力模块, 最终形成本文模型AlexNet2_att. 在实验2中, 为了验证本文模型的网络改进优点以及加入CS-CBAM模块对图像分类的重要性, 使用AlexNet, AlexNet2以及在原AlexNet网络加入CS-CBAM模块形成的网络AlexNet_att与本文模型进行对比实验, 实验结果如表4所示.

从表4数据可知, AlexNet2与AlexNet相比, 准确率提高了3.94%, 精确率提高了5.87%, 召回率提高了1.41%, 特异性提高了6.44%, F1-score的百分值提高了3.66%, 这说明, 改进的AlexNet2网络有效地提高了原网络的分类性能. AlexNet_att与AlexNet相比, 各项评价指标都有显著提高, 这说明, 本文设计的改进的混合注意力CS-CBAM模块可以对网络卷积层中提取不到的细小病变特征进行准确提取, 证明了加入CS-CBAM模块可以有效提高视网膜图像分类准确率.

实验结果显示, 本文方法所得的各项评价指标值均为最高, 说明了本文所提出的融合了混合注意力机制的深度学习网络AlexNet2_att具有良好的分类性能.

5 结论与展望

针对视神经炎分类困难, 分类准确性不高的问题, 本文提出了一种基于改进的混合注意力机制的AlexNet2_att视神经炎分类模型. 首先, 对AlexNet进行改进, 加入批归一化层并进行最大池化操作, 形成改进的AlexNet2网络. 然后, 在CBAM混合注意力机制基础上, 对其中的通道注意力进行改进, 形成了改进的CS-CBAM混合注意力模块. 最后, 将CS-CBAM模块融合到改进的AlexNet2网络中, 形成一个融合改进的混合注意力机制的AlexNet2_att分类模型. 为了测试模型的分类性能, 将预处理后的图像送入AlexNet2_att模型进行学习, 并使用一系列评价指标对实验结果进行评价. 本文模型的分类准确率达到99.19%, 评价指标F1-score百分值达到99.18%, 证明本文模型的视神经炎分类效果显著, 可以辅助医生进行视神经炎的分类和诊断.

后续, 为了进一步提高模型的分类准确率, 考虑加入多特征提取的方法对视神经炎图像进行分类, 使用不同的方法提取不同的特征, 找到多种病变特征从而提高分类的准确率.