训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.
Whether the lung is infected by COVID-19 can be effectively detected from lung computed tomography (CT) images by the computer-aided diagnosis system whose training is based on deep learning. However, the main problem is the lack of high-quality labeled CT images available for training. This study proposes a method of augmenting lung CT images with the generative adversarial network (GAN). Specifically, labels of different infected areas are generated, and Poisson fusion is performed to enhance the diversity of the generated images. Then, image transformation and generation are implemented by training the GAN model to fulfill the purpose of augmenting the CT image. Segmentation experiments based on the augmented data are also carried out to verify the effectiveness of the data generated. The results of the image generation and segmentation experiments both show that the proposed image generation method achieves favorable effects.
新型冠状病毒(新冠肺炎)自2020年初被发现以来, 已在全球范围内迅速蔓延, 严重威胁着人类健康, 尽早发现并加以隔离治疗是遏制新冠肺炎蔓延的有效途径. 目前, 利用深度学习技术进行肺部CT图像的分析可以尽早检测出是否感染的情况[
目前, 常用的图像扩增方式大都是基于深度学习的方法, 尤其是利用生成对抗网络(generative adversarial networks, GAN)[
由于不同模态图像的配对结果影响CT图像的生成质量, 而且获取配对准确的CT图像和MR图像也是非常困难且成本昂贵的. 为了解决该问题, 研究人员提出了DualGAN[
Wolterink等人[
针对新冠CT图像稀缺现状, 本文以公开的COVID-19 CT数据集为基础, 提出一种新颖可编辑的三阶段CT图像生成方法(three-stage amplification method), 简称为TSA方法, 来扩增CT图像. 首先, 利用无监督的生成对抗网络扩增感染分割标签; 其次, 基于泊松编辑方法实现对病灶区域的融合; 最后, 利用有监督的条件生成对抗网络CGAN[
文章的其余部分组织如下: 在第2节中, 介绍了生成对抗网络的相关概念. 在第3节中, 介绍了本文提出的方法. 在第4节中, 介绍了实验数据集和生成分割实验结果并进行了分析. 在第5节中, 对本文研究工作进行了总结.
生成对抗网络GAN是一种无监督的深度学习方法, 自2014年被Goodfellow等人[
生成对抗网络GAN模型
通过最小化生成图像与真实图像之间的误差, 然后反馈到生成器和鉴别器更新优化各自的网络参数, 使得生成器可以生成鉴别器无法鉴别出来的更加真实的数据, 而鉴别器也通过不断更新优化网络参数达到最高的鉴别效果. 二者之间相互对抗不断优化, 提高生成器生成图像的质量以及鉴别器鉴别真假的能力, 经过对抗训练后达到一个动态平衡的状态, 认为此时生成器生成的图像质量最好. 其目标函数如式(1)所示.
其中,
条件生成对抗网络CGAN是由Mirza等人[
其中,
本文提出的TSA方法分为扩增分割标签、泊松编辑融合图像、生成CT图像3个步骤. 整体框架结构如
(1)标签扩增: 使用VAE-GAN[
(2)编辑标签: 利用泊松编辑的方法实现不同区域、数量分割标签的插入, 用于扩增分割标签的多样性以及生成CT图像的多样性.
(3) CT图像生成: 使用基于CGAN的图像生成模型, 然后引入ERUNet[
实现肺部CT图像精确分割, 需要足量带标签的数据, 为扩增带标注的CT图像的多样性, 本文提出通过扩增分割标签的多样性来实现生成感染区域多样性的CT图像.
由于标签区域相对较小, 不需要太复杂的网络来生成. 本部分采用VAE-GAN[
TSA方法架构
生成感染区域标签图像
首先, 对整张标签图像进行预处理, 由于感染区域比较分散, 在整张标签图像中所占比重较小, 通过阈值处理的方法提取感染区域的部分为独立的标签, 并将尺寸统一为64×64作为数据集; 然后, 使用GAN模型进行训练, 在保证生成图像质量最佳的情况下进行数据的扩增.
为减少实验误差, 对扩增和的感染区域分割标签进行去噪处理, 将其处理为跟原数据标签阈值相同的标签图像. 同时, 扩增的融合标签可以作为配对的分割标签, 这样可以减少对图像标注的过程.
泊松编辑是Pérez等人[
其数学基础在于狄利克雷边界条件下的泊松方程. 进行融合的图像在通道上进行计算, 并通过引导插值法来解泊松方程. 泊松编辑方法提出一个引导矢量场, 通过解泊松方程来进行准确的拉普拉斯算子插值. 如
引导差值
定义
其中,
其中,
其中,
由于泊松编辑可以实现源图和任意目标区域的融合, 本部分进行融合的图像为感染区域的分割标签和肺部的分割标签. 在该过程中, 本文将GAN扩增的感染区域标签和肺部的分割标签进行编辑, 自行选择要融合的区域以及数量, 实现可编辑的标签融合, 扩增生成标签多样性. 为保证最终生成图像的质量, 对融合后的图像进去噪处理, 并提取CT图像的轮廓线作为约束条件, 添加到融合后的图像优化生成标签, 用于后续CT图像的生成. 如
融合标签
在实现标签图像到肺部CT图像的生成中, 我们使用基于条件生成对抗网络(CGAN)的Pix2Pix模型[
CT图像生成模型
实验中采用处理过的数据来训练, 让网络学习从生成标签到CT图像的映射, 实现将生成标签转换为真实的CT图像. 在生成网络模型达到最优的情况下, 将扩增的带有不同病灶区域的标签作为验证输入, 批量生成对应的感染区域多样性的CT图像.
该网络需要优化的目标函数包含两部分, 其一是CGAN的优化目标, 另一部分是L1距离, 如式(6)所示, 用于约束生成图像和真实图像之间的差异减少生成图像的模糊.
其中,
基于残差网络的ERUNet网络结构
实验中使用Kaggle公开的COVID-19分类分割挑战赛数据集作为研究的数据基础. 该数据集包含20例新冠肺炎患者的CT图和放射科专家对肺部感染区域标注的分割标签, 其中每例患者都有不同切片数量的图像, 如
对提取的数据进行处理并划分数据集, 为方便计算将图片尺寸统一缩放至512×512. 实验中的数据集分为两部分: 第一部分为用于扩增感染区域的分割标签数据. 由于感染区域相对整张图像来说比重较小, 使用基于OpenCV的图像截取方法获取分割标签中感染区域的图像, 然后将尺寸统一为64×64, 用于感染区域分割标签的扩增.
图像生成模型训练的数据. 使用阈值处理方法去掉图像中无关的部分, 避免其它因素影响实验, 并提取CT图像的轮廓线添加至对应的分割标签上进行图像的配对保存(见
实验在一台Windows 10系统, 显卡为RTX 3090, 显存为24 GB的服务器上进行, 使用Python 3.8, PyTorch 1.7搭建神经网络模型, 使用Matlab 2018a进行泊松融合; 采用Adam优化算法来优化网络参数, 学习率设置为0.001, 将数据按照8:2划分训练集和测试集, 输入和输出的图像尺寸均为512×512.
数据集样本示例
为验证本文提出的生成方法的性能, 采用峰值信噪比(
其中,
其中,
为了证明提出方法的有效性以及验证生成图像的质量, 我们对比使用UNet和ResUNet结构作为生成器与ERUNet结构生成的图像进行对比. 实验进行1 000轮的迭代训练, 经过400个epoch可以看到生成图像的质量已经比较清晰.
不同生成器结构生成图像对比
生成图像细节对比
本文对不同的生成器网络各进行3组交叉验证,
交叉验证生成图像指标
网络 | 评价指标 | 1 | 2 | 3 | Average |
|
28.480 2 | 28.545 0 | 28.610 0 | 28.545 0 | |
0.813 1 | 0.814 4 | 0.821 8 | 0.816 4 | ||
Time (s) | 33.10 | 32.46 | 33.26 | ||
|
29.590 6 | 30.198 6 | 29.876 5 | 29.888 5 | |
0.846 1 | 0.849 1 | 0.840 0 | 0.845 0 | ||
Time (s) | 53.12 | 53.99 | 53.66 | 53.59 | |
|
31.018 1 | 31.071 0 | 31.039 7 | ||
0.880 0 | 0.880 7 | 0.880 6 | |||
Time (s) | 46.09 | 46.72 | 46.56 | 46.48 |
为进一步验证所提方法在生成数据方面的有效性以及验证扩增数据对提高模型检测精度的影响, 本部分引入U2Net网络[
扩增的CT图像
将实验划分为两组进行, 第1组为不包含生成数据的原始CT图像的分割实验, 需要提取数据集中CT图像和配对感染区域分割标签并划分数据集, 其中训练集950张, 测试集300张; 第2组为训练集中添加生成图像的对比实验, 其中训练集图像为原始的950张和添加不同数量的生成图像, 测试集是300张图像. 在相同的实验条件下, 两组实验进行100个Epoch迭代训练后测试分割结果. 为了验证分割结果的精确度, 使用
其中,
经过100个Epoch的训练后使用测试集进行验证, 实验结果如
对比添加生成数据分割结果
指标 | No GAN | GAN100 | GAN200 | GAN300 | GAN400 | GAN500 |
0.7281 | 0.7376 | 0.7461 | 0.7547 | 0.7528 | ||
0.7293 | 0.7387 | 0.7458 | 0.7498 | 0.7511 | ||
0.7288 | 0.7392 | 0.7471 | 0.7542 | 0.7523 | ||
Average | 0.7287 | 0.7385 | 0.7463 | 0.7529 | 0.7520 |
综上, 本文的实验结果进一步证明了所提生成方法有效性, 利用GAN来生成数据, 可以增加数据的多样性以及进行扩充数据用于训练, 随着不同扩增数据的增加, 对于病灶区域的分割准确度均高于基准未添加扩增数据的分割精度.
分割结果对比
针对医学图像获取困难和不均衡的现状, 本文提出一种通过三阶段操作实现扩增CT图像的TSA方法, 避免了现有的不同模态图像之间转换方法的局限性, 有效的实现了可编辑的CT图像扩增. 经过对比实验显示, 所提出的生成方法不仅有效, 而且在扩增医学图像多样性方面显示出了较好的效果. 此外, 为进一步验证方法的有效性, 提出利用生成数据进行分割实验测试, 结果表明利用GAN来扩增数据用于训练对于提高模型的检测精度具有重要意义. 本文研究中存在的不足之处是使用的生成器网络生成图像的时间相对高于基准的UNet网络, 因此接下来要研究的方向也是在提高图像质量的前提下, 优化生成器网络尽可能的减少生成图像的时间.
et al. Deep learning models for COVID-19 infected area segmentation in CT images. Proceedings of the the 14th Pervasive Technologies Related to Assistive Environments Conference. Greece: ACM, 2021. 404–411.]]>
郭保苏, 庄集超, 吴凤和, 等. 基于CT图像卷积神经网络处理的新冠肺炎检测. 计量学报, 2021, 42 (04): 537–544.
Saood A, Hatem I. COVID-19 lung CT image segmentation using deep learning methods: U-Net versus SegNet. BMC Medical Imaging, 2021, 21(1): 1–1019.
et al. Generative adversarial networkss. Proceedings of the 27th International Conference onAdvances in Neural Information Processing Systems. Montreal: MIT Press, 2014, 3. 2672–2680.]]>
Boni K N DB, Klein J, Vanquin L,
王蕾, 李媛茜. 基于生成对抗网络的CT图像生成. 成都信息工程大学学报, 2021, 36(03): 286–292.
et al. Medical image synthesis with context-aware generative adversarial networks. Proceedings of the 20th International Conference on Medical Image Computing and Computer-assisted Intervention. Quebec City: Springer, Cham, 2017. 417–425.]]>
Emami Hajar EH, Dong Ming DM, Nejad-Davarani SSiamak P, ND
et al. X2CT-GAN: Reconstructing CT from biplanar X-rays with generative adversarial networks. Proceedings of the 2019 IEEE/ CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019. 10611–10620.]]>
et al. Dual GAN: Unsupervised dual learning for image-to-image translation. Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017. 2868–2876.]]>
et al. Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice: IEEE, 2017. 2242–2251.]]>
吴香奕, 曹锋, 曹瑞芬, 等. 基于循环一致性生成对抗网络的盆腔伪CT生成方法. 中国医学物理学杂志, 2021, 38(01): 21–29.
et al. Deep MR to CT synthesis using unpaired data. Proceedings of the Second International Workshop on Simulation and Synthesis in Medical Imaging. Québec City: Springer, Cham, 2017. 14–23.]]>
et al. Adversarial image synthesis for unpaired multi-modal cardiac data. Proceedings of the Second International Workshop on Simulation and Synthesis in Medical Imaging. Québec City: Springer, Cham, 2017. 3–13.]]>
et al. Auto-encoding beyond pixels using a learned similarity metric. Proceedings of the 33rd International Conference on International Conference on Machine Learning. New York: JPMLR, 2016. 1558–1566.]]>
Kou CX, Li W, Yu ZK,
Yu ZK, Yan RY, Yu YY,
et al. Image-to-image translation with conditional adversarial networks. Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017. 5967–5976.]]>
et al. Deep residual learning for image recognition. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016. 770–778.]]>
Zhang ZX, Liu QJ, Wang YH. Road extraction by deep residual U-Net. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 749–753.
Qin XB, Zhang ZC, Huang CY,