人工智能(artificial intelligence,AI)领域的研究包括机器人、语言识别、图像识别、自然语言处理等。机器学习(machine Learning,ML) 作为AI 中备受关注的一个领域,可以从人类规则中推理获得描述性模式的训练模型。但是ML在特征选择上依赖于统计学专业知识。DL作为ML下的一个子集,利用卷积神经网络(convolutional neural networks,CNN)——一类包含卷积计算且具有深度结构的前馈神经网络,可以在有限的训练样本下实现高性能学习与识别更抽象的特征,因此适用于图像模式识别和分类。目前,智能超声在肝脏、甲状腺和乳腺疾病的诊断方面取得了成功,然而在产前诊断领域仍处于起步阶段。本文就二者的跨学科交叉应用现状进行概述。
一、标准平面的识别与质控
产前超声的解剖参数测量首先需要获取相应标准平面。早在2015年,Lei等[1]就研发出算法识别胎儿颅面部轴向面、冠状面和矢状面,通过监督学习训练结果显示达到了93.72%的准确率和99.19%的平均精度。在此基础上,YU等[2]通过深度卷积神经网络(deep convolutional neural network,DCNN),配合迁移学习策略和数据增强技术,胎儿标准面部平面的准确性进一步提高。但是DCNN计算成本高,且迁移策略不适合胎儿脑分析,Qu等[3]又提出了差分卷积神经网络,可以自动识别6个胎儿脑标准平面。该模型所需内存更小,准确率高达92.92%。随着DCNN的深入发展,计算机可以自动化检测更多的胎儿标准视图。Baumgartner等[4]提出的SonoNet模型可以检测到13个标准平面。Sridar等[5]通过结合整体图像和局部特征信息,提出了在二维超声中自动分类14种不同胎儿结构的程序。
人工智能可以对手动获取的切面进行自动化质量控制,不仅可以避免误诊或漏诊,还有利于培训低年资医生。Lin等[6]提出新的多任务学习框架,使用更快的DCNN对胎儿头部超声平面进行评分,从而判断其是否为标准图像,精确评估时间≤0.5s。Zhang等[7]同样基于多任务学习框架提出自动图像质量评估方案,可以对头部、腹部和心脏切面进行质控,该方案修改了分割技术,在头部质量评估方面优于Lin。Dong等[8]提出一种通用的深度学习框架用于胎儿心脏四腔平面的自动质量控制,由三个网络组成:基本的CNN(BCNN)粗略识别四腔平面;更深度的CNN(D-CNN)确定目标图像的增益和缩放;聚合残差视觉区域网络(ARVB Net)检测关键解剖结构。三个网络输出每个胎儿四腔心平面的总体得分,实验表明该模型在每秒101帧的速度下最高平均精度为93.52%。Zhang等[9]改进了对比学习网络,使用图像及其对应的质量分数组成输入对,而不是简单的数据增强从而提供更合理的分数。Zhao等[10]第一个以无监督方式评估超声质量,基于记忆的双向重建学习差异特征,利用超声图像中的多模态数据(光流和凝视)改善评估性能。
二、胎儿生物学指标的智能测定
1.孕龄的判断:胚胎孕龄的判断是最早深度学习方法在妊娠期的研究,妊娠囊直径是用来判断的主要的方法,Archip[11]和Rousian[12]等人采用归一化分割方法,但由于不能很好地区分羊水腔和绒毛膜腔,也不能很好地识别卵黄囊,很多情况下需要手动分割。因此Zhang等[13]设定了解决方案,选择标准化的超声平面,定量和定性的分析了结果并验证的方法的稳定性,效率和准确性,采用的训练分类器,但测量结果仍存在较大误差,主要局限性是设定在7孕周。Pei等[14]在使用OpenCV4自动提取了孕囊的轮廓,以孕囊中心从多个角度自动计算出孕囊的最大长度和短直径,该系统的效率和准确性优于中级技能临床医师,平均估算孕周时间为30秒。该研究建立了全自动的框架,可以从产前超声中的包括胎儿,妊娠囊内的多个解剖结构语义分割,该方法在大量的内部数据集上进行了广泛的验证,展示了出色的分割效果,与专家测量的良好一致性,以及对扫描变化的高度一致性。
2.胎儿解剖结构的测量:在妊娠早期,基于图像的解剖评估自动化仍然是一项很少研究而且艰巨的挑战,Ryou等[15]开发了一种智能图像分析方法,可以在妊娠早期可视化并自动测量胎儿的关键解剖结构,该方法可以对整个胎儿进行语义分割,并提取胎儿头部、腹部和四肢的生物特征平面进行解剖学评估,但是肢体的定性分析结果相对较低。
Wang等[16]提出了一种新型卷积神经网络(CNN)名为GAC Net,可以排除图像质量缺陷如超声声影、羊水等对HC测量造成的干扰,测试表明该模型的骰子相似系数为(98.21%±1.16%),可以有效评估胎儿头围。同样,Yang等[17]提出了一种端-端卷积神经网络用于胎儿头骨边界分割,基于双分支结构分割后直接计算胎儿HC。
Pluym等[18]使用SonoCNS 胎儿脑算法对143名孕18+0周至22+6周的孕妇进行常规产检,自动测量双顶径、头围和大脑室等,结果表明算法自动识别和测量双顶径、头围可以媲美手工测量,可靠性为0.80～0.88,且该实验包含了临床常规流程,为前瞻性研究。但是该实验只纳入了结构正常的胎儿,在跨小脑直径、大脑室和侧脑室后角方面的测量具有局限性。Carneiro等[19]通过训练概率提升树分类器,自动识别和测量双顶径、头围和腹围等,该系统在标准双核电脑上的运行时间不到半秒,准确性接近专家水平。
3.NT的测量:胎儿颈项透明层(nuchal translucency,NT)是早孕期重要的染色体的超声筛查指标,NT测量的标准与否直接影响筛查的准确性和假阳性率,因此NT的自动化测量,也一直是人工智能专家关注的方向之一。早期的研究主要通过手动获取,而后开发了一种半自动测量系统[20],使用Sobel算法检测 NT的边缘,测量效果优于传统测量。Lee等[21]提出基于动态编程的半自动测量NT厚度程序通过非线性各向异性扩散滤波改进。对图像进行预处理,定义一个区域以减少来自图像的干扰并适应不同胎头位置NT厚度的测量,可以很好地克服因为NT层不连续造成的卡尺放置不标准的问题。
三、结构异常的辅助诊断
1.颅脑异常:Xie等[22]研发出新的DL算法,可以在标准轴向神经超声平面将正常和异常的胎儿脑图像区分开。具体操作:首先分割胎儿颅脑结构,去除干扰区域,然后识别正常或异常的图像并进行二进制分类,最后用热图和叠加图像定位病变区域,结果分割准确率、召回率和DICE分别为97.9%、90.9%和94.1%,分类的总体准确率为96.3%,整个自动化过程平均仅需要1.08 s,不仅为胎儿颅内异常的鉴别诊断奠定了基础,还提示了CNN在临床图像识别中应用的可行性和巨大潜力。Lin等[23]基于YOLO算法开发了实时人工智能辅助产前超声诊断系统(PAICS),可以识别9种颅内畸形,准确性可与专家媲美,有望应用于社区。
2.肺成熟度:对于早产风险的孕妇来说,是否使用皮质类激素以及何时终止妊娠都需要评估胎儿肺成熟度。此外,新生儿呼吸窘迫综合症是早产儿死亡和发病的主要原因,因此肺成熟度(fetal lung maturity,FLM)的评估尤为必要。传统直接用胎龄代替FLM,或者基于羊水成分提取肺表面活性成份分析FLM(需要进行有创性操作)[24]。几十年来,通过灰度测量、结合肺组织运动或肺与肝组织之间的关系的方法实现了非侵入性评估FLM。近年E.Bonet-Carne等[25-26]基于图像纹理分析和机器学习开发了“超声胎肺成熟度定量分析(quantus FLM)”应用,准确性与羊水分析相当且远高于单独的胎龄和其它无创性评估方法。2022年,Du等[27]通过高通量影像组学特征和两个临床特征(妊娠并发症如妊娠期糖尿病和胎龄)建立了新模型,测试表明相较于羊水预测而言,其准确性提高了8.2%。但是该研究中胎儿肺的感兴趣区是人为获取的,样本量不够,需要自动识别肺组织的模型加以辅助。
3.先天性心脏病:先天性心脏病的手术风险大、费用高昂、死亡率高,是新生儿中最常见、最严重的先天性疾病之一。产前超声有利于先天性心脏病的早期发现,但是由于胎儿心脏跳动快、体积小,实时检测和定位病变对操作人员的解剖知识要求高。中国一项多中心研究[28]显示虽然产前超声在低风险和高风险人群中的特异性均较高,但前者的敏感性仅为33.9%,亟需人工智能解决这些难题。
Bennasar等[29]提出时空图像相关(spatiotemporal image correlation,SATIC)四维技术,使用体积传感器采集图像,可以离线分析胎心,但是存在运动伪影。Arnaout等[30]解决了传统筛查敏感性低的问题,通过学习18至24周胎儿的图像标签设计了一组神经网络,可以识别三血管气管、三血管切面和左室流出道等五个标准心脏平面并区分正常与异常的心脏。内部测试表明(包括先天性心脏病占0.9%的4 400万以上图像集),该模型的曲线下面积为0.99,灵敏度为95%(95%置信区间为84%～99%),特异度为96%(95%置信区间为95%～97%)。2013年Yeo等[31]将智能导航技术应用于时空图像相关(SATIC)体积数据集开发出一种新模型:胎儿智能导航超声心动图(fetal intelligent navigation echocardiography,FINE),该算法根据七个解剖标志定位可以智能化识别9个标准胎儿心脏平面。研究表明FINE识别广谱心脏病的敏感性为98%[32]。Yeo等[33]还将彩色和功率多普勒超声结合于FINE,成功诊断四例先天性心脏病(如法洛四联症)。Yang等[34]提出YOLOv5n模型可以准确区分正常和异常的胎儿超声图像,特别是辅助识别室间隔缺损。有学者基于两阶段深度迁移学习研发出DDCHD-DensenNet模型[35],用于筛查静脉导管依赖性先天性心脏病,在四个多中心测试集上表现出的性能可以与高年资医生媲美。
4.胎儿遗传综合征的判断:许多遗传性综合症的面部特征信息高度复杂,因此,Gurovich等[36]推出了面部图像分析框架Deep Gestalt,该算法首先基于级联DCNN将图像分区并转换为灰度,预测每个区域对应综合症的概率,最后聚合分类,将疾病按可能性排序。其将大规模面部表型知识转移到遗传综合症领域,性能超过专家。但是像许多人工智能系统一样,Deep Gestalt不能完全解释面部特征驱动预测的信息,因此Dall′Asta等[37]提出对3D超声中胎儿面部体积进行定量分析、建立统计形状模型,该模型计算平均3D人脸形状、使用主成分分析三维形状变化,PCA形状空间马氏距离分析显示正常和异常胎儿之间存在差异,说明通过三维超声对胎儿面部形态进行客观表征和量化是可行的。这个模型可以在用于有罕见面部畸形时的遗传病诊断。但是3D超声图像质量受胎位、羊水量减少等因素可能对数据输入产生负面影响,且后处理需要手动执行,所以使用具有局限性。
21三体综合症是最常见的染色体异常,在孕早期进行筛查可以最早为孕妇提供生殖选择机会。传统筛查需要观察NT厚度和鼻骨缺失等情况,具有主观性。Sun等[38]将机器学习应用于产前筛查,采用LASSO方法筛选出NT、鼻前厚度与鼻骨长度比、额鼻面角等8个指标建立了LASSO模型用于筛查妊娠早期21三体综合症,该模型在训练和验证集中的AUC显著高于基于胎儿NT和母体年龄模型的AUC,且该模型的列线图能很好地区分21三体综合症,C指数为0.983,为妊娠早期筛查21三体综合症提供了另一种参考。
综上,人工智能在产前超声领域的应用,有利于检查流程标准化、高效化,但也存在着训练数据集不均衡、缺乏对照等问题,其次人工智能不能综合处理除图像以外的信息,因此不能完全独立于操作者,期待未来的产前超声与人工智能更深入的跨学科结合,设计更全面的模型应用于临床实践。
1 Lei B,Tan EL,Chen S,et al.Automatic recognition of fetal facial standard plane in ultrasound image via Fisher vector.PLoS One,2015,10:e0121838.
2 Yu Z,Tan EL,Ni D,et al.A deep convolutional neural network-based framework for automatic fetal facial standard plane recognition.IEEE J Biomed Health Inform,2018,22:874-885.
3 Qu R,Xu G,Ding C,et al.Standard plane identification in fetal brain ultrasound scans using a differential convolutional neural network.IEEE Access,2020,8:83821-83830.
4 Baumgartner CF,Kamnitsas K,Matthew J,et al.SonoNet:real-time detection and localisation of fetal standard scan planes in freehand ultrasound.IEEE Trans Med Imaging,2017,36:2204-2215.
5 Sridar P,Kumar A,Quinton A,et al.Decision fusion-based fetal ultrasound image plane classification using convolutional neural networks.Ultrasound Med Biol,2019,45:1259-1273.
6 Lin Z,Li S,Ni D,et al.Multi-task learning for quality assessment of fetal head ultrasound images.Med Image Anal,2019,58:101548.
7 Zhang B,Liu H,Luo H,et al.Automatic quality assessment for 2D fetal sonographic standard plane based on multitask learning.Medicine(Baltimore),2021,100:e24427.
8 Dong J,Liu S,Liao Y,et al.A Generic quality control framework for fetal ultrasound cardiac four-chamber planes.IEEE J Biomed Health Inform,2020,24:931-942.
9 Zhang Y,Zhu H,Cheng J,et al.Improving the quality of fetal heart ultrasound imaging with multihead enhanced self-attention and contrastive learning.IEEE J Biomed Health Inform,2023,27:5518-5529.
10 Zhao H,Zheng Q,Teng C,et al.Memory-based unsupervised video clinical quality assessment with multi-modality data in fetal ultrasound.Med Image Anal,2023,90:102977.
11 Archip N,Rohling R,Cooperberg P,et al.Ultrasound image segmentation using spectral clustering.Ultrasound Med Biol,2005,31:1485-1497.
12 Rousian M,Koning AH,Hop WC,et al.Gestational sac fluid volume measurements in virtual reality.Ultrasound Obstet Gynecol,2011,38:524-529.
13 Zhang L,Chen S,Chin CT,et al.Intelligent scanning:automated standard plane selection and biometric measurement of early gestational sac in routine ultrasound examination.Med Phys,2012,39:5015-5027.
14 Pei Y,Gao W,E L,et al.Rapid and automatic assessment of early gestational age using computer vision and biometric measurements based on ultrasound video.Quant Imaging Med Surg,2022,12:2247-2260.
15 Ryou H,Yaqub M,Cavallaro A,et al.Automated 3D ultrasound image analysis for first trimester assessment of fetal health.Phys Med Biol,2019,64:185010.
16 Wang X,Wang W,Cai X.Automatic measurement of fetal head circumference using a novel GCN-assisted deep convolutional network.Comput Biol Med,2022,145:105515.
17 Yang C,Yang Z,Liao S,et al.A new approach to automatic measure fetal head circumference in ultrasound images using convolutional neural networks.Comput Biol Med,2022,147:105801.
18 Pluym ID,Afshar Y,Holliman K,et al.Accuracy of automated three-dimensional ultrasound imaging technique for fetal head biometry.Ultrasound Obstet Gynecol,2021,57:798-803.
19 Carneiro G,Georgescu B,Good S,et al.Detection and measurement of fetal anatomies from ultrasound images using a constrained probabilistic boosting tree.IEEE Trans Med Imaging,2008,27:1342-1355.
20 Bernardino F,Cardoso R,Montenegro N,et al.Semiautomated ultrasonographic measurement of fetal nuchal translucency using a computer software tool.Ultrasound Med Biol,1998,24:51-54.
21 Lee YB,Kim MJ,Kim MH.Robust border enhancement and detection for measurement of fetal nuchal translucency in ultrasound images.Med Biol Eng Comput,2007,45:1143-1152.
22 Xie HN,Wang N,He M,et al.Using deep-learning algorithms to classify fetal brain ultrasound images as normal or abnormal.Ultrasound Obstet Gynecol,2020,56:579-587.
23 Lin M,He X,Guo H,et al.Use of real-time artificial intelligence in detection of abnormal image patterns in standard sonographic reference planes in screening for fetal intracranial malformations.Ultrasound Obstet Gynecol,2022,59:304-316.
24 ACOG Practice Bulletin No.97:Fetal lung maturity.Obstet Gynecol,2008,112:717-726
25 Bonet-Carne E,Palacio M,Cobo T,et al.Quantitative ultrasound texture analysis of fetal lungs to predict neonatal respiratory morbidity.Ultrasound Obstet Gynecol,2015,45:427-433.
26 Burgos-Artizzu XP,Perez-Moreno 
,Coronado-Gutierrez D,et al.Evaluation of an improved tool for non-invasive prediction of neonatal respiratory morbidity based on fully automated fetal lung ultrasound analysis.Sci Rep,2019,9:1950.
27 Du Y,Jiao J,Ji C,et al.Ultrasound-based radiomics technology in fetal lung texture analysis prediction of neonatal respiratory morbidity.Sci Rep,2022,12:12747.
28 Chu C,Yan Y,Ren Y,et al.Prenatal diagnosis of congenital heart diseases by fetal echocardiography in second trimester:a Chinese multicenter study.Acta Obstet Gynecol Scand,2017,96:454-463.
29 Bennasar M,Martínez JM,Gómez O,et al.Accuracy of four-dimensional spatiotemporal image correlation echocardiography in the prenatal diagnosis of congenital heart defects.Ultrasound Obstet Gynecol,2010,36:458-464.
30 Arnaout R,Curran L,Zhao Y,et al.An ensemble of neural networks provides expert-level prenatal detection of complex congenital heart disease.Nat Med,2021,27:882-891.
31 Yeo L and Romero R.Fetal Intelligent Navigation Echocardiography(FINE):a novel method for rapid,simple,and automatic examination of the fetal heart.Ultrasound Obstet Gynecol,2013,42:268-284
32 Yeo L,Luewan S,Romero R.Fetal Intelligent Navigation Echocardiography(FINE) detects 98% of congenital heart disease.J Ultrasound Med,2018,37:2577-2593.
33 Yeo L,Romero R.Color and power Doppler combined with Fetal Intelligent Navigation Echocardiography(FINE) to evaluate the fetal heart.Ultrasound Obstet Gynecol,2017,50:476-491.
34 Yang Y,Wu B,Wu H,et al.Classification of normal and abnormal fetal heart ultrasound images and identification of ventricular septal defects based on deep learning.J Perinat Med,2023,51:1052-1058.
35 Tang J,Liang Y,Jiang Y,et al.A multicenter study on two-stage transfer learning model for duct-dependent CHDs screening in fetal echocardiography.NPJ Digit Med,2023,6:143.
36 Gurovich Y,Hanani Y,Bar O,et al.Identifying facial phenotypes of genetic disorders using deep learning.Nat Med,2019,25:60-64.
37 Dall′Asta A,Schievano S,Bruse JL,et al.Quantitative analysis of fetal facial morphology using 3D ultrasound and statistical shape modeling:a feasibility study.Am J Obstet Gynecol,2017,217:76.e1-76.e8.
38 Sun Y,Zhang L,Dong D,et al.Application of an individualized nomogram in first-trimester screening for trisomy 21.Ultrasound Obstet Gynecol,2021,58:56-66.