多视角深度学习提升心脏超声诊断能力

多视角深度学习提升心脏超声对主要心脏疾病的检测能力

摘要

医学影像常常捕获三维解剖结构的多个二维视图，但大多数人工智能模型分析的是二维数据。本研究表明，使用单一AI模型整合多个成像视角可以提升诊断性能。研究人员开发了一种深度神经网络架构，能够同时结合来自多个视频视角的信息。利用来自某中心与某机构的数据，将所提出的多视角深度神经网络方法应用于三个主要示范任务：检测任何左或右心室异常、舒张功能障碍以及严重瓣膜反流。在各种任务中，与基于任何单一视角训练的深度神经网络相比，多视角深度神经网络将受试者工作特征曲线下面积提升了0.06至0.09。这表明能够同时整合多个成像视角信息的AI模型，可以针对特定任务更好地捕捉复杂的解剖结构和生理学特征，突显了医学影像AI领域中多视角范式的价值。

引言

医学影像在心血管医学中扮演着至关重要的角色，为解剖结构、血流动力学和功能提供了重要信息。尽管心脏解剖结构是三维的，但大多数成像模态捕获的是三维解剖结构的多个二维断层图像切片。这些多个二维切片（也称为视图）携带着互补信息，医生必须解读这些信息以在脑海中重建三维模型，从而实现对区分疾病与非疾病状态的结构或功能特征的最佳评估。心脏超声是一种常见的成像模态，通常捕获超过100个不同的视图，共同提供关于随时间跳动的心脏的三维信息。

人工智能方法的进步促进了医学影像的分析，特别是计算机视觉领域，它使用人工智能来分析原始图像和视频。深度神经网络的出现提供了第一个重大进展，能够分析图像的原始像素，随后又开发出了通过整合视频序列图像随时间变化的信息来分析原始视频数据的深度神经网络。这类基于图像或视频数据训练的深度神经网络已成功应用于医学领域，用于检测各种疾病。然而，现有的深度神经网络架构不太适合像医生那样同时整合多个二维成像视图以准确理解三维结构。例如，在心脏超声中，可靠的诊断通常依赖于多个超声视图所包含信息的相互印证。解读超声的心脏病专家会常规地进行这种心智整合，因为每个视图从不同角度捕捉了互补信息。

在本研究中，开发了一个专门构建的多视角深度神经网络架构，其设计目的是整合来自多个互补二维成像视图的三维视频信息，模仿医生解读三维解剖结构的方式。该多视角深度神经网络架构同时接收来自多个视图的输入，并通过专门的深度神经网络层设计来整合这些视图之间的信息。该架构采用了一种中期融合方法，在中间阶段结合每个输入视图的特征，使网络有充分机会整合视图间的信息。基于图像的深度神经网络的主要创新在于整合原始图像像素的二维空间信息，而基于视频的深度神经网络的主要创新在于整合随时间变化的时间信息（由帧序列捕获），而多视角深度神经网络则能够同时整合来自多个视图的时空信息以完成目标任务。

结果

多视角深度神经网络架构

多视角深度神经网络架构同时接收多个成像视图（图1），并通过学习每个原始视频视图内部以及跨视图的共同模式来完成其训练任务（图2）。心脏超声诊断通常需要同时综合多个视图的信息，使其成为演示多视角深度神经网络的理想模态。为每个演示任务训练了三个多视角深度神经网络，使用从每位患者的同一份超声检查中获取的三个预定义超声视图（每个任务临床最适用的视图）。

训练和内部验证的超声数据来自在某机构2012年至2020年间接受经胸超声检查的成年患者。所有视频均被掩码和裁剪，以排除任何烧录的文字和注释，并调整为224×224像素。首先训练了一个基于视频的深度神经网络视图分类器，用于区分21个超声视图类别，以及另一个基于视频的深度神经网络多普勒分类器，用于检测视频中是否存在彩色多普勒信号。视图/多普勒深度神经网络分类器的性能指标见补充材料。然后将视图和多普勒深度神经网络分类器应用于某机构数据集中的所有超声检查，以识别用于训练和验证三个示范任务的具体超声视频。

多视角深度神经网络架构首先使用三维卷积来整合单个视频多帧之间的空间和时间信息。该架构围绕一个基于视频的深度神经网络主干（此处使用了“Expand 3D”即“X3D”视频深度神经网络）设计，这允许在未来应用中使用其他深度神经网络主干。该架构的核心创新在于使用专用的卷积神经网络层来整合所有输入视图之间的信息以完成目标任务（图2）。这使得深度神经网络能够学习每个输入视频内部的模式，以及多个视频之间的模式，例如从多个视图捕获的心脏瓣膜随时间运动的模式。其他技术细节在方法部分描述。

图1：整合三维结构的多个二维断层图像

每个单一的成像视图包含关于三维结构（如心脏）切片的详细二维信息。多个二维断层视图通常包含关于该视图内不同解剖结构的独特且互补的信息。为了对心脏等复杂器官的任何单一诊断进行最全面的评估，有必要同时考虑来自多个视图的信息。这通常由解读心脏超声的心脏病专家执行。同时考虑来自多个成像视图的差异信息的这种做法，为多视角深度神经网络架构的发展提供了概念基础。

图2：多视角深度神经网络和数据处理流程

多视角神经网络架构和心脏超声示范成像模态的数据预处理。

a. 来自单个超声检查的所有视频都经过标准化预处理（掩码以排除非移动像素和超声区域外的像素，裁剪至超声图像区域，并调整为224×224像素）。每个超声视频的视图和是否存在彩色多普勒信号均使用训练好的视图分类和彩色多普勒检测深度神经网络进行检测。

b. 从同一超声检查中为每个预定义视图（心尖四腔、心尖两腔、胸骨旁长轴）选择一个由多视角深度神经网络接受的超声视频；这三个超声视频作为多视角深度神经网络分类器的同步输入，以预测目标任务。每个视频的嵌入向量通过单独的卷积编码器块，然后沿着新维度拼接，再经过两个更多的卷积块，这两个卷积块执行跨视图卷积，以在最终预测之前整合视图间的时空信息。

复合终点的多视角与单视角性能比较

为了检验多视角深度神经网络架构的性能，为三个超声任务分别训练了代表当前技术水平的单视图深度神经网络。选择了两个“标准”复合超声任务，其准确的手动判读需要来自多个视图的相互印证：识别左或右心室异常和识别严重瓣膜反流（三尖瓣、二尖瓣或主动脉瓣中中度或以上严重程度）。还选择了一个“新颖”超声任务，该任务通常无法通过医生手动判读使用非多普勒亮度模式超声来完成：识别舒张功能障碍。目前没有标准方法让心脏病专家仅使用非多普勒亮度模式超声视频手动判读舒张功能障碍，这使其成为一个新颖的人工智能辅助超声任务。

为了获得每个任务训练和测试的参考标准标签，从某机构超声实验室由三级超声委员会认证心脏病专家判读的临床超声报告中获得了评估。心室异常定义为左或右心室大小或功能存在任何异常。舒张功能障碍定义为根据美国超声心动图学会指南确定的任何舒张功能障碍（1-4级）。严重瓣膜反流定义为根据美国超声心动图学会指南，二尖瓣、三尖瓣或主动脉瓣中存在中度或以上反流。对于心室异常和舒张功能障碍的多视角深度神经网络，使用的三个输入超声视图是非多普勒心尖四腔、心尖两腔和胸骨旁长轴视图；对于瓣膜反流，输入超声视图是彩色多普勒心尖四腔、心尖五腔和胸骨旁长轴视图。

左/右心室异常

为了训练左/右心室异常多视角深度神经网络，确定了一个由某机构20，504名患者的41，790份超声检查组成的队列，这些检查的临床报告中提供了所有左心室和右心室测量值。该队列的平均年龄为63岁，50.3%为女性。此队列中任何左/右心室异常的发生率为24.5%。数据按患者分为训练集、开发集和测试集。超参数和模型检查点基于开发集选择，最终性能指标在留出的测试集上计算。

在留出的某机构测试数据集中，检测左/右心室异常的多视角深度神经网络实现了0.907的曲线下面积，敏感性和特异性分别为0.810和0.840。为了与单视图深度神经网络进行比较，使用相同的数据集为三个超声视图中的每一个训练了三个独立的基于X3D视频的单视图深度神经网络。用于心室异常的最佳单视图深度神经网络使用心尖四腔视图，曲线下面积为0.851，其次是胸骨旁长轴视图曲线下面积为0.848，然后是心尖两腔视图曲线下面积为0.783。心室异常的多视角深度神经网络的曲线下面积显著高于任何单视图深度神经网络，比最佳单视图心尖四腔深度神经网络的曲线下面积高出0.056。心室异常多视角深度神经网络的F1分数为0.695，高于任何单视图深度神经网络的F1分数。

作为额外的比较对象，取三个单视图深度神经网络输出分数的算术平均值，并将其判别性能与多视角深度神经网络进行比较。这被认为是一种“晚期融合”方法，它不具备像多视角深度神经网络那样同时从多个视图中学习的优势，但计算成本较低，并且可能比多视角深度神经网络更容易训练。三个单视图深度神经网络的平均曲线下面积为0.899，显著高于任何单个单视图深度神经网络的曲线下面积，且显著低于多视角深度神经网络的曲线下面积。

图3：在某机构测试数据集中，多视角与单视角深度神经网络预测三个超声任务的性能比较

a-c, 受试者工作特征曲线显示了左/右心室异常、舒张功能障碍和瓣膜反流的深度神经网络整体性能，包括多视角深度神经网络（蓝线）和单视角深度神经网络（橙、绿、红线）。同时展示了三个单视角深度神经网络输出的算术平均值的受试者工作特征曲线（紫线）。虚线代表曲线下面积为0.5。

舒张功能障碍

第二个超声任务是使用非多普勒亮度模式超声视频识别舒张功能障碍存在与否的新颖复合任务；这些非多普勒视频不被心脏病专家用于判读舒张功能障碍，使其成为一个新颖的超声任务。为了开发舒张功能障碍的多视角深度神经网络，确定了一个由某机构6，643名患者的11，411份超声检查组成的队列，这些检查的报告中包含舒张功能障碍的临床判读结果。该队列的平均年龄为65岁，50.3%为女性。此队列中任何舒张功能障碍的发生率为68.3%。在留出的某机构舒张功能障碍测试数据集中，多视角深度神经网络检测任何舒张功能障碍的曲线下面积为0.836，敏感性和特异性均约为0.76。

如上所述，还使用相同的数据集为舒张功能障碍分别训练了三个视图的单视图X3D深度神经网络。检测舒张功能障碍的最佳单视图深度神经网络性能使用胸骨旁长轴视图，曲线下面积为0.749，其次是心尖四腔视图，曲线下面积为0.708。舒张功能障碍的多视角深度神经网络的曲线下面积显著高于任何单视图深度神经网络，比最佳单视图胸骨旁长轴深度神经网络的曲线下面积高出0.087。三个单视图深度神经网络的平均曲线下面积为0.783。这显著高于任何单个单视图深度神经网络的曲线下面积，且显著低于多视角深度神经网络的曲线下面积。

瓣膜反流

然后将多视角深度神经网络架构应用于使用彩色多普勒超声视频检测任何严重瓣膜反流的存在。为了开发瓣膜反流的多视角深度神经网络，获得了某机构18，573名患者的27，692份超声检查，这些检查的临床报告中也提供了瓣膜反流的临床判读结果。该队列的平均年龄为61岁，50%为女性。此队列中任何瓣膜异常的发生率为11.3%。在留出的某机构瓣膜反流测试数据集中，多视角深度神经网络检测任何严重瓣膜反流的曲线下面积为0.904，敏感性和特异性均约为83%。

还使用相同的数据集为瓣膜反流分别训练了三个视图的基于X3D视频的单视图深度神经网络。检测瓣膜反流的最佳单视图深度神经网络性能来自心尖四腔视图，曲线下面积为0.836，其次是胸骨旁长轴视图，曲线下面积为0.823。瓣膜反流的多视角深度神经网络的曲线下面积显著高于任何单视图深度神经网络，比最佳单视图心尖四腔深度神经网络的曲线下面积高出0.068。三个单视图深度神经网络的平均曲线下面积为0.891，显著高于任何单个单视图深度神经网络的曲线下面积，且显著低于多视角深度神经网络的曲线下面积。

多视角深度神经网络的外部验证

为了测试训练好的多视角深度神经网络算法对来自另一机构的外部数据的泛化能力，在从某机构获得的超声检查上测量了多视角深度神经网络的性能。这个外部验证数据集包含2022年期间获取的某机构成年患者超声检查。标签根据指南标准从某机构临床超声报告中提取。与某机构使用体积标准评估左/右心室异常不同，某机构超声检查中仅提供线性测量值。此外，某机构测试数据集中心脏异常的发生率与某机构不同：低左心室射血分数更常见，高级别舒张功能障碍和右心室功能异常则少得多。

使用相同的预处理算法预处理了某机构超声数据并分类视图。在审查了350个随机选取的某机构超声视频上的某机构视图分类器性能后，视图分类器在目标视图上表现良好，心尖四腔视图的精确度为100%，胸骨旁长轴视图为83.3%，心尖两腔视图为88.5%，心尖五腔视图为81.8%，全局准确率为79.14%。

在此某机构外部验证数据集上，左/右心室异常多视角深度神经网络实现了0.909的曲线下面积，瓣膜反流多视角深度神经网络的曲线下面积为0.924，两者均与某机构测试数据集中的深度神经网络性能相当，其95%置信区间重叠。舒张功能障碍多视角深度神经网络在某机构数据集中实现了0.791的曲线下面积，显示出合理的泛化能力，但与某机构测试数据集相比性能略有下降。在某机构外部数据集中，多视角深度神经网络的曲线下面积高于所有单视图深度神经网络以及三个单视图深度神经网络的平均值。然而，对于瓣膜反流（最小的外部验证队列），多视角深度神经网络较高的曲线下面积并未统计学上显著高于单视图深度神经网络。

复合终点各组分的多视角与单视角性能比较

复合终点（如检测任何左/右心室异常）可能因其每个视图对复合任务贡献独特且互补的信息而固有地受益于包含多个成像视图。确实，之所以选择复合任务，是因为多视角架构可能最适合此类任务。然而，为了研究多视角深度神经网络方法在更具体的解剖任务上的优势，在某机构数据集中为复合终点的各个组成部分训练了单视图和多视角深度神经网络：左心室大小、左心室射血分数、右心室功能、右心室大小、二尖瓣反流、主动脉瓣反流和三尖瓣反流。

与之前的实验一样，单视图模型使用与多视图模型相同的超声检查中的视频进行训练，但仅使用单一视图（对于左/右心室异常使用心尖四腔、心尖两腔或胸骨旁长轴视图；对于瓣膜反流使用带有彩色多普勒的心尖四腔、心尖五腔或胸骨旁长轴视图）。在所有七个任务的留出某机构测试数据集中，多视角深度神经网络的表现始终优于单视图深度神经网络，但三尖瓣反流除外。三尖瓣反流多视角深度神经网络与心尖四腔深度神经网络的差异处于临界非显著性水平，与胸骨旁长轴深度神经网络的差异不显著。

此外，还检查了复合任务多视角深度神经网络在某机构测试集每个组分任务的亚组内的表现。总体而言，对于心室异常，多视角深度神经网络对所有左/右心室大小或功能异常的表现仍然很高（曲线下面积 > 0.90）。舒张功能障碍多视角深度神经网络对4级舒张功能障碍表现最佳，瓣膜反流多视角深度神经网络对二尖瓣反流表现最佳。

多视角深度神经网络性能的额外检查

根据预期的临床应用，可以通过选择不同的阈值来修改训练好的深度神经网络性能，以偏向更高的敏感性或特异性。在某机构测试集中，通过将敏感性或特异性固定为0.80，实现了敏感性优化和特异性优化的多视角深度神经网络性能。在某机构数据集中，多视角深度神经网络在不同性别和年龄组的层中的性能相似。当按左心室射血分数分层时，舒张功能障碍多视角深度神经网络的性能也没有显著变化，这表明深度神经网络独立于射血分数识别了舒张功能障碍的预测因子；由于射血分数降低与舒张功能障碍之间的关联，这一点很重要。当从视频剪辑的随机帧而非第一帧开始运行时，多视角深度神经网络的性能相似；尽管瓣膜模型在随机帧数据上校准略有偏移，但整体判别能力没有改变。在不同超声机器制造商的层中，性能也保持一致。

可解释人工智能分析

可解释人工智能技术允许识别输入超声视频中的模式，这些模式是深度神经网络学习到对其预测至关重要的，可能突显与目标任务的生理学关联。使用引导梯度加权类激活映射技术来可视化视频图像中，对训练好的深度神经网络预测贡献最大的像素（图4）。同时展示了梯度加权类激活映射和引导梯度加权类激活映射可视化，前者捕捉影响预测的常规图像区域，而后者则细化这些映射以突出像素级细节。心室异常深度神经网络的引导梯度加权类激活映射倾向于关注右心室和左心室心肌的像素，略偏好左心室。舒张功能障碍深度神经网络的突出像素集中在左心房，但也关注左心室心肌和右心房。瓣膜反流深度神经网络的引导梯度加权类激活映射突出了瓣膜组织区域以及瓣膜反流的彩色多普勒信号（当存在时）。然而需要认识到，当前的可解释性技术（如引导梯度加权类激活映射）仅能提供对深度神经网络功能的有限视角，因此应相应地进行考量。

图4：应用于三个超声任务深度神经网络的Grad-CAM和引导Grad-CAM人工智能可解释性

Grad-CAM和引导Grad-CAM热图显示了单视图深度神经网络中最终卷积层的类加权激活，用于（从上到下）左/右心室异常、舒张功能障碍和瓣膜反流。对于左/右心室异常和舒张功能障碍，使用了心尖两腔、心尖四腔和胸骨旁长轴视图；对于瓣膜，使用了心尖四腔、心尖五腔和胸骨旁长轴视图。每个面板中，左图为原始超声帧，中图为Grad-CAM，右图为引导Grad-CAM。更亮的红色或粉色区域表示该帧对该深度神经网络预测更重要的区域。

讨论

本研究开发并验证了一种多视角深度神经网络架构，能够同时整合来自多个输入成像视图的信息，为广泛优化三维医学影像的人工智能算法提供了机会。在主要的示范任务中，多视角深度神经网络优于单视图深度神经网络，整体判别性能提升了0.06至0.09曲线下面积。此外，通过平均三个独立训练的单视图深度神经网络的输出，判别性能显著高于任何单视图深度神经网络，但多视角深度神经网络的判别性能在统计学上也显著优于三个单视图深度神经网络的均值。多视角深度神经网络在不同亚组中表现稳健，并能很好地泛化到外部机构的数据，尽管舒张功能障碍模型性能略有下降；这在一定程度上可能由某机构舒张功能障碍患病率的差异解释。

通过整合来自多个成像视频视图的时空信息，多视角深度神经网络可以学习每个视图捕获的互补信息如何以疾病特异性的方式与其他视图的信息相关联，模仿医生解读复杂医学影像数据的方式。同时考虑多个成像视图，无论是通过多视角深度神经网络架构还是通过平均几个单视图深度神经网络，都在各种疾病任务中带来了改进，突显了在训练医学影像人工智能模型时采用多视角范式的价值。

医学影像一直面临捕获三维解剖结构的二维断层切片的挑战。对于超声等成像模态，医生习惯于在最终形成诊断印象之前，审查并整合来自某一结构所有可用二维视图的发现，形成一个三维的心智模型。这一挑战促使了诸如三维超声等技术的发展，通过描绘三维解剖轮廓来辅助医生诊断。然而，二维超声视频仍然是主要的诊断格式，部分原因在于三维重建、平滑处理、伪影和空间分辨率的局限性。因此，对来自多个二维成像视图的信息进行心智整合仍然是大多数经医生审查的超声诊断所依据的标准实践。迄今为止，人工智能主要用于一次分析一个二维视图——无论是来自图像还是视频——这限制了人工智能算法学习视图间疾病相关信息的能力。因此，能够跨多个高分辨率视图整合信息的深度神经网络架构代表了最大化医学影像人工智能性能的重要一步。

以心脏超声为例，几乎每个重要的诊断都需要考虑来自多个视图的信息，因为任何单一视图的信息都只讲述了部分情况。例如，对于左心室大小或功能的评估，标准的心尖四腔视图捕捉左心室的下间隔壁和前侧壁，而心尖两腔视图捕捉左心室的前壁和下壁。左心室壁的功能在一个视图中看起来完全正常，但仅在另一视图中可见的左心室壁却存在严重功能障碍，这并不罕见——这被称为“区域性心肌壁运动异常”，通常由心肌缺血引起。对于左/右心室异常和舒张功能障碍等复合超声任务，研究结果表明，多视角深度神经网络不仅学习了完成每个子任务的最佳视图，而且还可能学习了每个视图特征之间的相互关联信息，从而实现了比任何单视图深度神经网络或三个单视图深度神经网络晚期融合平均值更高的整体性能。然而，需要指出的是，三个单视图深度神经网络的平均值确实提供了一种可行的替代方案来训练多视角深度神经网络，其性能优于单视图深度神经网络，并且可能计算成本更低。

正如所观察到的，多视角深度神经网络架构带来的性能提升因任务而异，并且预期对于需要同时考虑互补输入的任务益处最大。它也可能为超声以外的成像模态带来类似的益处。例如，先前使用相同的深度神经网络架构训练多视角深度神经网络，以同时从多个血管造影视频中估计左心室收缩功能。研究表明，对于从左冠状动脉血管造影视频中估计心脏泵血功能的“超人类”任务，使用多视角深度神经网络同时考虑多个视图的效果显著优于仅考虑一个血管造影视图的深度神经网络。与目前在超声视频中的结果相互印证，这些结果共同表明，对于某些成像任务，使用超过一个输入视图训练的多视角深度神经网络可以比单独使用单视图深度神经网络有意义地提高性能。未来的工作应研究多视角深度神经网络架构如何辅助其他医学任务或成像模态。

以往使用深度神经网络分析多个超声视图以完成单一任务的努力，最常见的是在后期结合来自深度神经网络的输出。这些方法中最简单的是取多个独立的单视图深度神经网络预测的算术平均值，类似于报告的三个单视图深度神经网络的平均值。稍微复杂一点的方法是在输出最终诊断的最终网络层之前，结合从单视图深度神经网络导出的表示。这两种方法都被认为是晚期融合方法，因为它们在后期融合了单独的单视图深度神经网络的表示。晚期融合方法不允许深度神经网络学习视图之间有意义的模式或交互。最近采取的另一种方法是“视图无关”方法，该方法从超声检查中任意数量的视图中获取嵌入，以预测超声测量值或报告特征。在这些方法中，无论目标任务如何，超声检查中所有可用的视图都被一起考虑。相比之下，多视角深度神经网络接受最适合目标任务的三个输入视图，然后通过中期融合方法在视图上执行多次卷积。这使得深度神经网络能够发现来自每个视图的原始视频之间的相互关联模式，从而最有效地完成目标任务。中期融合方法理论上可以通过更彻底地整合来自多种输入类型的互补和相互关联的特征来提高预测性能。研究结果通过显示多视角深度神经网络在大多数任务上优于晚期融合的平均单视图深度神经网络性能来支持这一点。然而，多视角深度神经网络提供的性能提升程度可能因目标任务和可用的训练数据而异。

先前发表的用于类似超声任务的深度神经网络通常使用单视图模型，并且没有尝试复合超声任务。多视角深度神经网络提供了完成这些更高级别复合任务的可能性，这些任务使用单一视图可能不太理想，因为必要的信息不包含在任何单一视图中。研究使用单一端到端多视角深度神经网络检查了复合超声任务的深度神经网络性能——例如任何左/右心室功能障碍或任何瓣膜反流。左/右心室异常多视角深度神经网络将识别左心室功能异常作为其复合任务的一个组成部分，但同时横跨三个超声视图检查了左心室和右心室其他三个临床相关性最高的异常。总之，左/右心室功能和瓣膜反流的多视角深度神经网络可在临床上用于将超声检查分类为大致正常或异常，预测为异常的患者将接受更紧急的医生审阅。单视图深度神经网络此前已用于许多先前的疾病识别任务，如淀粉样变性和肥厚性心肌病、壁运动异常、左心室肥厚、心脏缩窄和限制、心肌应变、右心室功能以及房间隔缺损检测。研究结果表明，其中一些任务可能受益于多视角深度神经网络方法，无论是作为单个任务还是复合任务进行构建。

研究最好在其局限性背景下进行解读。训练多视角深度神经网络的主要技术限制是输入维度高于单视图深度神经网络，这有几个影响。首先，与类似任务的单视图深度神经网络相比，通常需要大量更多的数据来充分训练多视角深度神经网络。此外，只有包含多视角深度神经网络所需的所有三个视图的检查才能用于训练或推理。在实验中，因缺少视图而排除的研究比例在左/右心室异常任务中为10.9%，舒张功能障碍任务中为6.1%，瓣膜反流任务中为56.1%。这一限制可能使得为罕见疾病训练多视角深度神经网络更加困难。其次，由于其高输入维度，多视角深度神经网络需要更大的计算能力和图形处理单元内存来训练。在这种情况下，三个单视图深度神经网络输出的平均值可能提供一个有吸引力的替代方案，它需要较少的数据和计算能力，尽管与多视角深度神经网络相比整体性能较低。多视角深度神经网络最适合需要同时考虑来自多个输入视图的信息的特定任务或临床环境。另一个限制是“严重瓣膜反流”的定义不包括肺动脉瓣；之所以选择不包含它，是因为它需要一个专用的超声视图，该视图在超声中通常不清晰可见，并且与其它瓣膜反流相比，肺动脉反流的临床后果较小。

总之，描述了一种通用的多视角深度神经网络架构，并证明与单视图深度神经网络相比，它在各种心脏超声任务中实现了显著的性能提升。如果未来的工作将多视角深度神经网络应用于其他成像模态和疾病以及多机构环境得到证实，多视角方法将为训练医学影像的多视角优化人工智能模型提供强大的范式。FINISHED