基于LLM大语言模型人工智能辅助医疗诊断：MRANet模型整合多模态数据，实现胸片报告生成与生存预测的可解释性分析

独家整理，盗用必究

如何利用人工智能技术辅助医疗诊断、提高工作效率，成为了当前医疗领域的一个热点问题。近日，一项来自罗德岛医院和布朗大学的最新研究提出了一种名为"多模态区域对齐网络"(Multi-modality Regional Alignment Network, MRANet)的创新模型，该模型能够同时完成胸部X光片的报告生成和生存预测任务，为新冠肺炎的诊断和预后分析提供了新的思路。这项研究不仅在技术上取得了突破，更为AI辅助医疗诊断的可解释性和可信度问题提供了解决方案。让我们一起深入了解这项重要研究的细节。

研究背景与意义

面对激增的病例，如何快速准确地进行诊断和预后评估成为了一个亟待解决的问题。胸部X光片作为一种快速、便捷的筛查工具，在新冠肺炎的诊断中发挥着重要作用。然而，传统的人工诊断方法面临着以下几个挑战：

数据分布不平衡：在新冠筛查中，患病个体与健康个体的比例较低，导致数据分布不均衡。

视觉注意力偏差：放射科医生往往提供整体性的解读，可能忽视某些异常的解剖区域。

文本注意力偏差：放射学报告中正常区域的描述往往比异常区域更为频繁，导致模型可能过度关注正常情况的描述。

模型透明度和可解释性不足：深度学习模型往往被视为"黑盒"，缺乏足够的解释性，这在医疗决策中尤为关键。

为了应对这些挑战，研究团队提出了MRANet模型，旨在实现高风险区域的可解释性放射学报告生成和生存预测。

MRANet模型架构

MRANet模型的整体架构如下图所示：

该模型主要包含以下几个关键组件：

1. 解剖区域检测与补全

MRANet首先使用Faster R-CNN模型对胸部X光片进行29个独特解剖区域的检测。为了处理可能的检测遗漏，研究团队设计了一个名为"Region Completer"的网络，用于估算和补全缺失的边界框。这个补全网络采用了类似于"Masked Autoencoders"的训练方式，通过预测人为随机遮蔽的区域坐标来学习29个区域坐标的空间分布。

2. 多尺度区域特征编码器(MRE)

MRE模块负责从多个尺度提取和聚合区域特征。具体来说，它首先通过预训练的ResNet-50模型从5个不同尺度提取视觉特征。然后，对于每个检测到的解剖区域，MRE使用ROI Align操作从不同尺度的特征图中提取固定大小的特征。这些特征经过线性变换后拼接在一起，形成每个区域的综合表示。最后，MRE将属于同一报告句子的多个区域特征进行聚合，得到句子级别的视觉特征。

3. 生存指导的句子特征编码器(SSE)

SSE模块的设计目的是将图像中的生存风险信息嵌入到句子特征中。它首先使用一个基于多头注意力机制的生存注意力模块从图像特征中提取风险相关信息。然后，SSE将这些风险信息与MRE提取的区域特征相结合，生成带有风险感知的句子特征。这种设计使得模型能够更好地捕捉高风险区域的异常描述。

4. 句子生成

MRANet使用GPT-2作为语言解码器，通过伪自注意力(PSA)机制将视觉特征与文本嵌入结合。具体来说，模型使用以下公式进行句子生成：

其中，表示转换后的句子级视觉特征，表示token嵌入，、、、和是可学习的参数。

5. 图像到文本的LLMs对齐

为了增强模型的生成能力，研究团队引入了基于大型语言模型(LLMs)的对齐约束。具体来说，他们使用GatorTron作为文本编码器，将其作为一个"经验丰富的放射科医生"来监督文本解码器的生成过程。这种设计有助于生成更加专业和准确的医学报告。

6. 多模态生存预测

MRANet模型还集成了多模态生存预测功能。它首先对图像、文本和临床变量分别进行编码，然后通过两阶段融合模块整合这些特征，最后使用生存预测器输出风险评分。模型采用Cox负对数部分似然损失进行优化，公式如下：

y^i_t}e^{hat{y}^j_{sur}}]">y^i_t}e^{hat{y}^j_{sur}}]">

其中，是第i个患者的预测疾病进展风险，和分别是生存时间和审查标志。

实验设置与结果

研究团队在多个数据集上进行了广泛的实验，以验证MRANet模型的有效性。主要使用的数据集包括：

Chest ImaGenome数据集：包含166,512张训练图像、23,952张验证图像和47,389张测试图像。

Brown-COVID数据集：包含1021张正面胸部X光片及相应的结构化报告。

Penn-COVID数据集：包含2879张图像和生存标签，但没有放射学报告。

实验结果如下：

1. 生存预测性能

MRANet在生存预测任务上取得了优异的表现。如下表所示，在Brown-COVID和Penn-COVID数据集上，MRANet分别达到了0.813和0.739的C-index值，显著优于其他竞争方法。

2. 报告生成性能

在放射学报告生成任务上，MRANet同样表现出色。下表展示了在Brown-COVID数据集上的详细评估结果：

从表中可以看出，MRANet在各项NLG指标（如BLEU、METEOR、ROUGE-L和CIDEr）和CE指标（Precision、Recall、F1-score）上都显著优于现有的最先进模型。特别是在BLEU-4得分上，MRANet的基础模型相比之前的最佳模型提升了约70%。

3. 定性分析

研究团队还进行了详细的定性分析，以展示MRANet在肺部区域检测、报告生成和风险注意力可视化方面的表现。下图展示了一些典型案例：

从图中可以看出，MRANet能够准确定位肺部及其子区域，生成的描述能够正确反映疾病位置和类型。同时，风险注意力分数清晰地显示了异常区域的高风险特征，为报告生成和生存预测提供了直观的解释。

创新点与贡献

多任务集成：MRANet首次将解剖区域检测、放射学报告生成和生存预测三个任务有机结合，实现了从图像到临床决策的端到端分析。

高风险区域关注：通过生存注意力机制，模型能够更好地捕捉和描述高风险区域的异常特征，提高了报告的准确性和临床相关性。

跨模态知识迁移：利用大型语言模型的知识约束，MRANet实现了更加专业和准确的医学报告生成，同时提高了模型的可解释性。

多模态融合：通过整合图像、文本和临床变量，MRANet在生存预测任务上取得了显著的性能提升，为患者预后评估提供了更全面的依据。

可解释性增强：MRANet的设计使得模型输出（包括检测到的解剖区域、生成的报告和预测的风险分数）具有良好的可解释性，这对于临床应用至关重要。

局限性与未来展望

尽管MRANet取得了令人瞩目的成果，研究团队也坦诚指出了当前工作的一些局限性：

由于竞争方法主要关注异常区域的自由文本报告，而MRANet生成包含所有区域描述的结构化报告，这使得直接比较报告生成能力变得困难。

由于缺乏真实的区域边界框标注，无法直接评估区域检测器和补全器的性能。

当前研究主要集中在技术层面的可解释性，尚未在实际临床环境中验证其有效性。

未来的研究方向可能包括：

进一步提高模型在罕见病例和高风险情况下的表现。

探索更加高效的多模态融合策略，以更好地整合不同来源的信息。

开展大规模的临床试验，验证MRANet在实际医疗场景中的应用效果。

研究如何进一步提高模型的可解释性和可信度，使其更易于被医生接受和使用。

结论

MRANet模型的提出为新冠肺炎的诊断和预后分析提供了一个强大而灵活的工具。通过整合多模态数据、关注高风险区域、实现跨模态知识迁移，该模型不仅在性能上超越了现有方法，还在可解释性和临床相关性方面取得了重要进展。尽管仍存在一些局限性，但MRANet无疑为医疗AI领域开辟了新的研究方向，有望在未来的临床实践中发挥重要作用，为患者提供更加精准和个性化的诊疗方案。

Zhong Z, Li J, Sollee J, et al. Multi-modality Regional Alignment Network for Covid X-Ray Survival Prediction and Report Generation[J]. arXiv preprint arXiv:2405.14113, 2024.