AAAI 2025 论文精读：KG-LLaVA——用知识图谱增强医学影像解释生成

AAAI 2025 论文精读KG-LLaVA——用知识图谱增强医学影像解释生成论文要解决什么问题核心思路为什么要用 Knowledge Graph方法解析KG-RAG 如何增强 LLaVA实验结果说明了什么论文创新点与不足我的理解与总结论文要解决什么问题这篇论文的标题是LLaVA Needs More Knowledge: Retrieval Augmented Natural Language Generation with Knowledge Graph for Explaining Thoracic Pathologies可以翻译为LLaVA 需要更多知识基于知识图谱的检索增强自然语言生成用于解释胸部疾病。补充知识LLaVA 全称是Large Language and Vision Assistant中文可以理解为大语言视觉助手 或 大型语言-视觉助手它关注的任务不是普通的医学图像分类也不是传统的医学视觉问答而是Natural Language Explanation, NLE自然语言解释。简单来说模型不仅要判断胸部 X-ray 图像中是否存在某种疾病还要用自然语言说明“为什么可以这么判断”。例如模型看到一张胸部 X-ray判断患者可能存在Atelectasis肺不张它不能只输出一个类别标签而是需要生成类似下面的解释Stable linear opacification in the left mid lung likely represents atelectasis or scarring.这句话的意思是左中肺区域稳定的线性不透明影可能代表肺不张或瘢痕。这类任务比普通分类更难。分类只要求模型判断“有没有病”而自然语言解释还要求模型说清楚“依据是什么”。在医疗场景中这一点非常重要因为医生不仅需要模型给出预测结果也需要知道模型的判断是否有医学依据。论文认为LLaVA 这类通用Vision-Language Model, VLM视觉语言模型虽然有较强的图像理解和文本生成能力但它本身缺少足够的医学专业知识。胸部 X-ray 中很多异常表现非常细微例如opacity不透明影、infiltrate浸润影、consolidation实变等术语之间存在临床差异。通用模型如果只依赖自身参数中的知识很容易生成看起来流畅但医学上并不严谨的解释这就是医学大模型中常见的Hallucination幻觉问题。因此这篇论文的核心出发点是医学视觉语言模型不应该只靠图像和语言模型自身知识而应该引入可控、结构化、可检索的医学知识。核心思路为什么要用 Knowledge Graph论文提出的方法叫KG-RAG全称是Knowledge Graph Retrieval-Augmented Generation中文可以理解为知识图谱检索增强生成。这里面包含两个关键概念。第一个是RAG, Retrieval-Augmented Generation检索增强生成。传统 RAG 的做法是在模型生成答案之前先从外部知识库中检索相关信息然后把检索结果作为上下文输入大模型让模型基于这些额外知识生成答案。第二个是KG, Knowledge Graph知识图谱。知识图谱用实体和关系组织知识最常见的形式是Triplet三元组entity_1 — relation — entity_2在医学影像场景中一个三元组可以写成opacity — suggestive of — pneumonia其中opacity不透明影是医学影像表现suggestive of提示是关系pneumonia肺炎是疾病实体。这个三元组表达的医学含义是不透明影可能提示肺炎。这篇论文没有直接使用普通文本作为检索对象而是使用知识图谱三元组作为检索对象。这样做有两个好处。第一知识图谱可以提供更清晰的医学关系。相比一整段医学报告三元组更加结构化模型更容易利用其中的医学实体和关系。第二它可以降低医疗场景中的隐私风险。普通 RAG 如果直接检索患者报告哪怕报告经过脱敏也可能保留某些可追溯的临床细节。而 KG-RAG 检索的是抽象后的医学实体和关系例如“opacity — suggestive of — pneumonia”不直接暴露患者原始文本因此更适合医疗场景。所以这篇论文的核心思想可以概括为不直接检索患者原始报告而是检索由医学知识图谱组织后的结构化知识让视觉语言模型生成更准确、更安全的医学解释。方法解析KG-RAG 如何增强 LLaVA论文提出并评估了三个框架KG-LLaVA、Med-XPT和Bio-LLaVA。它们的架构不同但都使用了 KG-RAG 模块来增强自然语言解释生成能力。其中最核心的是KG-LLaVA。它把预训练的LLaVA和知识图谱检索模块结合起来。整体流程可以理解为胸部 X-ray 图像 ↓ Vision Model 提取图像特征 ↓ MLP 预测病理标签 ↓ KG-RAG 检索相关医学知识三元组 ↓ Projector 将图像特征映射到语言模型空间 ↓ LLM 接收图像特征、病理标签和检索知识 ↓ 生成 Natural Language Explanation这里的Vision Model视觉模型负责从 X-ray 图像中提取视觉特征。论文中使用了CLIP ViT-L、MedCLIP、Bio-ViT-L等不同视觉编码器。其中MedCLIP是面向医学图像和文本训练的模型更适合医学图像检索任务。Projector投影器的作用是把视觉特征映射到语言模型可以理解的 embedding 空间。因为图像模型输出的是视觉特征而 LLM 处理的是文本 token 或语言空间中的 embedding所以中间需要一个投影模块完成跨模态对齐。MLP, Multi-Layer Perceptron多层感知机用于预测胸部 X-ray 中可能存在的病理类别。论文关注多种胸部病理并且每种病理可以被分为Negative阴性、Uncertain不确定和Positive阳性三种确定性等级。这些预测结果会作为生成解释时的重要条件。KG-RAG 的检索过程也很关键。论文先用RadGraph从放射学报告中抽取医学实体和关系构建出 KG datastore。然后用MedCLIP text encoder将这些知识图谱三元组编码为 triplet embeddings。推理时输入图像也会被编码成 image embedding。模型通过计算图像 embedding 和三元组 embedding 之间的Cosine Similarity余弦相似度选择最相关的 top-k 个医学知识三元组。流程可以简化为Input X-ray ↓ Image Embedding ↓ 与 KG Triplet Embeddings 计算相似度 ↓ 选出 Top-k Triplets ↓ 作为额外医学知识输入 LLM也就是说KG-RAG 实现的是一种跨模态检索用图像去检索文本化的医学知识。模型最终生成解释时不再只是“看图说话”而是结合了图像特征、病理预测结果和知识图谱中的医学关系。除了 KG-LLaVA论文还提出了Med-XPT和Bio-LLaVA。Med-XPT是作者自定义的框架主要由MedCLIP医学视觉编码器、Transformer-based Projector基于 Transformer 的投影器和GPT-2语言模型组成。它更偏向医学专用架构。Bio-LLaVA则是在 LLaVA 的基础上进行医学化改造用Bio-ViT-L面向生物医学任务的视觉模型替换原来的视觉编码器使模型更适合处理医学图像特征。这三个框架共同说明了一个问题KG-RAG 不是只能绑定某一个模型而是可以作为一个plug-and-play module即插即用模块集成到不同视觉语言模型中。实验结果说明了什么论文使用的数据集是MIMIC-NLE。它来自MIMIC-CXR胸部 X-ray 数据集是目前公开可用的胸部 X-ray 自然语言解释数据集。论文中提到MIMIC-NLE 一共有38,003条自然语言解释其中训练集37,016条验证集273条测试集714条。实验指标主要分为两类一类是病理分类指标另一类是文本生成指标。病理分类主要使用AUCArea Under the Curve曲线下面积。AUC 越高说明模型对病理类别的分类能力越强。文本生成指标包括BLEU-4、METEOR、ROUGE-L和CIDEr。其中CIDEr对这类任务比较重要因为它更关注生成文本和参考解释之间的上下文相关性。如果模型能够生成更多与病理相关的医学术语CIDEr 通常会更高。实验结果显示KG-LLaVA 相比已有方法有明显提升。它在 MIMIC-NLE 测试集上取得了AUC83.0 BLEU-47.2 METEOR15.1 ROUGE-L25.0 CIDEr62.2相比之下RATCHET 的 AUC 为 66.4CIDEr 为 37.9DPT 的 AUC 为 62.5CIDEr 为 17.4。这个差距说明 KG-LLaVA 不仅分类能力更强生成的自然语言解释也更接近真实医学解释。论文还比较了 Bio-LLaVA、Med-XPT 和 KG-LLaVA 三个框架MethodBLEU-4METEORROUGE-LCIDErBio-LLaVA5.714.323.046.7Med-XPT7.011.022.962.7KG-LLaVA7.215.125.062.2从结果看KG-LLaVA 在 BLEU-4、METEOR 和 ROUGE-L 上最好Med-XPT 在 CIDEr 上略高。这说明 KG-RAG 模块在不同模型结构中都有效只是不同架构的优势略有不同。KG-LLaVA 更擅长生成整体质量更高、与参考答案更一致的解释而 Med-XPT 在上下文相关词汇覆盖方面也有优势。论文还分析了不同 RAG 方法的影响。结果显示不使用 RAG 时模型表现明显较弱加入普通 NLE-based RAG 后效果提升而使用 KG-RAG 后CIDEr 等指标进一步提升。以 Med-XPT 为例无 RAGCIDEr 17.4 NLE RAGCIDEr 59.3 KG-RAGCIDEr 62.7这个结果说明外部知识对于医学解释生成非常重要而且知识图谱形式的知识比直接使用自然语言解释更加结构化也更适合隐私敏感的医疗场景。论文中的定性结果也很直观。对于一个胸部 X-ray 案例Ground Truth 是An underlying infectious infiltrate cannot be excluded.KG-LLaVA 生成了完全一致的解释An underlying infectious infiltrate cannot be excluded.而 Med-XPT 和 Bio-LLaVA 生成的解释虽然在临床上可能也有一定合理性但与 Ground Truth 存在偏差。这说明 KG-LLaVA 在与专家标注对齐方面更稳定尤其是在需要结合医学知识进行解释时KG-RAG 的作用更加明显。论文创新点与不足这篇论文的第一个创新点是提出了一个面向胸部病理自然语言解释生成的KG retrieval-augmented Vision-Language Model知识图谱检索增强视觉语言模型。它不是只做分类也不是只依赖 LLaVA 自身能力而是通过知识图谱补充医学领域知识从而生成更准确的医学解释。第二个创新点是用知识图谱降低医疗 RAG 的隐私风险。传统 RAG 可能检索患者原始报告存在数据泄露风险而本文通过 KG triplets 抽象掉患者特定细节只保留医学实体和关系因此更适合医疗场景。第三个创新点是 KG datastore 的插件式设计。论文将 KG-RAG 模块集成到 KG-LLaVA、Med-XPT 和 Bio-LLaVA 三个不同框架中并都取得了不错效果。这说明该方法具有一定可扩展性不是只能服务于单一模型。不过这篇论文也存在一些不足。首先它依赖RadGraph这类图谱抽取模型来构建医学知识三元组。如果换到其他医学模态例如超声、病理图像、眼底图像或 MRI可能需要重新训练或适配新的图谱抽取模型。其次论文主要验证的是胸部 X-ray 场景也就是Thoracic Pathologies胸部病理。它是否能直接迁移到其他医学影像任务还需要更多实验支持。最后BLEU、ROUGE、CIDEr 等自动文本生成指标不能完全代表临床解释质量。医学解释是否真正可靠仍然需要医生评估。尤其是有些生成结果虽然与 Ground Truth 表述不同但临床上可能仍然合理这种情况自动指标未必能准确反映。我的理解与总结这篇论文最有价值的地方在于它没有简单地说“让 LLaVA 看更多医学数据”而是提出了一个更适合医疗场景的思路医学大模型需要可控、可解释、可保护隐私的外部医学知识。相比直接微调模型KG-RAG 有几个优势知识更容易更新 推理依据更容易解释 不完全依赖模型参数记忆 可以降低患者隐私泄露风险 更适合医学专业场景这对后续医学多模态研究很有启发。在医学 VQA、医学报告生成、病理解释、超声辅助诊断等任务中都可以考虑构建结构化医学知识库再通过 RAG 的方式增强模型。如果把这篇论文和 FAVP 那篇论文联系起来看会得到一个很有意思的方向FAVP 解决的是模型应该看哪里 KG-LLaVA 解决的是模型应该知道什么FAVP 偏向视觉定位让模型更准确地关注病灶区域KG-LLaVA 偏向医学知识增强让模型生成解释时有更可靠的知识依据。如果把二者结合可能形成一个更完整的医学多模态系统视觉提示定位病灶区域 ↓ 知识图谱检索相关医学知识 ↓ 大语言模型生成医学解释总的来说这篇论文的核心贡献可以总结为通过知识图谱检索增强生成让 LLaVA 等视觉语言模型获得额外医学知识从而生成更准确、更可信、更隐私安全的胸部 X-ray 自然语言解释。简单来说FAVP 是让模型“看得更准”而 KG-LLaVA 是让模型“懂得更多”。对于医学 AI 来说这两个方向都非常关键。真正可用的医疗多模态模型不仅要能看图还要能结合医学知识给出可靠解释。