浙江大学等机构联合研发的AtomiMed如何让医学报告评估真正靠谱

这项研究由浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院、浙江大学计算机科学与技术学院、阿里巴巴集团达摩院、湖畔实验室以及复旦大学可信具身人工智能研究院联合完成于2026年6月30日以预印本形式发布论文编号为arXiv:2606.31292。假设你去医院做了一次肺部CT放射科医生写下了一份诊断报告。现在医院引入了一套AI系统也自动生成了一份报告。问题来了我们怎么判断AI写的这份报告到底有多准确、多可靠这个问题看起来简单实则是医学AI领域长期悬而未决的难题。传统的做法是用一些文字比对工具——比如看看AI的报告和医生的报告有多少词语是重叠的。但这种方法存在一个致命缺陷它根本不懂医学。没有胸腔积液和有胸腔积液这两句话只差了一个没有词语重叠度极高但意思截然相反一个是正常一个是病变。对病人来说这两种情况天差地别但对传统文字比对工具来说这两份报告几乎得分相同。更棘手的是随着医疗AI的发展需要评估的报告不再局限于胸部X光还包括CT、MRI磁共振和超声波等多种影像类型覆盖从心脏到泌尿系统的各个器官。现有的专用评估工具大多只针对胸部X光开发换个场景就水土不服。正是为了解决这个核心困境研究团队开发出了AtomiMed这套全新的评估框架并配套推出了MRGEvalKit开源工具包和OmniMRG-Bench多模态评估基准。AtomiMed的核心思路是把一份复杂的医学报告拆解成一个个原子级别的临床事实逐条核查就像一位经验丰富的资深医生拿着放大镜逐句审阅另一位医生的诊断报告。一、为什么现有的评分工具都不够用要理解AtomiMed解决了什么问题先得搞清楚现有工具的问题出在哪里。可以把评估一份AI医学报告的过程类比为一场严格的作文阅卷。最原始的做法是字符比对阅卷老师用尺子量一量考生的作文和标准答案有多少字是一样的重叠越多分数越高。这就是BLEU、ROUGE、METEOR这类词元重叠评估工具的工作原理。它们诞生于机器翻译领域后来被借用到医学报告评估中。问题在于医学报告里最关键的信息往往藏在那些关键词里——左肺还是右肺轻度还是重度有还是没有——而这些词语层面的微小差异词元重叠工具根本感知不到。于是研究者们开发出了更懂医学的工具。CheXbert能识别14类胸部X光标签RadGraph能提取报告中的临床实体和关系。这些工具比词元比对聪明多了但它们的训练数据主要来自胸部X光换到腹部CT或者脑部MRI就基本认不出了。就像一位只会阅读英文病历的医生突然被要求评审一份德文病历能力范围的边界一目了然。还有一类工具叫大模型裁判代表是GREEN。它让大型语言模型直接读两份报告然后给出一个整体评分并指出错误类型。GREEN在胸部X光场景下与放射科医生的判断吻合度相当高但它存在两个问题第一它给的是一个笼统的总分无法告诉你具体是哪个发现描述错了第二它在胸部X光之外的表现急剧下降——实验数据显示GREEN在X光上的Kendalls τ相关系数衡量排名一致性的指标越高越好是0.6481到CT场景就跌到了0.3283到MRI更是只剩0.1513几乎等同于随机猜测。简而言之目前没有任何一个工具能同时做到适用多种影像模态、精确到细节层面、并且能告诉你错在哪里。AtomiMed就是为了填补这三个空缺而生的。二、把报告拆碎再重建原子临床事实的工作原理AtomiMed的核心策略用一个比喻来说就像是把一篇文章拆解成一道道独立的是非题和填空题然后逐题对照标准答案打分而不是把整篇文章和标准答案放在一起模糊比对。具体来说AtomiMed会将一份医学报告分解为两个层次的原子临床事实。第一个层次叫疾病级问答关注的是某个病变存在与否的判断。举个例子从一份CT报告中提取出来的问题可能是是否存在肾囊肿答案是是或否。这一层次捕捉的是诊断是否正确、是否有遗漏或误报属于最基础的发现了什么的问题。第二个层次叫属性级问答则在确认某个病变存在的基础上进一步追问它的具体特征。同样以肾囊肿为例属性级问题会问肾囊肿是否呈圆形肾囊肿的直径大约是17毫米×31毫米吗肾囊肿位于右肾吗这一层次涵盖的描述维度包括位置、大小、形态、严重程度、数量和时序变化六个类别回答的是这个病变长什么样、在哪里、有多严重的问题。这样的拆解设计实际上复现了放射科医生在临床工作中的思维逻辑先确认有没有病变再描述这个病变的各项特征。一份高质量的医学报告必须在这两个层面都做到准确。整个拆解过程由一个大型语言模型研究团队选用的是Qwen3-235B-A22B来执行它按照固定的模板提示来解析报告内容并输出结构化的JSON格式问答对确保结果的一致性和可再现性。三、双向同行评审让AI模拟资深医生审稿有了这些拆碎的原子事实下一步就是比对AI报告和医生报告之间的差异。这个过程被称为智能体交叉验证循环其设计灵感来自放射科的同行评审制度——在临床实践中一位医生写完报告后通常会有另一位资深医生进行复核。AtomiMed的做法是让这个核查过程变成双向的。以论文图1中的例子来说AI生成的报告预测报告和医生写的报告参考报告各自被拆解成问答对之后系统会做两轮查验。第一轮是召回率方向把参考报告里的每个问题拿去AI报告里找答案——比如参考报告说存在肾囊肿就去AI报告里问你有没有提到肾囊肿这一轮统计的是AI报告有没有遗漏掉医生发现的重要病变。第二轮是精确率方向反过来把AI报告里的每个问题拿去参考报告里找答案——比如AI报告声称存在胆管扩张就去参考报告里核实医生是否也发现了胆管扩张这一轮统计的是AI报告有没有编造出医生没有发现的病变。通过这两个方向的交叉验证系统分别计算出疾病层面的精确率、召回率和F1分数F1是精确率和召回率的综合评分越高越好。然后在疾病层面对齐的基础上再对属性层面重复同样的流程——毕竟如果连病变存在与否都搞错了讨论其形态特征也就失去了意义。最终疾病层面和属性层面的分数各占一半权重合并成总体精确率、召回率和F1。这种分层计算的设计使得AtomiMed天然地把诊断检测能力和描述准确性分开评估每一个失分点都能追溯到具体的某个问答对给出清晰的错误定位。当两份报告都没有任何病变陈述时比如正常人的检查报告系统自动将分数设为1避免惩罚真正的正常报告。属性层面的匹配则使用模糊字符串相似度阈值设为0.8来处理同一病变名称的不同表述变体增强了系统的鲁棒性。四、OmniMRG-Bench第一个横跨四种影像模态的评估基准一套评估工具必须有一个可靠的考场来验证它的能力。研究团队为此专门构建了OmniMRG-Bench这是目前第一个同时覆盖X光、CT、MRI和超声波四种医学影像模态的多模态评估基准。OmniMRG-Bench的数据来源兼顾了公开数据集和经过脱敏处理的临床档案横跨9大解剖系统和6类属性维度。所有的原子临床事实问答对都由持有执照的放射科医生进行了人工核查以确保标注质量。整个基准数据集共包含超过17.8万条疾病级和属性级问答对。从属性分布来看位置描述类问答对最多约6.29万条其次是大小描述类约3.15万条这也反映了临床报告中对病变位置和尺寸的高度重视。在OmniMRG-Bench上研究团队对10个主流AI模型进行了系统评测包括通用视觉-语言模型InternVL3.5-38B、Qwen2.5VL-7B、Qwen3VL-8B和医疗专用模型HuatuoGPT-34B、Lingshu-7B、Lingshu-32B、MedGemma-27B、HuluMed-7B/14B/32B。结果显示各模型在不同模态上的表现差异显著。在X光场景下HuluMed-7B得分最高0.416其次是InternVL3.5-38B0.371在CT场景下Lingshu-32B0.198和HuluMed-32B0.145领先在MRI场景下HuluMed-32B0.234独占鳌头在超声波场景中HuatuoGPT-34B0.337表现最佳。这些分数的整体偏低也从侧面揭示了当前医学AI在跨模态报告生成方面仍有相当大的提升空间。五、实验验证AtomiMed与放射科医生的判断到底有多吻合评估工具本身也需要被评估。研究团队从两个维度来检验AtomiMed的可靠性一是看它的评分结果与专业放射科医生的错误计数之间的相关性二是看它在帮助挑选更好的AI报告这项任务上与医生判断的吻合程度。在相关性分析方面研究团队使用了四个已有的专家标注基准ReXVal包含600份MIMIC-CXR报告由六位放射科医生从误报、遗漏等多个维度标注错误数量、ReFiSco-v0提供行级别的临床严重性标注、RadEvalX含100份IU-Xray报告涵盖8种错误类型以及RaTE-Eval基于MIMIC-IV电子健康记录和Radiopaedia数据库构建。评估结果用Kendalls τ和Spearmans ρ两个相关系数来量化这两个指标越高代表与医生判断越一致最高为1。在ReXVal基准上AtomiMed的Spearmans ρ达到0.806超过了GREEN的0.798也远高于所有传统NLP指标最高的ROUGE-L仅为0.748。在ReFiSco-v0上AtomiMed的ρ为0.744同样超越GREEN0.709。在RadEvalX上AtomiMed的ρ为0.561高于GREEN的0.539。在RaTE-Eval上AtomiMed的ρ为0.413略低于RaTEScore的0.460但这一场景的主要优势在于AtomiMed能提供每个具体发现的可追溯误差来源而这是RaTEScore和GREEN都无法做到的。在偏好一致性分析方面研究团队设计了一个更贴近实际应用场景的测试从IU-XrayX光、AMOSCT、RadGenomeMRI和KMVE超声波数据集中各随机抽取20个病例让前述10个AI模型各自生成报告然后让一位持证放射科医生独立评审这80个病例下的所有模型输出建立人类偏好黄金标准。各评估指标的表现用平均绝对误差MAE越低越好、排名准确率Acc越高越好和Kendalls τ相关系数来衡量。AtomiMed在X光场景下的表现令人印象深刻排名准确率高达95.71%Kendalls τ为0.9807MAE仅0.0214。作为对比GREEN在同一场景下的排名准确率为63.57%MAE为0.1857而所有词元类指标BLEU系列、ROUGE系列、METEOR、CIDEr的排名准确率均在13%到21%之间徘徊与随机猜测相去不远。跨模态的韧性是AtomiMed另一个关键优势。在CT场景下AtomiMed的排名准确率为84.33%而GREEN仅为47.14%在MRI场景下AtomiMed为68.19%GREEN降至48.75%在超声波场景下AtomiMed为49.86%GREEN跌至33.83%专科最强基线RaTEScore也只有35.00%。GREEN的相关性在X光之外急剧崩溃印证了其胸部中心训练数据的局限性而AtomiMed在所有模态上都维持了实质性的预测能力。六、AtomiMed揭示的隐形盲区现有AI模型到底错在哪里AtomiMed不只是一个打分工具它的分层结构还能暴露出那些整体评分看不到的系统性缺陷。从属性维度来看形态描述比如病变是圆形、不规则形还是分叶状是所有模型表现相对最好的维度各模型分数分布在6.0到13.2之间。但一旦涉及到严重程度描述比如病变是轻度、中度还是重度分数就急剧下降至1.3到5.9区间大小描述给出具体的测量数值同样是弱项分数分布在1.0到6.9之间。HuatuoGPT-34B在严重程度这一维度的得分仅1.27Qwen2.5VL-7B更是低至0.80几近底线。这意味着现有的医学AI可以告诉你那里有个东西甚至能描述它长什么样但很难准确量化它有多严重、有多大——而这恰恰是临床决策最依赖的信息。从解剖系统维度来看呼吸系统相关的病变得分普遍最高HuluMed-7B高达21.84清晰反映了胸部X光数据在医学AI训练语料中的主导地位。消化系统各模型分布在0.32到10.93之间、生殖系统1.31到5.34和泌尿系统0.07到6.91则严重供给不足。InternVL3.5-38B的表现更是呈现出极度不均衡的特点它在内分泌系统上得分高达26.20但在泌尿系统上仅有0.97这种跌宕起伏的表现如果用传统的整体评分工具来看是完全看不出来的。这些细粒度的分析结果对于AI模型的开发者来说具有直接的指导价值不是泛泛地说模型需要改进而是精确指出在哪类影像的哪类病变的哪个描述维度上当前模型的表现不及格。说到底医学报告的评估从来不是一件可以用词语重叠来敷衍了事的工作。AtomiMed给出的答案是把报告拆成最小的可验证单元然后像严格的同行评审一样逐条核实每一个临床陈述。这套逻辑不依赖于特定的影像类型不受限于特定的解剖部位最终得到的分数不只是一个数字而是一张清单——哪里对了哪里错了错在哪个维度上。对于医疗AI开发者来说这意味着他们终于有了一把真正能衡量临床价值的尺子而不是一个会被文字游戏糊弄的工具。对于普通患者来说这项工作的意义在于未来那些辅助诊断的AI系统将会经过更严格、更贴近真实临床需求的检验而不是靠写了很多和标准答案相同的词语来蒙混过关。研究团队也指出了未来的工作方向开发计算成本更低的轻量级骨干模型、将属性层级扩展到纵向影像比较追踪病变随时间的变化以及将基准覆盖扩展到更多临床专科。如果你想深入了解这项研究的技术细节可以通过论文编号arXiv:2606.31292查询完整论文。QAQ1AtomiMed和传统医学报告评估工具有什么本质区别A传统工具主要通过比较词语重叠来打分无法区分有积液和没有积液这类关键差异。AtomiMed则将报告拆解为疾病存在与否、以及病变的位置大小形态严重程度等细粒度问答对逐条双向核查最终不仅给出评分还能精确指出哪个具体发现被遗漏或描述错误。Q2AtomiMed为什么比GREEN在CT和MRI上表现更好AGREEN主要用胸部X光数据训练因此在X光场景下表现强但换到CT、MRI时相关性急剧下降在MRI场景与医生判断的一致性接近随机猜测。AtomiMed不依赖特定影像类型的训练数据而是通过通用大语言模型进行原子事实拆解和交叉核查因此能在X光、CT、MRI、超声波四种模态上都保持有意义的预测能力。Q3OmniMRG-Bench收录了哪些类型的医学数据AOmniMRG-Bench同时覆盖X光、CT、MRI和超声波四种医学影像模态涉及9大解剖系统包含超过17.8万条由放射科医生核验的疾病级和属性级问答对是目前首个横跨四种影像模态的医学报告生成评估基准。