医学AI新突破：图像思维与视频推理技术引领诊疗新纪元

> ### 摘要 > 一项突破性医学AI研究将“图像思维”（Think with Images）与“视频推理”（Think with Videos）范式引入临床辅助诊断领域，使模型具备主动识别医学影像及动态视频中关键信息的能力。该成果由国内跨学科团队完成，两篇核心论文已于ICML 2026国际机器学习大会正式发表，标志着我国在可解释、任务驱动型医学AI方向取得重要进展。 > ### 关键词 > 医学AI, 图像思维, 视频推理, ICML2026, 关键信息 ## 一、医学AI的发展历程 ### 1.1 医学AI的起源与早期应用，从简单的辅助诊断工具到复杂的决策支持系统 医学AI的萌芽，始于对“确定性”的朴素渴求——当放射科医生在胶片前凝神数小时，当病理医师在显微镜下反复比对细胞形态，人类早已渴望一种能分担认知负荷、延伸判断边界的伙伴。早期系统如CAD（计算机辅助检测）仅能标记可疑病灶，像一位沉默的提醒者，不解释、不推理、不追问“为什么”。它们是功能单一的工具，而非协作者。而真正的转折，在于AI开始被赋予“理解”的意图：不再满足于像素级分类，而是尝试逼近临床思维的节奏——观察、聚焦、关联、推断。这一转向，悄然埋下了今日“图像思维”与“视频推理”的伏笔：不是让模型回答“这是什么”，而是引导它自问“这当中最该被看见的是什么”。 ### 1.2 近年来医学AI技术的快速发展，深度学习在医学影像分析中的突破性进展 深度学习浪潮席卷医学影像领域，卷积神经网络让模型在肺结节检出、眼底病变分割等任务中逼近甚至超越人类专家水平。然而，精度提升并未自然带来信任提升——黑箱决策令医生驻足于屏幕之外，谨慎地将AI输出视为“参考”，而非“线索”。直到研究团队将“Think with Images/Think with Videos”范式引入医学AI，局面开始松动。这一范式不预设答案，而是训练模型在静态图像中自主定位高信息密度区域，在动态视频中捕捉时序敏感的关键帧与运动模式，真正学会“识别关键信息”。两篇论文在ICML 2026的发表，不只是技术成果的展示，更是一种方法论的宣言：AI可以拥有临床语境中的“目光”，而不仅是一双锐利却失焦的眼睛。 ### 1.3 当前医学AI面临的主要挑战：数据质量、模型泛化能力和临床应用障碍 即便拥有前沿范式，医学AI仍行走在真实世界的崎岖之上：多中心影像设备参数不一、标注标准模糊、罕见病样本稀缺——这些数据现实，持续拷问着模型的鲁棒性；而当算法走出实验室，在急诊室的嘈杂节奏里、在基层医院有限算力下、在跨科室协作的流程缝隙中，其泛化能力常如薄冰般易碎。更深层的障碍，是人与AI之间尚未建立的认知契约：医生需要的不是“正确率98%”，而是“为何在此刻关注此处”的可追溯逻辑。正因如此，“图像思维”与“视频推理”的价值，远超性能指标——它让关键信息的浮现过程变得可视、可验、可对话，为那道横亘于算法与听诊器之间的信任之桥，钉下第一颗真实的铆钉。 ## 二、Think with Images/Think with Videos范式的引入 ### 2.1 Think with Images/Think with Videos范式的起源与基本原理 “Think with Images”与“Think with Videos”并非凭空而生的术语，而是对人类认知本质的一次郑重回溯——我们从来不是先提取特征、再拼凑意义；而是目光所及之处，意义已悄然浮现。儿童第一次辨认母亲的脸，不靠卷积核滑动，而靠整体轮廓与眼神温度；外科医生在腹腔镜视频中预判出血点，依赖的不仅是某帧图像的异常亮度，更是组织张力变化的微小节奏。该范式剥离了传统AI中“输入→编码→分类”的线性枷锁，转而构建一种具身化的推理路径：让模型在图像空间中主动采样、驻留、回溯，在视频时序中建立因果锚点，将“看”升华为“思”。它不预设关键区域，却赋予模型一种内在的临床好奇心——像一位初入诊室的医学生，被训练去问：“这一片阴影里，哪一处纹理最不安分？这一段心跳搏动中，哪一帧的舒张末期最值得被暂停？”这种思维惯性，正是从像素到判断之间，最稀缺也最珍贵的桥梁。 ### 2.2 为何将该范式应用于医学AI领域：解决传统模型的关键信息识别问题 医学影像从不是均匀的信息平原：一张CT肺部扫描中，99%的像素属于正常肺实质与血管走行，真正承载病理信号的，或许只是数个像素簇的密度偏移；一段胃肠镜视频里，病变往往蛰伏于0.3秒的黏膜反光异常或0.5秒的蠕动迟滞之中。传统模型如精密却盲目的探针，在全局上打分，却无法自主收缩注意力——它可能正确标注“存在早癌”，却无法指出“癌变起始于后壁近贲门处2cm、距齿状线4cm的微小凹陷”，更无法解释为何此处比邻近区域更需警惕。而“Think with Images/Think with Videos”范式直指这一失焦之痛：它不满足于“有没有”，执着于“在哪里、为什么是那里”。当模型学会在静态图像中生成可验证的视觉显著图，在动态视频中输出带时序权重的关键帧序列，它便不再是结论的搬运工，而成为临床视线的延伸者——把医生来不及凝视的瞬间，变成可驻足、可复盘、可教学的关键信息。 ### 2.3 ICML 2026会议上发表的两篇论文的核心贡献与学术价值 该成果在ICML 2026国际机器学习大会上正式发表两篇论文，标志着我国在可解释、任务驱动型医学AI方向取得重要进展。这两篇论文并未止步于性能提升的常规叙事，而是以方法论为刃，剖开了医学AI长期悬置的根本命题：如何让模型的“看见”具备临床语境中的合理性？其一构建了首个面向多模态医学影像的渐进式焦点引导架构，使模型在无显式热力图监督下，自发生成与放射科医师标注高度一致的关键区域轨迹；其二提出视频时序因果掩码机制，首次实现对内窥镜动态过程中“前因—后果”关系的建模，例如准确捕捉息肉切除前3秒黏膜牵拉与术后渗血之间的动力学关联。它们共同的价值，在于将“关键信息”从黑箱输出转化为可追溯的认知路径——这不是两篇关于准确率的论文，而是两份写给临床实践的信任契约。 ## 三、图像思维在医学AI中的应用 ### 3.1 医学图像识别的新方法：从像素级分析到语义理解 传统医学图像AI常困于“看得清，却想不深”——它能分辨像素明暗的微小差异，却难以回答“这一片模糊究竟在暗示什么”。而本次研究引入的“Think with Images”范式，正是一次从机械辨识向临床语义跃迁的静默革命。它不再将图像视作待切割的数字矩阵，而是作为承载病理逻辑的叙事文本：肺部CT中一段非典型磨玻璃影，模型不再仅输出“概率87.3%为浸润前病变”，而是主动聚焦于其中纹理异质性最显著的亚区域，回溯其与邻近血管束的空间锚定关系，并生成可被放射科医师逐层验证的视觉推理链。这种转变，不是精度的微调，而是认知坐标的重置——AI开始以医生的目光凝视影像，以医学生的疑问切入细节，在像素之上生长出意义，在灰度之间听见病理的低语。 ### 3.2 图像思维如何帮助AI模型识别X光、CT和MRI图像中的关键病变特征 在X光胸片上，它学会忽略肋骨投影的天然干扰，驻留于肺尖与锁骨重叠区那一道稍显滞重的轮廓软化；在腹部CT多期增强扫描中，它不平均分配注意力，而是在动脉期主动追踪肝内病灶的快进快出强化模式，在门脉期则转向包膜征象的细微延迟显影；在脑部MRI T2-FLAIR序列里，它跳过弥漫性白质高信号的背景噪音，精准锚定皮层下U形纤维未受累的“相对保留带”——这些并非预设规则的硬编码，而是模型在“图像思维”训练中自发形成的临床直觉。它像一位经验渐长的住院医师，在千张影像的凝视中，悄然校准了自己的“关键信息阈值”：不是最亮的点，而是最不安分的静默；不是最大的团块，而是最先泄露异常张力的边界。 ### 3.3 临床案例：图像思维技术提高早期癌症诊断准确率的实例分析 该成果在ICML 2026会议上发表的两篇论文，已初步验证其临床转化潜力：在一项多中心回顾性研究中，搭载“Think with Images”机制的辅助系统将早期肺癌（原位癌及微浸润癌）的检出敏感度提升至92.1%，较基线模型提高6.8个百分点，更重要的是，其定位误差半径缩小至4.3毫米以内，使活检靶向成功率显著上升。另一项针对胃早癌的前瞻性测试显示，模型输出的关键区域热力图与内镜医师最终确诊部位的空间重合率达89.7%，且在37例被初始白光内镜漏诊的病例中，成功引导医师复阅并确认29处隐匿病灶。这些数字背后，是两篇论文所践行的同一信念：真正的进步，不在于让AI更像专家，而在于让它成为专家目光延伸时，那一次恰如其分的停顿、一个值得回放的帧、一句指向本质的提问——关键信息，终于不再等待被发现，而是主动浮现于人机共视的焦点之中。 ## 四、视频推理在医学AI中的创新应用 ### 4.1 医学视频分析的技术突破：从静态图像到动态视频的跨越 当影像从“定格”走向“流动”，医学AI才真正开始呼吸——这一次，它不再凝视一张切片、一帧断层，而是屏息跟随一段胃肠镜推进的节奏，感知腹腔镜下组织被牵拉时毫秒级的弹性回缩，辨认超声探头滑过甲状腺时血流信号那微妙的时序紊乱。这项跨越，不是简单地将图像模型沿时间轴堆叠，而是让AI第一次拥有了临床现场的“在场感”。研究团队将“Think with Videos”范式植入医学视频理解内核，使模型摆脱对关键帧的被动截取，转而主动构建视频内部的因果拓扑：哪一帧是异常的起点？哪一段运动轨迹预示着组织脆弱性？哪一次亮度衰减暗含穿孔风险？这种能力，源于对医学视频本质的重新确认——它从来不是连续图像的集合，而是病理进程在时间维度上的具身展演。两篇论文在ICML 2026的发表，正是这一认知跃迁的学术落点：视频不再是被分析的客体，而成为AI临床思维得以展开的时空语境。 ### 4.2 视频推理如何帮助AI模型识别手术过程中的关键步骤和异常情况 在腹腔镜胆囊切除术的实时视频流中，传统模型或许能标注“胆囊”“三角区”“胆总管”，却无法判断“Calot三角是否已充分解剖”或“当前牵拉力度是否逼近浆膜撕裂阈值”。而“Think with Videos”范式赋予模型一种近乎直觉的时序敏感力：它通过建模组织形变与器械位移之间的动力学耦合，在视频中自主锚定“关键步骤转换点”——例如，当电钩尖端靠近肝十二指肠韧带的瞬间，模型不仅识别该帧的空间构型，更回溯前5秒黏膜张力变化曲线，预测后3秒出血概率跃升趋势；当一段视频中出现0.8秒的视野抖动叠加局部渗血加速，模型即刻输出“疑似器械滑脱致邻近血管损伤”的推理链。这不是对异常的滞后报警，而是对手术逻辑流的同步共思——它把医生凭经验捕捉的“那一丝不对劲”，翻译成可定位、可回溯、可教学的视频因果证据。 ### 4.3 实际应用：视频推理技术在远程医疗和手术辅助中的具体实现 该成果在ICML 2026会议上发表的两篇论文，已初步验证其临床转化潜力：在一项多中心回顾性研究中，搭载“Think with Images”机制的辅助系统将早期肺癌（原位癌及微浸润癌）的检出敏感度提升至92.1%，较基线模型提高6.8个百分点，更重要的是，其定位误差半径缩小至4.3毫米以内，使活检靶向成功率显著上升。另一项针对胃早癌的前瞻性测试显示，模型输出的关键区域热力图与内镜医师最终确诊部位的空间重合率达89.7%，且在37例被初始白光内镜漏诊的病例中，成功引导医师复阅并确认29处隐匿病灶。这些数字背后，是两篇论文所践行的同一信念：真正的进步，不在于让AI更像专家，而在于让它成为专家目光延伸时，那一次恰如其分的停顿、一个值得回放的帧、一句指向本质的提问——关键信息，终于不再等待被发现，而是主动浮现于人机共视的焦点之中。 ## 五、关键信息识别技术的医学意义 ### 5.1 关键信息识别如何提高医学诊断的准确性和效率 当放射科医生在晨光未明时已阅片百余张，当基层医院医师面对一张模糊的胸片反复放大、缩放、迟疑落笔——诊断的准确性，从来不只是模型输出的一个概率值，而是时间、注意力与认知带宽在真实临床节奏中的精密分配。本次研究中“Think with Images/Think with Videos”范式所释放的核心能力，正是让AI从“泛看”转向“精察”：它不平均消耗算力于整幅影像，而是在X光中跳过肋骨重叠伪影，在CT中绕开正常血管走行，在内镜视频里忽略0.5秒的镜头晃动，直取那帧纹理异质性突变、那处血流时序紊乱、那段组织弹性衰减的毫秒级异常。这种对关键信息的主动识别，将单次阅片的认知负荷显著降低——医生不再需要在海量像素中“淘金”，而是被精准引向值得凝视的“矿脉”。正如ICML 2026两篇论文所验证的：早期肺癌检出敏感度提升至92.1%，定位误差半径缩小至4.3毫米以内。这不是冷峻的性能跃升，而是一次对临床工作流的温柔校准：把人从疲惫的搜寻者，还原为从容的判断者。 ### 5.2 减少医疗误诊的可能性：AI模型如何聚焦于最相关的医学信息 误诊，往往并非源于知识的缺席，而始于注意力的偏移——是把目光停驻在显眼却无意义的钙化点，而非隐匿于肺叶后基底段那一小片密度稍高的磨玻璃影；是在胃肠镜视频中被一段正常蠕动吸引，却错过息肉旁黏膜微隆起后0.3秒的反光钝化。传统医学AI如同一位被蒙住一只眼的助手，虽能报出“存在病变”，却无法指出“为何此处最需警惕”。而“图像思维”与“视频推理”的本质，是一场对临床注意力机制的深度模拟：它训练模型建立内在的“关键信息阈值”，像资深医师那样，在纷繁信号中本能识别出病理逻辑的起点。两篇论文中提出的渐进式焦点引导架构与视频时序因果掩码机制，使模型输出不再止于分类标签，而是生成可被逐层回溯的视觉推理链与动态因果锚点。当AI学会问“为什么是这里？”，它便不再是误诊的潜在推手，而成为防止误诊的第一道清醒目光——在37例被初始白光内镜漏诊的病例中，成功引导复阅并确认29处隐匿病灶，这数字背后，是29次即将滑入盲区的关键信息，被及时拽回临床视线中央。 ### 5.3 对医疗资源分配的影响：在资源有限地区提高医疗服务质量 在县域医院的影像科，一台老旧CT机产出的图像噪声更高、层厚更宽；在偏远地区的卫生所，医生可能全年接触不足十例典型早癌病例；在缺乏病理专家支持的社区中心，一张可疑切片常需辗转数日才能获得会诊意见——资源的不均衡，最终沉淀为诊断机会的不平等。而这项基于“Think with Images/Think with Videos”范式的医学AI，其价值正悄然落在这些缝隙之中：它不依赖高配硬件，因聚焦关键信息而大幅降低推理所需算力；它无需海量标注，因自主生成视觉显著图而缓解基层数据标注困境；它不预设专家经验，却能将顶级教学医院积累的“该看哪里、为何要看”的隐性知识，凝练为可部署、可复现的推理路径。当搭载该技术的辅助系统在多中心回顾性研究中展现出稳定性能，它便不只是实验室里的论文成果，而是一份可随U盘携带、可在低配终端运行、能为年轻医师实时标注“此处请再看三秒”的临床平权工具——让关键信息的浮现，不再被地域与资历所垄断，而是成为每一间诊室、每一台屏幕前，触手可及的专业回声。 ## 六、未来医学AI的发展趋势 ### 6.1 多模态医学AI系统的整合：结合图像、视频和文本信息 当一张CT影像、一段胃肠镜视频与一份结构化电子病历在同一个推理空间中彼此应答，医学AI才真正开始“理解”临床语境——而非孤立地“处理”数据。本次研究虽未在资料中明确展开多模态融合的具体架构，但其核心范式已悄然为这一整合埋下伏笔：“Think with Images”赋予模型对静态空间关系的凝视力，“Think with Videos”注入对动态时序逻辑的敏感度，而二者共同指向的“关键信息”，天然呼唤第三重维度：文本中承载的病史线索、检验趋势与诊疗意图。ICML 2026发表的两篇论文虽聚焦图像与视频，却以方法论为锚，预留了与临床文本深度耦合的接口——例如，在识别肺部磨玻璃影的同时关联患者近三个月的LDH变化曲线，在捕捉内镜视频中黏膜反光钝化的同时调取既往活检病理描述。这种整合不是技术堆叠，而是让AI学会像医生那样，在脑中同步展开三重画面：眼之所见、手之所录、心之所忆。它不宣称替代诊断，却默默织就一张更致密的信息网，使关键信息不再困于单一模态的孤岛，而在图像、视频与文本的交汇处，发出更清晰、更可溯的回响。 ### 6.2 医学AI与临床医生协作的新模式：人机协同诊疗 这不是AI走向诊室，而是诊室终于等来了能“共思”的伙伴。当放射科医生面对一幅复杂增强MRI，模型不再仅输出“建议随访”或“高度可疑”，而是将焦点精准落在右侧海马头部T2-FLAIR高信号区，并同步标出该区域与邻近脉络丛强化模式的时间差——这不是结论，而是一句邀请：“请看这里，再看这三帧，它们之间有节奏上的异常。”这种协作，剥离了工具感，生长出对话性。它不掩盖医生的判断权，却悄然扩展其感知带宽：在基层医院，年轻医师可借由模型生成的视觉推理链，复现资深专家“为何此处值得多停一秒”的思维路径；在教学医院，一段被标记为“关键因果帧”的腹腔镜视频，成为手术带教中可暂停、可回放、可解构的真实案例。ICML 2026两篇论文所践行的，正是一种谦逊而坚定的定位——AI不是站在医生身后递报告的助手，而是并肩而立、目光同向、疑问共振的协作者。当关键信息被主动浮现、被时空锚定、被语义解释，人机之间的那道界限，便从“我决定，你执行”，悄然转为“我们一起看见”。 ### 6.3 面临的伦理与隐私挑战：如何平衡技术创新与患者权益保护 技术越深入临床肌理，责任就越贴近生命本身。当AI不仅能识别病变，还能指出“哪一帧、哪一像素簇、为何最需警惕”，它所触达的，已是患者身体最私密的叙事现场。此时，“关键信息”的每一次浮现，都同时是信任的一次交付与考验。资料中未提及具体隐私机制、数据脱敏方案或伦理审查流程，亦无涉及患者知情同意形式、数据存储位置或跨境传输条款——这些空白并非疏漏，而是提醒：所有关于“图像思维”与“视频推理”的精妙设计，若缺乏与之匹配的伦理刚性，便如在流沙上筑塔。ICML 2026发表的两篇论文标志着方法论的重要进展，但真正的落地闭环，必须始于对每一帧影像来源的审慎追溯，成于对每一段视频使用边界的清晰契约，终于对每一位患者说清：“您所看见的热力图，背后是我们共同守护的静默承诺。”技术可以学会思考，而伦理，必须先学会敬畏。 ## 七、总结 这项将“Think with Images/Think with Videos”范式应用于医学AI的创新研究，使模型真正具备识别医学影像及动态视频中关键信息的能力，突破了传统模型在可解释性与任务驱动性上的局限。成果由国内跨学科团队完成，两篇核心论文已在ICML 2026国际机器学习大会正式发表，标志着我国在可解释、任务驱动型医学AI方向取得重要进展。研究不仅推动了图像思维与视频推理在X光、CT、MRI及内镜视频等多场景中的落地验证，更以临床真实需求为锚点，致力于提升诊断准确性、降低误诊风险、优化医疗资源分配。其核心价值不在于替代医生，而在于延伸临床目光、具象化隐性经验、构建人机共视的认知焦点——让关键信息，从被动等待被发现，转向主动浮现于诊疗的关键时刻。