近日,第23届医学图像计算和计算机辅助介入国际会议MICCAI 2020论文录用结果揭晓,专注医疗人工智能与大数据技术研究的腾讯天衍实验室,共计入选14篇论文,较去年入选4篇大幅增加,研究方向涵盖医学影像中的分类、分割、检测、领域自适应等应用场景,实现医疗影像人工智能技术的全面突破。
近年来AI技术与医疗行业走向深度融合,其中在医学影像中的应用最为广泛。在此次入选MICCAI 2020的论文中,作为腾讯觅影幕后的算法技术供应团队之一,腾讯天衍实验室基于医学影像临床应用中的多种场景,对多种机器学习方法展开了创新性研究,有望加速AI在医疗健康领域的实践进程。
腾讯天衍实验室负责人郑冶枫博士,从事智能医学影像分析多年,其发明的投影空间学习法于2011年获美国马斯•爱迪生专利奖,相关的研究成果于2014年结集出版《医学影像处理的投影空间学习法:器官的快速检测与分割》。他也是美国医学和生物工程学会的会士(AIMBE Fellow)和IEEE医学影像杂志副编(TMI IF=7.8)。
破局医疗图像数据标注力量不足
在AI医疗影像的学习和训练中,面对医疗图像数据标注力量不足、医疗影像数据质量参差不齐的行业困局,如何让有标注数据得到尽可能的使用,释放AI在医疗图像领域中的作用,腾讯天衍实验室通过多种机器学习方法的技术创新尝试进行突破。
与传统的监督学习相比,弱监督学习使用有限的、含有噪声的或者标注不准确的数据来进行模型参数的训练,是AI医学影像分析工作的常用思路。在今年获收录的论文中,天衍实验室提出了一种崭新的由宏观网络-微观网络两部分组成的弱监督框架。宏观网络负责学习弱标注图像(大量)中包含的位置和区域信息,而微观网络则负责学习全标注图像(少量)中包含的精细结构信息。在此框架的基础上,研究人员使用了基于不确定度的宏观-微观数据流,分别利用参数滑动平均方法和不确定度指导的KL-loss来实现两个模型的知识互通。大量的实验结果表明,该方法优于传统的单一半监督及弱监督方法,为更高效利用分割标注提供了新的可能。
图注:宏观-微观弱监督学习方式进行眼底OCT组织分割
面对神经网络容易受到医疗图像采集过程中的噪声干扰的影响,腾讯天衍实验室提出了一种抗干扰的神经元内生学习方法,利用正确的标签生成正确的响应图,然后随机生成错误的标签获得错误的响应图作为干扰。在神经网络学习中,使得两个响应图差异尽量变大,从而使得网络学习到干扰信息,提高网络的抗干扰能力。以往方法不同的是,本次提出的方法是在特征空间而非图像层面生成干扰,而在特征空间生成的干扰完全由网络内部自身决定,因此网络能够获得更强的抗干扰性和鲁棒性。在当前高质量标注数据资源缺乏的情况下,这一研究对提高噪声数据价值、拓展机器学习的可用数据范围做出了新的。
图注:抗干扰的神经元内生学习帮助医疗图像分类
医学影像数据标注要求高、数据收集困难,无标签数据的使用价值及可能性亦成为AI医疗影像科研的新方向。
在基于深度学习的青光眼自动诊断任务上,由天衍实验室提出的“学习教学-知识迁移(L2T-KT)”训练策略和“测验池(Quiz Pool)”,利用无诊断的眼底图像来升级教师网络,对无标签数据在AI医疗影像中的应用做出了尝试。该方案使教师网络可以将无诊断的眼底图像的信息,编码到一个潜在的特征空间中,然后学生通过向教师学习就能够在无诊断的眼底图像上进行训练。在私有数据集以及LAG数据集上进行了实验后的结果表明,该方法能利用无诊断眼底图像,显著提升青光眼诊断任务的性能。
图注:基于教师–学生网络框架实现可利用无诊断数据训练的青光眼分类学习模型
深度学习时代,预训练模型在医疗影像分析中起到了至关重要的作用。然而自然图像和医学图像本身存在的域间差异比较明显,存在较大提升空间。在研究中显示,天衍实验室提出的模型预训练框架Comparing to Learn (C2L),使用70万张完全无人为标注的放射学影像,通过比较图像特征之间的差异性,取得了超越ImageNet使用有监督预训练的模型表现以及其他当下最先进的自监督模型。
图注:通过对比学习超越ImageNet预训练的放射影像表征预训练方式
挖掘标注数据价值
在尽可能将更多的数据用作AI学习之余,如何实现在现有的数据标注以及算法上进一步提升AI模型训练效果亦十分重要。
医学影像通常由多位专家或医生进行标注,然后利用多人标注取平均或者多数表决的形式对最终的金标准标签进行判定。当标注结果用于AI模型训练时,通常仅使用最终的金标准标签,金标准标签以外的原始数据标注的价值往往被忽略。天衍实验室在《基于多标注一致性的难例感知青光眼分类模型开发》中提出了一个新的基于深度学习的模型框架,利用原始的多专家标注来提升青光眼分类性能,同时也通过不同专家对每个图像标注结果的一致性或者不一致性,对该图像属于简单案例还是困难案例做出预测。这一研究也有望提升医生在临床诊断中的分析效率及准确率,提醒医生对困难案例进行特别关注。
图注:基于多标注一致性的难例感知青光眼分类模型
在医学影像分析的目标区域分割任务中,通常使用人工标注作为模型学习模仿的对象。尽管分割目标的大部分区域相对容易标记,但由于边界不明确和部分容积(partial volume)效应等原因,不同组织交界的边缘区域通常难以处理,该区域的硬标签可能具有相当的不确定性,现有的边缘检测算法也不能很准确地定位和贴合物体的真实边缘,这种不确定性又会进一步影响训练后的模型的性能。
在获收录的论文《用于医学影像分割的超像素引导标签软化》中,天衍实验室提出了基于超像素(superpixel)的标签软化技术,根据超像素中体素到标注边界的距离来软化该区域中的标签,使用软化后的标签与原本的硬标签一起训练分割模型。在《逻辑细化网络:提取精细边缘的边缘检测器》一文中,研究人员设计了一个逻辑细化网络和逻辑阀操作函数(基于分割图和边缘图之间的逻辑关系设计而成)。该方法可将物体检测结果(即分割图)和第一阶段较为粗糙的边缘检测图,通过逻辑阀操作函数作用在原始图像上并输入到边缘细化网络中,网络通过层层强化物体边缘位置、细化边缘图,最终输出准确精细的边缘图。实验结果表明,上述方法能有效地在原有的硬标签和边缘检测算法基础上,提升AI网络对2D和3D医学影像进行边缘检测的性能。
图注:逻辑细化网络:提取精细边缘的边缘检测器
AI医疗影像技术加速科研应用落地
作为“腾讯觅影”背后的技术提供者,天衍实验室的研究与创新不断拓展AI医疗技术发展的边界,同时也正逐步推动研究成果落地到临床研究和应用实践里。
今年暴发的新冠肺炎疫情期间,天衍实验室运用AI大数据技术,在抗疫的应用中表现亮眼。腾讯天衍实验室主任郑冶枫表示,腾讯健康小程序抗疫专区上线的15个工具中,天衍实验室参与了5项,包括疫情知识问答、患者同小区、发热自查、发热门诊、口罩攻略。在疫情问答中,天衍实验室利用自研LTD-BERT模型识别用户意图,把推理速度提高了40倍,精准地给用户提供疫情信息。
而在新冠肺炎CT辅助诊断产品的研发上,克服数据量不足、标注力量不够等问题,天衍实验室采用魔方自监督学习方式训练模型,在小数据集上进行微调,就肺炎/非肺炎、病毒性肺炎/非病毒性肺炎做分类。疫情期间腾讯觅影AI辅助诊断新冠肺炎的解决方案落地武汉大学中南医院,基于强大的技术支撑,在患者CT检查后最快2秒就能完成AI模式识别,1分钟内即可为医生提供辅助诊断参考,在两个月内累计助力湖北多家医院为24000多名患者进行了肺部CT诊断工作。
腾讯觅影在眼底疾病筛查的应用尤为具有广泛的社会意义,能够弥补基层眼科医生短缺的短板,让低成本的眼底检查在社区和基层普及开来。目前,该系统已和全国30多家医院联合进行验证,并在广东、广西、山东等省市基层医疗系统试点,相信受益的人群一定会越来越多。