文摘
表皮生长因子受体(EGFR)基因分型结果的关键治疗指南等在肺腺癌酪氨酸激酶抑制剂的使用。传统的表皮生长因子受体基因型鉴定需要活检和序列检测入侵和可能遭受的困难获取组织样本。在这里,我们提出一个深度学习模型来预测EGFR突变状态在肺腺癌中使用非侵入性的计算机断层扫描(CT)。
我们回顾性收集数据从844年肺腺癌患者术前CT图像,表皮生长因子受体突变从两家医院和临床信息。一个端到端的深度学习模型提出了预测CT扫描的表皮生长因子受体突变状态。
通过训练14 926 CT图像,深度学习模型取得了令人鼓舞的预测性能的主组(n = 603;AUC 0.85, 95% CI 0.83 - -0.88)和独立验证组(n = 241;AUC 0.81, 95% CI 0.79 - -0.83),显示先前的研究是用手工CT特征或显著提高(p < 0.001)的临床特征。深度学习分数显示显著差异EGFR-mutant和EGFR-wild类型肿瘤(p < 0.001)。
由于CT是经常用于肺癌诊断、深度学习模型提供了一个非侵入性和易于使用的表皮生长因子受体突变状态预测方法。
文摘
深度学习EGFR突变预测提供了一种无创方法(AUC 0.81)在肺腺癌,显示使用手工CT特性显著提高或临床特点http://ow.ly/LtDJ30nhc5Q
介绍
肺腺癌是一种常见的肺癌的组织学类型和发现表皮生长因子受体(EGFR)基因突变已经彻底改变了治疗(1,2]。在一线治疗,检测表皮生长因子受体突变是至关重要的因为表皮生长因子受体酪氨酸激酶抑制剂可以针对特定的表皮生长因子受体基因突变,并导致结果的改善EGFR-mutant肺腺癌患者(3,4]。突变序列切片已成为EGFR基因突变检测的金标准。然而,切片测试测量定位组织的表皮生长因子受体状态可能患有地区由于广泛的肺肿瘤的异质性5,6]。此外,切片测试提出了一个潜在的癌症风险转移(7]。此外,重复肿瘤采样、难以获取组织样本,DNA质量差8)和相对高成本可以限制的适用性突变序列(9]。在这些情况下,预测方法的一个非侵入性且易用的表皮生长因子受体突变状态是必要的。
计算机断层扫描(CT)是一个经常使用的技术在癌症诊断提供了一种非侵入性的方法来分析肺癌(10- - - - - -12]。最近的研究显示,肺癌CT图像的特征提取相关基因表达模式(13- - - - - -16),显示对EGFR的预测能力概要文件(17- - - - - -19]。虽然图像评估不能替代活检,image-driven研究互补活检(可以提供额外的信息5,9]。例如,CT成像提供了一个完整的肿瘤的范围及其微环境,使我们能够预测EGFR突变状态通过考虑intra-tumour异质性。此外,预测EGFR-mutation状态通过CT成像帮助我们选择最可疑肿瘤活检如果多个肿瘤出现在一个病人。此外,CT成像非侵入性和容易获得整个疗程。
早期研究结果表明,语义特征和定量CT“radiomic”特性表明预测值EGFR突变状态(9]。然而,这些方法只能反映普遍图像特征缺乏特异性EGFR突变。此外,radiomics方法基于特征工程依靠精确的肿瘤边界注释,这需要人类标签的努力。因为radiomic特性计算只在肿瘤区域,微环境和tumour-attached组织将被忽略。相比之下,先进的人工智能模型可以克服这些问题通过自学习策略如深学习方法(20.- - - - - -22]。受益于一个特征学习能力强,深度学习模型显示人类皮肤癌的专家级表现分类(23,眼睛疾病的诊断24)和非侵入性的预测肝纤维化(25]。此外,深度学习模型存在一个有前途的性能在协助肺癌分析(26- - - - - -29日]。与功能工程学radiomic方法相比,基于深度学习radiomics不需要精确的肿瘤边界注释和学习特性自动从图像数据30.]。此外,深度上优于radiomics可以提取特性自适应特定的临床结果,而功能工程学radiomics只能描述一般特征可能缺乏特异性的结果预测。
在这项研究中,我们提出了一个深度学习的CT图像信息,挖掘模型,与表皮生长因子受体突变状态。我们的方法是一个端到端的管道只需要手动选择肿瘤区域在一个没有精确的肿瘤的CT图像边界分割或人为特性,这是常规radiomic方法基于不同的工程特性。该模型可以学习EGFR mutation-related特性自动从CT图像和预测肿瘤的概率被EGFR-mutant。此外,深度学习模型可以发现可疑肿瘤条件密切相关的表皮生长因子受体突变状况,旨在迅速促进临床医生对患者的治疗决策。评估深度学习的性能模型,我们从两个独立的医院收集的大量数据集(844名患者)和提供独立验证的结果提出了深度学习模型。
材料和方法
病人
天津医科大学的机构审查委员会(中国)天津和上海肺科医院(上海,中国)批准这项回顾性研究,放弃需要获得患者的知情同意。收集患者符合入选标准后进入本研究。1)组织学证实原发性肺腺癌;2)肿瘤标本进行病理检查证实表皮生长因子受体突变状态的记录;和3)术前超声造影CT资料。患者被排除在外,如果1)临床资料包括年龄、性别和阶段失踪了;2)收到术前治疗;或3)CT检查和后续手术之间的持续时间超过1个月。最后,844例患者,来自两个医院被用于这项研究。我们病人分配到一个主要组和一个独立的验证组根据医院。 The primary cohort included 603 patients from Shanghai Pulmonary Hospital between January 2013 and July 2014. The validation cohort included 241 patients from Tianjin Medical University between January 2013 and February 2014. The primary and validation cohorts were used for developing and validating the deep learning model, respectively. CT scanning parameters and detailed descriptions about the datasets are presented in the补充的方法。
关于分子资料,用手术切除肿瘤标本了。表皮生长因子受体突变被确定在四个酪氨酸激酶域(第18 - 21外显子),经常突变的肺癌。突变状态决定使用一个放大耐火突变系统与人类表皮生长因子受体基因突变检测装备(北京ACCB生物技术有限公司、北京、中国)。如果有外显子突变检测,肿瘤被确认为EGFR-mutant;否则,肿瘤被确认为EGFR-wild类型。在这项研究中,因此,我们专注于预测这些二进制结果(EGFR-mutant和EGFR-wild类型)对肺腺癌患者。
深度学习的发展模式
深入学习是一个分层神经网络,旨在学习抽象的原始数据之间的映射到所需的标签。深度学习模型中计算单位被定义为工作层和集成模拟人类大脑的分析过程。主要计算公式是卷积,池、激活和批量正常化。计算过程的条款在建设中定义的深度学习模型补充的方法。
图1说明了管道的表皮生长因子受体突变状态的预测。应用深度学习模型,一立方感兴趣的区域(ROI)包含整个肿瘤是手动选择(j .史和y . Liu)按照下列规则:ROI应该包括完整的肿瘤区域,包括肿瘤的边缘。这条规则在实践中很容易使用,因为我们不需要精确的肿瘤中心的ROI (补充图S1说明了几个roi由用户选择)。后来,ROI的大小为64×64像素的三阶样条插值在每个CT片,并送入深度学习模型。通过卷积和汇聚层的顺序激活,深度学习模型给出了EGFR-mutant概率的形象。健壮的预测,所有肿瘤的CT片送入深学习模型,概率和平均治疗作为肿瘤EGFR-mutant概率。具体地说,所有的相邻三个CT片组合作为一个三通道形象和喂养到深度学习预测模型(补充图S2)。
在模型训练中,我们使用转移学习训练第一个20卷积(子1层图1)128万年从ImageNet自然图像数据集31日]。这种转移学习技术已经显示出良好的性能在疾病诊断,因为它扩大了训练数据23,32]。后来,最后四个卷积(子2层图1926年)被训练使用14日肺腺癌肿瘤的CT图像的主要群体。建筑模型给出的详细信息补充的方法。
鉴于肿瘤的CT图像,肿瘤的深度学习模型预测概率直接EGFR-mutant没有任何预处理或后处理或图像分割。深度学习模型生成使用这项研究的主要群体是可用的http://radiomics.net.cn/post/110。CT图像的一部分验证队列可以下载为例的测试深度学习模型。
深度学习的可视化模型
由于深度学习的端到端的方式,深度学习模型的推理过程对于用户来说不够直观。进一步理解深度学习模型的预测过程,我们使用可视化技术分析特性的模型。深度学习模型的最重要的组件是卷积层。因此,我们得到卷积层从两个角度来理解深度学习模型的推理过程:1)想象卷积层的模式特征提取;和2)想象每个卷积的反应层不同的肿瘤。
卷积层由多个卷积过滤器,其中每个卷积滤波器提取不同的特征。通过filter-visualising算法(33,34),我们可以想象功能模式提取卷积过滤器,我们定义这个功能模式作为深度学习功能(补充的方法)。
进一步探索的意义深度学习的特性,我们观察到每一个卷积滤波器的响应不同的肿瘤。鉴于肿瘤图像,每个深度学习中的卷积过滤器模型生成响应肿瘤地图显示相应的功能模式。响应的平均值图定义为响应值。一个好的卷积过滤器应该有不同的响应值之间EGFR-mutant和EGFR-wild类型肿瘤。因此,想象卷积滤波器的响应值在不同肿瘤组织可以帮助我们评估卷积滤波器的性能。
统计分析
使用SPSS统计分析进行统计21(美国、IBM、纽约Armonk)。采用independent-samples t检验评估的重要性均值之间的年龄患者EGFR-mutant和EGFR-wild类型组。相同的统计分析进行评估的差异之间的深度学习分数EGFR-mutant和EGFR-wild类型组。卡方测试是用来评估分类变量的区别性和肿瘤等阶段所有的军团。此外,我们使用了德龙测试评估的不同接受者操作特征(ROC)曲线之间的各种模型。视为重要的p值< 0.05。我们的深度学习模型的实现使用Keras工具包和Python 2.7 (Python软件基础;www.python.org/)。
结果
患者的临床特征
提出了病人的临床特点表1。之间没有显著差异的主要和验证组的年龄和性别(p = 0.083年龄、性p = 0.321)。肿瘤阶段显示统计两个群体之间的差异,可能因为地区差异,因为两个群体的病人是来自两个不同的城市在中国。为了消除这种差异,我们两个群体进行了分层分析验证深度学习模型的鲁棒性。临床特征,如年龄、性别和舞台说明EGFR-mutant和EGFR-wild类型病人的区别;因此,这些特征被用来建立一个临床模型相比,深度学习模型。
诊断深度学习模型的验证
表2列出了深度学习模型的预测性能,我们使用ROC曲线下面积(AUC)、准确性、敏感性和特异性为主要测量。在我们的研究中,所有的结果测量tumour-level预测,这相当于反映subject-level评价,因为每个病人只有一个肿瘤。在主群,深度学习模型显示良好的预测性能的5倍交叉验证(AUC 0.85, 95%可信区间0.83 - -0.88)。这种性能进一步证实了在独立验证队列(AUC 0.81, 95%可信区间0.79 - -0.83)。主和验证军团之间的密切AUC表明,深度学习模型普遍预测EGFR突变状态的看不见的新病人。受益于转移学习128万自然图像,没有遭受过度学习的深度学习模型。深度学习的ROC曲线模型提出了两个群体图2一个。此外,深度学习分数显示EGFR-mutant显著区别两个群体和EGFR-wild类型组(p < 0.001,主要和验证组;图2 b)。
此外,我们进行了分层分析验证深度学习模型的诊断性能有关肿瘤的阶段。补充表S1和补充图S3表明,深度学习模型在所有肿瘤阶段取得了良好的效果。此外,深度学习分数显示EGFR-mutant和EGFR-wild类型组之间存在显著差异,无论肿瘤阶段。
图2 c情节决定深度学习模型的曲线。曲线表明,如果病人或医生的阈值概率是> 10%,使用深度学习模型预测EGFR突变状态肺腺癌中增加效益比treat-all-patients方案或完全忽视计划(35]。这强调了临床使用的深度学习模型。
深度学习模型和其他方法之间的比较
在早期的研究中,临床特征、语义特征(17,36)和定量“radiomic”特性(9)被用于EGFR突变状态的预测。因此,我们构建了一个临床模型,语义模型和radiomics模型相比,该深学习模型。临床模型涉及性别、阶段和年龄特征,使用支持向量机(SVM)对表皮生长因子受体突变预测radius-basis内核。16所使用的语义模型语义特征在前面的研究报道和多元逻辑回归(细节补充方法和补充表S4)[17]。PyRadiomics radiomics模型提取1108功能的工具箱(37),选择八个功能使用递归特性消除(RFE)。最后,随机森林包含100棵树建于radiomics EGFR突变预测的模型。
的定量性能表2和ROC曲线图2一个表明深度学习模型比临床模型有更好的性能,显著差异(AUC 0.66, 95%可信区间0.62 - -0.70的主要群体,p < 0.0001;AUC 0.61, 95%可信区间0.58 - -0.64的验证组,p < 0.0001)。此外,显著提高语义模型观察两个群体(AUC 0.76, 95%可信区间0.72 - -0.80的主要群体,p < 0.0001;AUC 0.64, 95%可信区间0.61 - -0.67的验证组,p < 0.0001)。radiomics类似改进模型证实两个群体(AUC 0.70, 95%可信区间0.66 - -0.74的主要群体,p < 0.0001;AUC 0.64, 95%可信区间0.61 - -0.67的验证组,p = 0.0002)。
发现可疑肿瘤区域
因为深度学习是一个端到端的预测模型学习抽象的肿瘤图像之间的映射和表皮生长因子受体突变状态直接解释预测过程是很重要的,这样我们可以估算出可靠的预测。我们使用一个深度学习可视化方法(33,34)找到最相关的肿瘤区域EGFR突变状态(补充的方法)。这个重要的区域被定义为可疑区域在我们的研究中。当深度学习模型预测一个EGFR突变状态,它告诉医生这地区吸引的注意模型在同一时间。
图3描绘了可疑地区发现的深度学习模型。肺腺癌肿瘤,深度学习模型生成一个注意力地图显示肿瘤中每一部分的重要性;我们使用0.5的截止值保留高度响应区域(可疑肿瘤区)。这些地区比其他地区更重要的肿瘤,因为他们吸引了深度学习的注意模型。最后一行所示图3发现的可疑区域的深度学习在不同的肿瘤模型不同。例如,可疑区域图3一是肿瘤和胸膜之间的组织,而可疑区域图3 b肿瘤边缘。基于这些观察,深度学习模型解释这两个EGFR-mutant肿瘤。相比之下,深度学习模型集中在腔的地区图3 c并预测EGFR-wild类型。自深学习模型只需要原始肿瘤的CT图像作为输入没有任何肿瘤分割,可以输入一些正常组织模型。然而,该模型能够发现可疑区域内肿瘤而不是被正常组织。图3 d说明了纵隔肿瘤毗邻。在这种情况下,深度学习的ROI模型包括一些正常组织以外的肿瘤。然而,深度学习模型发现可疑区域内肿瘤而不是正常组织。可疑肿瘤区域推断是密切相关的表皮生长因子受体突变状态的深度学习模型。因此,它可以为临床医生提供一个切片的位置以避免造成假阴性诊断intra-tumour hetrogeneity。可疑肿瘤区域之间的差异和其他肿瘤领域可能进一步解释结合正电子发射tomography-CT数据。
深度学习特征分析
深度学习的优势主要来自于它的自动特征学习的能力。通过学习从14 926年肿瘤图像,深度学习模型检测功能与表皮生长因子受体突变状态密切相关。
更好的理解深度学习的特性,我们的视觉深度学习的几个卷积过滤器模型(图4一)。浅卷积层学习低级等简单功能水平和对角线边缘(Conv_2)。一层更深的卷积学习更复杂的特征,如肿瘤的形状。例如,过滤层Conv_13有强烈反应圈或拱门形状,因为大多数肿瘤包含圆形或拱形结构。更深时,功能变得更加抽象和逐渐与表皮生长因子受体突变状态(Conv_20 Conv_24)。在补充图S4,我们比较了卷积过滤器前培训和转让后学习(训练CT数据)。这个数字表明卷积过滤器明白了各种功能模式和他们的初始状态是不同的。此外,转移学习使过滤器更具体的CT数据,特别是在更深层次的网络层。
进一步证明深度学习特性和表皮生长因子受体突变之间的关系状态,我们提取两个卷积过滤器从去年卷积层(积极的和消极的过滤器)。这两个过滤器捕获不同的纹理模式(第一列图4 b)应对EGFR-mutant和EGFR-wild类型肿瘤。当我们美联储EGFR-wild类型肿瘤的深度学习模型中,消极的滤波器产生了强烈的反响,而积极的过滤器几乎是关闭。同样的,当我们给EGFR-mutant肿瘤深度学习模型,消极过滤很沮丧,但积极的过滤器是强烈激活。中所描绘的一样图4 c,积极/消极的反应过滤EGFR-mutant和EGFR-wild类型肿瘤明显不同的人群(p < 0.001)。在图4 d深度学习特征的聚类图,最后卷积层(Conv_24)在整个数据集(844名患者)。深度学习功能显示明显的集群,EGFR-mutant和EGFR-wild类型病人有不同的响应。与此同时,肿瘤不同的表皮生长因子受体突变状态(EGFR-mutant /野生类型)大致可以分离(垂直轴图4 d)。
比较深的重要性学习特性和radiomic特性,我们结合了32深度学习从Conv_24层特性与1108年radiomic特性,并使用RFE选择重要的功能。在这一步中,使用的RFE线性支持向量机和5倍交叉验证来确定最优特征量使用的主要群体,这是符合RFE设置在建筑radiomics模型。最后,选择11个特征,包括八个深度学习特性和三个radiomic特性。这表明深度学习的特性与表皮生长因子受体突变状态显示强于radiomic特性。此外,我们计算了单变量AUC的深度学习特性和radiomic特性。见补充图S5,许多的深度学习特性auc高于radiomic特性。
讨论
在这项研究中,我们提出了一个使用非侵入性的CT图像深度学习模型预测肺腺癌患者表皮生长因子受体突变状态。我们训练有素的深度学习模型在14 926 CT图像从主组(603例),并验证其性能在一个独立的验证队列从另一家医院(241名患者)。深度学习模型显示出令人鼓舞的结果在主群(AUC 0.85, 95%可信区间0.83 - -0.88),取得强劲表现在独立验证队列(AUC 0.81, 95%可信区间0.79 - -0.83)。深度学习模型显示有显著高维CT图像特征和表皮生长因子受体基因型之间的联系。我们的分析提供了一种替代方法方法评估EGFR对病人的信息,并提供一个伟大的补充活检。与此同时,我们的模型可以发现可疑肿瘤区域主导EGFR突变状态的预测。这种分析目视判读提供给临床医生了解CT数据的预测结果。此外,深度学习模型只需要原始肿瘤图像作为输入,并预言了表皮生长因子受体突变状态直接没有进一步的援助,是易于使用和非常快。
之前的研究使用临床因素(8)和基于特征radiomics工程(9,17,18)来预测EGFR突变状态。例如,临床因素如年龄、性别、肿瘤分期和主要亚型被用来建立一个列线图EGFR突变状态预测(8]。在这项研究中,取得的临床因素AUC 0.64验证组包括464年亚洲病人。临床模型是可翻译的,因为临床因素被广泛使用和诺模图代表一个直观的线性模型。然而,临床特征,如阶段和主要亚型需要侵入性检查。此外,临床特征只反映一些肿瘤病理水平的信息。相比之下,radiomic方法量化肿瘤CT图像信息在宏观层面,并建立肿瘤图像和表皮生长因子受体突变状态之间的关系。与临床因素相比,radiomic分析提供定量特性挖掘高维信息与表皮生长因子受体基因型有关。组包括353名患者,radiomic方法实现AUC 0.69用手工CT图像特性(9]。尽管radiomic方法的优点,但手工功能需要耗时的肿瘤边界分割和表皮生长因子受体基因型可能缺乏特异性。因此,我们提出了一个深刻的学习方法学习EGFR-related肿瘤特性自动,避免复杂的肿瘤边界分割。此外,深度学习方法只需要一个用户定义的ROI的肿瘤,而不是四个复杂程序radiomics基于特征工程(肿瘤边界分割、特征提取、特征选择和模型建立)。
深度学习的优点
先前的研究表明,CT-based语义特征(18,19)和定量radiomic特性(9,17)反映了表皮生长因子受体突变状态。然而,他们只能反映低阶视觉特性或简单高阶特性。有抽象的特性,可以与表皮生长因子受体突变状态;然而,他们很难代表使用手工功能工程。在这些情况下,深入学习了其优势因为它可以我的抽象特性很难formulise但对鉴别表皮生长因子受体突变状态很重要。
与之前报道的手工特性相比,深度学习模式具有以下优点。1)通过分层神经网络结构,深度学习模型从视觉特征提取多层次特征抽象映射是表皮生长因子受体直接相关信息;2)深度学习模型不需要费时的肿瘤边界注释,这是一个很大的优势在手工制作的工程特性。此外,肿瘤的微环境与肿瘤之间的关系和连接组织(胸膜牵引,等)被认为是在深度学习模型;3)深度学习模型是快速和容易使用,只需要原始CT图像作为输入,并预言了表皮生长因子受体突变状态直接没有进一步人工输入。
深度学习的临床效用模型
深度学习模型提供了潜在的临床实用程序从以下观点。1)拟议中的深学习模式提供了一种非侵入性的方法来预测EGFR突变状态,可轻松在常规CT诊断。2)如果肿瘤活组织检查的结果显示EGFR-wild类型,结果因为intra-tumour异质性可能包括假阴性。此时,深度学习模型可以被看作是一种验证工具。如果深度学习模型预测EGFR-mutant肿瘤,临床医生需要re-biopsy组织(38]。3)深度学习模型只需要经常使用CT图像,在不增加成本。因此,该模型可以多次使用整个疗程(9]。4)最重要的是,尽管我们只研究了腺癌,深度学习模型显示在其他组织学类型预测价值。这使得深学习模型中直接使用不确定组织学类型肺癌的CT扫描。来验证这个假设,我们另外收集125例其他肺癌的组织学类型从上海肺科医院2013年1月至2014年7月(描述的临床特点补充表S2)。定量的结果补充表S3表明,深度学习模型可以实现AUC 0.77 (95% CI 0.73 - -0.81)在其他组织学类型的肺癌。因此,即使不知道肺癌的组织学类型,深度学习模型可以实现AUC 0.81在腺癌和AUC 0.77在其他组织学类型。
尽管鼓励深学习模型的性能,本研究也有一些局限性。首先,我们在亚洲人口只有检查病人。然而,表皮生长因子受体突变速率可以影响比赛。来自多个源的人口在未来的工作中,将需要测试是否可以全面深入学习模型其他人群。第二,虽然深度学习模型显示更好的性能比临床、语义和radiomics模型,这些模型的结合尚不清楚。预测性能可能会提高如果我们将这些模型结合在一起。第三,我们的研究只集中在表皮生长因子受体突变状态。表皮生长因子受体突变之间的关系和其他基因突变(如。ROS-1, alaska airlines)可以探索在未来工作。
补充材料
脚注
可以从本文的补充材料www.qdcxjkg.com
作者的贡献:d .董j .史刘y和z你们收集临床数据集。k . Wang和y z . Liu朱处理和分析数据。h .周提供统计分析。王,d . Yu和m .周深度学习模型和写这篇文章。o . Gevaert和j·田项目构思和编辑这篇文章。
利益冲突:美国王没有披露。
利益冲突:j .史没有披露。
利益冲突:z .你们没有披露。
利益冲突:d盾没有披露。
利益冲突:d . Yu没有披露。
利益冲突:m .周没有披露。
利益冲突:y刘没有披露。
利益冲突:o . Gevaert没有披露。
利益冲突:k .王没有披露。
利益冲突:y朱没有披露。
利益冲突:h .周没有披露。
利益冲突:z刘没有披露。
利益冲突:j .田没有披露。
支持声明:这项工作得到了中国国家重点研发项目(2017 yfa0205200 2017 yfc1308700 2017 yfc1309100和2016 yfc010380),中国国家自然科学基金(81227901,81227901,81227901,61231004,81671851,81527805),北京市科学技术委员会(Z171100000117023 Z161100002616022),北京市自然科学基金(L182061),中国科学院国际合作(173211 kysb20160053),中国科学院仪器开发项目(YZ201502)和青年创新促进会CAS (2017175)。o . Gevaert得到了国家生物医学成像和生物工程研究所的美国国立卫生研究院R01EB020527奖号码。资金信息,本文已沉积的Crossref资助者注册表。
- 收到了2018年5月30日。
- 接受2018年12月31日。
- 版权©2019人队
这个版本分布在创作共用署名非商业性许可证的条款4.0。