摘要
背景2019冠状病毒病(COVID-19)的爆发使全球医疗资源紧张,并造成大量死亡。
客观的开发并验证基于临床特征的机器学习模型,用于COVID-19患者入院时的严重风险评估和分流。
方法725例患者被用于训练和验证模型。其中包括2019年12月23日至2020年2月13日来自中国武汉的299名COVID-19住院患者的回顾性队列,以及2020年2月20日至2020年3月21日来自中国、意大利和比利时8个中心的426名患者的5个队列。主要结果是住院期间出现严重或危重疾病。模型性能是通过接受者工作特征曲线(AUC)下的面积和从混淆矩阵得到的度量来量化的。
结果在回顾性队列中,中位年龄为50岁,137名(45.8%)是男性。在五个测试队列中,中位年龄为62岁,236岁(55.4%)是男性。在五个群组中,该模型得到了0.84〜0.93的五个群体,可精度范围为74.4%至87.5%,敏感性范围为75.0%至96.9%,特异性范围为55.0%至88.0%,大多数表现更佳比肺炎严重性指数。低,中型和高风险概率的截止值为0.21和0.80。可以在线计算器找到www.covid19risk.ai.
结论机器学习模型、列线图和在线计算器可能有助于了解COVID-19患者重症和危重症的发病情况和入院时的分流情况。
摘要
国际验证的COVID-19患者入院时严重风险评估和分类的模型、列线图和在线计算器https://bit.ly/2BQfXFs
介绍
2019年12月,一种新型冠状病毒,严重急性呼吸综合征-冠状病毒-2 (SARS-CoV-2;最早被称为2019-nCoV),出现在中国武汉[1].由SARS-CoV-2引起的疾病被命名为2019冠状病毒病(COVID-19)。截至2020年5月15日,全球报告的COVID-19患者超过449万,超过30万患者死亡[2].COVID-19的爆发已经发展成为大流行[3.].
在COVID-19患者中,约80%的患者病情轻微,症状通常在2周内消失[4].然而,大约20%的患者可以进行,并且需要住院和增加医疗支持。严重患者的死亡率约为13.4%[4].因此,最好以定量的、非主观的方式对患者进行风险评估,对于患者管理和医疗资源配置非常重要。大多数非重症患者可在家中或流动医院进行一般隔离和对症治疗,重症患者需要更高级别的护理和重症监护病房(ICU)快速通道。既往研究总结了COVID-19重症患者的临床和影像学特征,但不同变量的预后价值尚不明确[5,6].
几种临床常用的评分系统(如。序贯器官衰竭评估评分;困惑,尿素,呼吸频率,血压,65岁;急性生理学和慢性健康评估,等。)可以应用于分类问题,尽管每个人都有自己的问题和局限性,如需要在医院入学时难以获得的实验室变量[7].肺炎严重程度指数(PSI)引人注目,因为它被用于评估社区获得性肺炎成年患者的严重程度和死亡率的概率,并帮助住院管理[8].
使用机器学习可能会找到更好的解决方案,机器学习是人工智能的一个分支,可以从过去的数据中学习,以建立一个预测模型[9].近年来,已经开发了机器学习作为分析来自医疗记录或图像的大量数据的有用工具[10].以前的建模研究侧重于预测COVID-19的潜在国际传播[11].
因此,我们的目标是开发并验证基于COVID-19患者入院时的临床、实验室和放射学变量的预后机器学习模型,以评估住院期间的严重风险,并将其与PSI作为代表性的临床评估方法的表现进行比较。我们的目标是开发一个具有不同数据集的多因素决策支持系统,以促进风险预测和患者入院时的分诊(家庭或移动医院隔离、住院或ICU)。
方法
病人
机构审查委员会批准了该研究(2020-71),该研究遵循诊断准确性研究报告标准声明[12,放弃了书面知情同意的要求。在2019年12月23日至2020年2月13日期间,连续和回顾性纳入来自中国武汉市中心医院的299例COVID-19成人确诊患者。纳入标准为:1)确诊COVID-19患者;2)住院病人。排除标准为:1)入院时已患有严重疾病的患者;2)时间间隔>2天;3)没有可用的数据或延迟的结果如下所述。根据入院时间,该中心纳入的患者被分为两个数据集,80%用于培训(2019年12月23日至2020年1月28日239名患者),20%用于内部验证(2020年1月29日至2月13日60名患者)。这五个测试数据集是在2020年2月20日至2020年3月31日期间从其他8个中心(补充材料)在中国、意大利和比利时按相同的纳入和排除标准(图1).
如果患者在住院期间至少符合以下一项标准,则被视为患有“严重疾病”[6,13]: 1)呼吸衰竭,需要机械通气;2)冲击;3)入住ICU;4)器官衰竭;或5)死亡。如果患者在整个住院过程中没有达到上述任何一个标准,直到被认为康复出院,就被标记为“非严重疾病”。
数据收集
临床、实验室和放射特征以及结果数据来自国际严重急性呼吸道和新发感染联盟共享的病例记录表格,来自电子医疗记录[14].确诊病例定义为鼻咽拭子高通量测序或实时逆转录酶PCR检测阳性。在咨询呼吸专家和回顾最近的COVID-19文献后,确定了一套临床、实验室和放射学特征,并从电子医疗系统收集数据。临床特征包括基本信息(5个变量)、共病(11个变量)和症状(13个变量)。所有临床特征均为首次入院时获得。记录42项实验室检查结果,包括全血细胞计数、白细胞差示计数、d- C-反应蛋白(CRP),心肌酶,ProCalcitonin,肝功能试验,肾功能试验,B型利钠肽和电解质试验。由于大多数早期患者缺少数据,没有考虑动脉血气。使用在线转换表进行实验室结果的度量转换[15].可以找到详细的变量列表表1和2.
两名放射科医生(P. Yang,一位有5年胸部CT影像经验的放射科医生,和Y. Xie,一位拥有20年胸部CT影像经验的放射科医生),他对临床和实验室结果一无所知。任何分歧都以协商一致的方式解决。病变范围为磨玻璃影或实变区,根据病变在各单叶的体积比例进行6级分级:0=未累及肺实质;1=累及5%的肺实质;2 = 5 - 25%;3 = 26 - 50%;4 = 51 - 75%;5= 76-100%累及肺实质。病变体积比例由肺炎辅助诊断系统(version 1.17.0; Shukun Technology), and the final score was the total score from five lobes (图2).详细的CT采集和重建参数在补充材料.
特征选择和建模
所有的特征选择和模型训练都单独在训练数据集中进行,以防止信息泄露。文中给出了所使用的函数的概述表S1.为了降低特征维数,去除两两Spearman相关性高(r=>0.8)且与所有剩余特征平均相关性最高的特征,然后应用Boruta算法选择重要特征[16].Boruta算法结合了基于随机森林分类算法的特征秩和基于多次迭代的特征选择过程的选择频率。采用交叉验证技术(10倍,10倍),基于袋装树模型进行递归特征消除,以选择最佳特征组合。为了平衡正、负样本大小,在特征选择和建模过程中采用了一种自适应非平衡学习合成采样方法(ADASYN) [17].特征选择过程用于临床、实验室和CT语义模型单独或联合。
培训基于所选功能的Logistic回归模型,验证数据集用于内部验证模型的预后性能。培训了四种型号:1型号仅包含基线临床特征,没有症状;模型2使用了所有选定的临床特征;模型3使用选定的语义CT特征,年龄和性别;和模型4使用了所有选定的临床,实验室和CT特征。
由于样本量更大,最好的模型与训练数据集上的其他模型进行了比较。在数据集上测量最佳模型的性能和PSI评分通过接收器操作员特征(ROC)和混淆矩阵。为了衡量过度装备水平,从特征选择到模型建设和评估的最佳模型和整个过程中随机化。
根据最佳表现模型的第1个四分位数(第25个百分位数)和第3个四分位数(第75个百分位数)的概率,将训练数据集中的患者分为低、中、高风险患者。列线图和在线计算器被用来提供最佳训练模型的可解释性。测试数据集被用来衡量预后性能和最佳模型的有效性。
统计分析
基线数据总结为中位数,分类变量总结为频率(%)。重度组与非重度组的差异采用连续数据的Mann-Whitney检验和分类数据的Fisher精确检验。特征相关性使用Spearman相关系数测量。我们用其95% CI确定ROC曲线下面积(AUC),并用D的方法检验模型1-3和模型4的AUC差异el昂et al。[18],预后表现的衡量指标包括AUC和由混淆矩阵的准确性、敏感性、特异性、阳性预测值(PPV)和阴性预测值(NPV)得出的指标。使用基于Hosmer-Lemeshow检验的校准图来估计模型在测试数据集上的拟合优度和一致性。所有p值均为双侧,p<0.05为显著性。所有的统计分析、建模和绘图都在R(版本3.5.3)中执行,详细的包特性列于表S1.
结果
人口学和临床特征
在299名住院的COVID-19患者中,中位(四分位数范围)年龄为50(35.5-63.0)岁,年龄范围为20-94岁。137例(45.8%)为男性。本文对所有的临床特点及CT表现作一总结表1,有关化验结果的更多细节可参阅表2.在作为测试数据集的5个队列的426名COVID-19住院患者中,中位(四分位数范围)年龄为62岁(50.0-72.0),年龄范围为19-94岁。236例(55.4%)为男性。
特征选择
在临床特征中,选择年龄、医院工作、体温和发病至入院时间。从实验室特征集中选择淋巴细胞(比例)、中性粒细胞(比例)、CRP、乳酸脱氢酶(LDH)、肌酸激酶、尿素和钙。从CT语义特征中只选取病变范围评分。将这三类特征放在一起选择特征时,最终将年龄、淋巴细胞(比例)、CRP、LDH、肌酸激酶、尿素和钙纳入组合模型。
对训练和验证数据集的性能进行建模
模型性能如下。模型1基于年龄和医院就业情况,在训练数据集上的AUC为0.74 (95% CI 0.69-0.79),在验证数据集上的AUC为0.83 (95% CI 0.72-0.94)。模型2具有年龄、医院工作、体温和发病时间的临床特征,在训练数据集上的AUC为0.78 (95% CI 0.73-0.83),在验证数据集上的AUC为0.74 (95% CI 0.59-0.89)。模型3基于CT上的年龄和病变范围评分,在训练数据集上的AUC为0.75 (95% CI 0.70-0.80),在验证数据集上的AUC为0.83 (95% CI 0.72-0.94)。
当汇集这三类特征时,组合模型(模型4)选择了7个特征(年龄、淋巴细胞(比例)、CRP、LDH、肌酸激酶、尿素和钙),在训练数据集上的AUC最高,为0.86 (95% CI 0.82-0.90),在验证数据集上的AUC最高,为0.90 (95% CI 0.82-0.98)。在训练数据集上,模型4的AUC值显著高于模型1 (p=0.001)、模型2 (p=0.033)和模型3 (p=0.003)。低、中、高危概率重分类的截断值分别为0.21和0.80。
临床使用
基于从最佳模型中选择的特征,建立了一个列线图来定量评估疾病的严重风险(图4).开发的在线计算器可以在www.covid19risk.ai.与PSI评分(截止值为90)相比,模型4(截止值为0.53)在5个测试数据集上的auc、准确性、敏感性和npv (表3).在5个试验数据集中,低、中、高危人群中重症患者的比例存在显著差异(图5).
讨论
这项国际多中心研究单独或联合分析了COVID-19患者入院时的临床、实验室和放射学特征,以回顾性开发和前瞻性验证预后模型和工具,以评估疾病的严重程度及其进展,并与PSI评分进行比较。我们发现,病情严重的COVID-19患者多为高龄、多重合并症、胸闷,入院时实验室检查结果异常、肺CT病变范围更广。在测试数据集中,使用更简单的线性回归模型获得了比PSI评分更好的预后性能。我们相信这些模型可以用于风险评估和分类。
既往研究报告,年龄和潜在共病(如高血压、糖尿病和心血管疾病)可能是需要进入ICU的COVID-19患者的危险因素[19,20.].在本研究中,我们发现患有高血压、糖尿病、心脏病、慢性阻塞性肺疾病、脑血管疾病、肾脏疾病、乙型肝炎病毒感染、较低的体温和胸闷在疾病的早期阶段更容易发展成严重的疾病。其中,年龄、医护人员、体温、起病至入院时间具有一定的预后能力。年龄是最重要的特征,它可能与其他特征相互作用,这就是为什么我们从这些特征中只选择年龄进入我们的组合模型(模型4)。Z侯et al。[21]证实SARS-CoV-2使用与SARS-CoV相同的细胞进入受体(血管紧张素转换酶-2)。然而,COVID-19合并高血压和糖尿病的患者是否有更高的严重疾病风险,这是由于使用血管紧张素转换酶-2、增加药物治疗所致,目前尚不清楚[22].医院工作人员的病情恶化风险较低,这可能是由于较低的年龄、较高的教育水平和一旦感染就有更多的医学知识,尽管这类数据的不平衡性质也必须考虑在内。
此外,早期研究表明,COVID-19重症患者有更多的实验室异常,如CRP,d-二聚体、淋巴细胞、中性粒细胞和乳酸脱氢酶(LDH)的含量高于非重症患者,与预后相关[19,20.,23].在我们的研究中,我们还发现严重组在全血细胞计数、白细胞差异计数、d-二聚体、CRP、肝功能、肾功能、降钙素原、b型利钠肽和电解质。其中,淋巴细胞比例、中性粒细胞比例、CRP、LDH、肌酸激酶、尿素和钙是重要的预后因素,提示COVID-19发展为严重疾病时可能对多个器官系统造成损害。然而,目前COVID-19的病理结果表明,没有证据表明SARS-CoV-2可以直接损害其他器官,如肝脏、肾脏和心脏[24].
目前的报告显示,薄层胸部CT由于其高灵敏度和监测疾病发展的能力,是临床诊断的有力工具[25,26].此外,之前的一项研究报告称,毛玻璃影和实变是COVID-19肺炎患者最常见的CT表现,但非特异性[27].临床观察显示ICU患者入院时实变病变明显较多,非ICU患者磨玻璃影病变较多[28].在我们的研究中,我们发现血管扩大、支气管充气图和病变范围评分在非重度组和重度组之间存在显著差异。在这些特征中,只有病变范围评分具有预后能力,但不足以选择联合模型。这表明,虽然这些早期CT语义特征具有诊断价值,但对COVID-19患者重症发病的预测能力有限。
中国国家卫生健康委员会在新冠肺炎诊疗方案(第七版)中增加了重症和危重症预警指标[29],包括外周血淋巴细胞进行性减少,白细胞介素-6、CRP、乳酸进行性升高,肺部CT表现在短时间内进展迅速。在本研究中,我们使用了年龄、淋巴细胞分数、CRP、LDH、肌酸激酶、尿素和钙评分,这些评分来自医院入院时的临床、实验室和放射学检查记录,以训练一个预测重症发病的模型。我们的模型结合了来自多个来源的这些特征,在来自中国、意大利和比利时的5个外部数据集的验证中显示了良好的性能。此外,该模型能够将COVID-19患者分为低、中、高危人群,以发展为严重疾病。我们提出,该模型具有比PSI评分更高的预测性能和简单性,可用于医院入院时对可能发展为严重疾病的患者进行初步筛查和分类。此外,该模型可用于临床试验中患者的选择和/或分层,以使患者群体均质化。后续的实验室检测需要以更高的准确性评估严重风险。
SARS-CoV-2是冠状病毒家族感染人类的病毒之一,与严重急性呼吸综合征冠状病毒和中东呼吸综合征冠状病毒具有相似的病原学、临床、放射学和病理特征[23,30.,31].因此,我们认为,基于当前的临床、放射和病理数据建立一个可靠的早期预警模型,对于当前和未来可能的冠状病毒暴发是必要的。
我们的研究有几个局限性。首先,由于样本量有限且不平衡,选择偏差是不可避免的。其次,不同种族和民族的患者临床和化验结果可能存在差异,患者入院前的自我用药可能会影响临床和化验结果。第三,去医院和住院管理的门槛可能因国家而异,我们也知道RNA病毒可以迅速变异,并可能对模型的性能产生影响。因此,我们建议这些模型应该不断更新,以实现更好的性能,例如使用隐私保护分布式学习方法[32,33].第四,本研究使用的CT特征是首次CT扫描的语义特征,放射组学或深度学习方法可能会改善其预后,后续CT扫描可能会获得更多信息。最后,由于分析中包含大量的预测因素,以及特征选择和建模的复杂性,过拟合总是有可能的。我们通过使用外部验证队列来缓解这一问题,并通过对随机结果重新运行分析来获得“机会”(AUC=0.5)结果。
结论
根据定义标准,老年COVID-19患者和非医院工作人员似乎更容易在住院后发展为严重疾病,这可能导致广泛的实验室和CT异常。此外,我们基于乳酸脱氢酶、c反应蛋白、钙、年龄、淋巴细胞比例、尿素和肌酸激酶的模型可能是一种比肺炎严重程度指数更有用的COVID-19患者住院风险评估的初步筛查和分诊工具。
补充材料
可共享的PDF
脚注
这篇文章有补充资料可从www.qdcxjkg.com
作者贡献:吴国、杨平、谢勇、王昕、兰宾等构思和设计了本研究。吴国和杨平对文献检索有贡献。j . p .杨x Rao j . Li Li D·杜赵,y叮,b . Liu w .太阳,f . Albarello a . D 'Abramo诉Schinina e . Nicastri j .吴m . Occhipinti g . Barisione e . Barisione j . Guiot a . Frix m . Moutschen r·路易·Lovinfosse和c严导致数据收集。G. Wu, H. Woodruff和P. Lambin对数据分析有贡献。G. Wu, H. Woodruff和P. Lambin对数据解释作出了贡献。G. Wu和C. Yan对表格和数字作出了贡献。G. Wu、I. Halilaj和P. Lambin共同出资建立了一个网站。吴国栋、杨平、H. Woodruff和P. Lambin对报告的撰写有贡献。
利益冲突:G. Wu没有什么可披露的。
利益冲突:杨没有什么可透露的。
利益冲突:Y.谢没有披露。
利益冲突:H.C. Woodruff拥有Oncoradiomics的股份,在提交的工作之外。
利益冲突:饶毅没有什么可透露的。
利益冲突:吉奥没有什么可披露的。
利益冲突:A-N弗里克斯没有什么可透露的
利益冲突:R. Louis没有任何披露。
利益冲突:穆岑先生没有什么可透露的。
利益冲突:李佳伟没有什么可披露的。
利益冲突:李静没有什么可披露的。
利益冲突:C. Yan没有什么可披露的。
利益冲突:D.杜没有什么可披露的。
利益冲突:赵s没有什么可透露的。
利益冲突:丁颖没有什么可披露的。
利益冲突:B.刘没有什么可披露的。
利益冲突:W. Sun没有什么可披露的。
利益冲突:F. albareello没有什么可披露的。
利益冲突:A.达布拉莫没有什么可披露的。
利益冲突:V. Schininà没有什么可披露的。
利益冲突:E. Nicastri没有什么可透露的。
利益冲突:M. Occhipinti报告了Menarini基金会和诺华的资助,在提交的工作之外。
利益冲突:G. Barisione没有什么可透露的。
利益冲突:E. Barisione没有什么可透露的。
利益冲突:I.哈利拉吉没有什么可披露的。
利益冲突:P. Lovinfosse没有什么可披露的。
利益冲突:X. Wang没有什么可披露的。
利益冲突:吴季刚没有什么可披露的。
利益冲突:P. Lambin报告,在提交的工作中,在医疗云公司中持有少数股份,在提交的工作之外,Varian医疗、Oncoradiomics、ptTheragnostic/DNAmito和Health Innovation Ventures的赠款/赞助研究协议;他获得了Oncoradiomics、BHV、Varian、Elekta、ptTheragnostic和Convert制药公司的顾问/推荐费和/或差旅费/外部拨款撰稿费和/或实物人力贡献;P. Lambin持有Oncoradiomics SA和Convert pharmaceuticals SA的股份,是Oncoradiomics的两项授权放射学专利(PCT/NL2014/050248, PCT/NL2014/050728)和ptTheragnostic/DNAmito的mtDNA专利(PCT/EP2014/059089)的联合发明人。获得ptTheragnostic/DNAmito、Oncoradiomics和Health Innovation Ventures授权的3项非专利发明(软件),以及Deep Learning-Radiomics和LSRT的3项非授权专利(N2024482、N2024889、N2024889)。
支持声明:本研究由ERC先进基金(ERC- adg -2015, no . 694812 - Hypoximmuno)、欧洲计划H2020 (ImmunoSABR - no . 733008, PREDICT - ITN - no . 766276, chameleon - no . 952172, EuCanImage - no . 952103)、TRANSCAN联合跨国电话2016 (JTC2016“CLEARLY”- no . UM 2017-8295)、TRANSCAN联合跨国电话2016 (JTC2016“CLEARLY”- no . UM 2017-8295)、中国留学基金管理委员会(编号201808210318)和Interreg V-A Euregio Meuse-Rhine(“Euradiomics”-编号EMR4)。资助方没有参与研究的设计和实施;数据的收集、管理、分析和解释;手稿的准备、审查或批准;并决定将手稿提交出版。这项工作得到了荷兰癌症协会(KWF Kankerbestrijding)项目编号12085/2018-2的支持。本文的资金信息已存入Crossref资助者注册表.
- 收到了2020年4月9日。
- 接受2020年6月11日。
- 版权©2020人队
这个版本是在知识共享署名非商业许可4.0的条款下发布的。