用于医疗保健专业人员

CC通过188滚球软件
研究

covid-19的诊断和预后预测模型:系统回顾和批判性评价

BMJ2020年;369年doi:https://doi.org/10.1136/bmj.m1328(07年4月2020年出版)引用这个:BMJ2020;369:m1328

联系编辑

预测模型在covid-19诊断和预后

阅读我们的冠状病毒疫情的最新报道

  1. 罗兰Wynants助理教授12,
  2. Ben Van Calster副教授23,
  3. 加里·柯林斯年代教授,45,
  4. 理查德·D·莱利教授,6,
  5. Georg海因策副教授7,
  6. Ewoud Schuit助理教授89,
  7. 埃琳娜Albu,博士生2,
  8. Banafsheh Arshi,研究员1,
  9. Vanesa Bellou,博士后研究员10,
  10. 马克·M J粗毛格子围巾教授,811,
  11. 达伦·L哒首席统计学家1213,
  12. 约翰娜一个之后助理教授89,
  13. 托马斯P r助理教授814,
  14. Valentijn M T德容助理教授89,
  15. Maarten德沃斯副教授215,
  16. Paula Dhiman,研究员45,
  17. 其独特的安瑟尔,研究员6,
  18. 山高,博士生2,
  19. 玛丽亚C哈勒,医生716,
  20. Michael O Harhay助理教授1718,
  21. Liesbet Henckaerts助理教授1920.,
  22. 波林处助理教授89,
  23. 珀斯Hoogland,统计学家8,
  24. 穆罕默德Hudda,高级研究员21,
  25. 凯文·杰尼斯肯斯助理教授89,
  26. 迈克尔·卡默,研究助理722,
  27. 尼娜kreuzberg,研究助理23,
  28. 安娜·罗曼24,
  29. 布鲁克李维斯,博士后研究员6,
  30. 金正日Luijken,博士生24,
  31. 杰马、医学统计学家5,
  32. 格伦·P·马丁高级讲师25,
  33. 大卫J McLernon,高级研究员26,
  34. 康斯坦萨L Andaur纳瓦罗,博士生89,
  35. 约翰内斯·B Reitsma副教授89,
  36. 杰米·C中士高级讲师2728,
  37. Chunhu史,研究助理29日,
  38. 妮可Skoetz教授,22,
  39. 吕克·J M史密特教授,1,
  40. Kym我E斯奈尔高级讲师6,
  41. 马修Sperrin高级讲师30.,
  42. Rene Spijker、信息专家8931日,
  43. Ewout W Steyerberg教授,3,
  44. 行长高田副教授832,
  45. Ioanna Tzoulaki助理教授1033,
  46. 桑德M J·Kuijk,研究员34,
  47. Bas C T van Bussel,医生135,
  48. 伊万C C van der霍斯特教授,35,
  49. 吕富凯利36,
  50. Florien年代van Royen,研究员8,
  51. Jan Y Verbakel助理教授3738,
  52. 克里斯汀Wallisch,研究员73940,
  53. 杰克·威尔金森,研究员24,
  54. 罗伯特•沃尔夫,医生41,
  55. Lotty Hooft教授,89,
  56. 卡雷尔G M卫星教授,89,
  57. 范Smeden副教授8
  1. 1流行病学、CAPHRI保健和公共卫生研究所,马斯特里赫特,荷兰马斯特里赫特大学
  2. 2部门的发展和再生,KU鲁汶比利时鲁汶
  3. 3生物医学数据科学、莱顿、荷兰莱顿大学医学中心
  4. 4医学统计中心,纳菲尔德骨科,肌肉骨骼,牛津大学,英国牛津大学
  5. 5NIHR牛津大学生物医学研究中心,约翰拉德克利夫医院,英国牛津大学
  6. 6预后研究中心医学院基尔大学、英国基尔
  7. 7部分临床生物识别技术,医疗中心统计,信息和智能系统,医科大学的维也纳,奥地利的维也纳
  8. 8朱利叶斯健康科学中心和初级保健,乌特勒支大学医学中心,乌得勒支大学,荷兰乌得勒支
  9. 9Cochrane荷兰乌得勒支大学医学中心,乌得勒支大学,荷兰乌得勒支
  10. 10卫生和流行病学、约阿尼纳,希腊约阿尼纳大学医学院
  11. 11医学微生物学、乌得勒支大学医学中心,荷兰乌得勒支
  12. 12HRB临床研究机构、软木、爱尔兰
  13. 13大学公共卫生学院的软木塞,软木,爱尔兰
  14. 14智能数据分析与统计BV,荷兰乌得勒支
  15. 15电气工程系,Stadius, KU鲁汶比利时鲁汶
  16. 16医院Elisabethinen Ordensklinikum林茨,肾脏学、奥地利的林茨
  17. 17生物统计学、流行病学和信息学,佩雷尔曼医学院大学的宾夕法尼亚州,费城,宾夕法尼亚州,美国
  18. 18缓和和先进的疾病研究中心和部门的肺和危重病医学,医学部门,佩雷尔曼医学院大学的宾夕法尼亚州,费城,宾夕法尼亚州,美国
  19. 19微生物学、免疫学和移植,鲁汶KU鲁汶大学、比利时鲁汶
  20. 20.普通内科医学、KU鲁汶大学医院鲁汶,比利时鲁汶
  21. 21人口健康研究所、伦敦大学圣乔治,克兰麦阶地,伦敦,英国
  22. 22美国肾脏学,医科大学的维也纳,奥地利的维也纳
  23. 23以证据为基础的肿瘤、内科医学部门我和综合肿瘤中心亚琛波恩科隆杜塞尔多夫,医学院和科隆大学医院,科隆大学,德国科隆
  24. 24临床流行病学、莱顿、荷兰莱顿大学医学中心
  25. 25部门信息、影像和数据科学学院生物学、医学和健康,曼彻斯特学术健康科学中心,曼彻斯特大学、英国曼彻斯特
  26. 26应用健康科学研究所、英国阿伯丁大学、阿伯丁
  27. 27中心的生物统计学、曼彻斯特大学、曼彻斯特学术健康科学中心,英国曼彻斯特
  28. 28中心流行病学与关节炎、肌肉骨骼研究中心曼彻斯特大学,曼彻斯特学术健康科学中心,英国曼彻斯特
  29. 29日的护理、助产学和社会工作,健康科学学院,曼彻斯特大学、英国曼彻斯特
  30. 30.学院生物学、医学和健康、曼彻斯特大学、英国曼彻斯特
  31. 31日阿姆斯特丹联电、阿姆斯特丹大学、荷兰阿姆斯特丹公共卫生、医学图书馆
  32. 32一般内科学系方明卫星教学和研究福岛医科大学,日本福岛
  33. 33流行病学和生物统计学、伦敦帝国理工学院公共卫生学院,伦敦,英国
  34. 34临床流行病学和医学技术评估、荷兰马斯特里赫特大学医学中心+,马斯特里赫特,
  35. 35重症监护医学部门,马斯特里赫特大学医学中心+,马斯特里赫特,荷兰马斯特里赫特大学
  36. 36流行病学、生物统计学和预防研究所,苏黎世大学、苏黎世、CH
  37. 37EPI-Centre、卫生行政部门和初级保健,KU鲁汶比利时鲁汶
  38. 38NIHR社区医疗保健医学技术和试管合作,纳菲尔德初级保健健康科学部门,牛津大学,英国牛津大学
  39. 39夏洛蒂柏林,柏林自由大学的企业成员,Humboldt-Universitat祖茂堂柏林,柏林,德国
  40. 40柏林健康研究所,德国柏林
  41. 41Kleijnen系统评价、纽约、英国
  1. 函授:L Wynantslaure.wynants在{}maastrichtuniversity.nl
  • 接受2020年3月31日
  • 接受的最终版本2022年7月17日

文摘

客观的审查和评价的有效性和实用性和预印本出版报告covid-19患者预后的预测模型,并对检测人在一般人群的风险增加covid-19感染或疾病住院或死亡。

设计生活系统回顾和批判性评价的covid-PRECISE(准确的风险评估优化covid-19照顾感染或疑似病人在不同环境下)组。

数据源PubMed和Embase通过奥维德,2021年2月17日,补充与arXiv medRxiv, bioRxiv 5 2020年5月。

研究选择研究开发或多变量covid-19相关预测模型进行验证。

数据提取使用魅力至少两位作者独立提取数据(关键的评估和数据提取系统评价的预测建模研究)清单;偏见的风险评估使用PROBAST(预测模型偏差的风险评估工具)。

结果412 126 978标题被筛选,研究描述包括731新预测模型或验证。这些731年,125人被诊断模型(其中包括75基于医学影像),其余606人预后模型识别这些covid-19一般人群的风险模型(13)或预测不同的结果在这些患者证实covid-19(593模型)。由于诊断测试的广泛可用性能力在2020年的夏天,这生活回顾已经集中在预后模型。其中,29日有低风险的偏见,32个不清楚偏见的风险,545年的高风险的偏见。偏见高风险的最常见原因是样本量不足(n = 408, 67%)和不恰当的或不完整的评价模型的性能(n = 338, 56%)。381模型都是新开发的,225被外部验证现有的模型。报道C指标变化在0.77和0.93之间发展研究风险较低的偏见,在0.56和0.78之间在外部验证和低风险的偏见。祭司Qcovid模型得分,卡尔的模型,谢ISARIC4C退化模型,模型显示足够的低风险预测性能研究的偏见。详细回顾了模型都是公开的https://www.covprecise.org/

结论预测模型对covid-19进入学术文献来支持医疗决策以前所未有的速度和大量。大多数发表的预测模型研究报告很差和高危预测报告的偏见,他们的表现可能是乐观的。应验证模型与低风险的偏见在临床实施之前,最好能通过协作努力也允许调查的异质性表现在各种人群和设置。提供方法论的指导,在本文中,应遵循因为不可靠的预测可能导致弊大于利在指导临床决策。最后,预测建模者应坚持三脚架(透明报告个人的多变量预测模型预测或诊断)报告指南。

系统回顾登记协议https://osf.io/ehc47/、注册https://osf.io/wy245

读者的注意本文的最终版本已经更新生活的系统回顾过去两年,以反映新兴证据。这个版本更新4的原始文章发表在2020年4月7日(BMJ2020;369:m1328)。可以找到以前的更新数据补充(https://www.bmj.com/content/369/bmj.m1328/related datasupp)。本文引用时请考虑添加更新获得清晰的号码和日期。

介绍

新型冠状病毒疾病2019 (covid-19)提出了一个重要的全球卫生威胁。爆发以来早在2019年12月在湖北省的中华人民共和国,证实有疾病的患者的数量已经超过了5亿年全球疾病传播,和被感染的人数可能更高。超过600万人死于covid-19(2022年5月24日)。1尽管公共卫生反应旨在遏制疾病和延迟传播,国家一直面临重复激增破坏卫生服务23456和社会逍遥法外。最近爆发的ο变异导致重要的增加对测试产能的需求,医院病床,和医疗设备,同时医务人员自己也越来越被感染。6虽然许多国家政府已经结束covid-19限制,科学家们警告说,流行SARS-CoV-2循环,也许季节性流行高峰,可能会有一个持续重要的疾病负担。7此外,病毒突变可以是不可预知的,缺乏有效的监测或足够的反应可以使新出现的流行或大流行covid-19模式。78减轻医疗系统的负担,同时也提供最好的照顾病人,可靠的预后covid-19仍然重要通知决定屏蔽、疫苗、治疗和医院或重症监护病房(ICU)录取。预测模型,结合几个变量或特性估计人被感染的风险或者经历一个贫穷的结果从感染可以帮助医务人员筛选病人在分配有限的医疗资源。

covid-19爆发伴随着大量科学证据。9关于covid-19积累了证据的速度是前所未有的。提供可用的预测模型的概述,一个活系统回顾,定期更新,是由国际covid-PRECISE(准确的风险评估优化covid-19照顾受感染或疑似病人在不同环境下;https://www.covprecise.org/)组预后与Cochrane协作方法组。最初,评审包括诊断和预后模型。由于当前的可用性测试covid-19感染,我们限制了专注在这个新的预后模型更新。因此我们的目的是系统地回顾和批判性评价预后模型可用来检测人在一般人群的风险增加covid-19感染或疾病住院或死亡,和模型来预测预后或covid-19诊断患者的感染。我们包括所有预后模型开发和外部验证研究。

方法

我们搜查了公开,不断更新发布的名单covid-19生活系统综述。10我们确认名单是否适合目的(在线补充材料),进一步补充研究covid-19 arXiv的检索。在线补充材料提出了搜索字符串。我们包括研究开发或验证一个多变量模型或评分系统,基于个体参与者水平数据,预测任何covid-19相关的结果。这些模型包括预测模型来预测covid-19患者感染的进程;一般人群和预测模型来识别人的风险covid-19感染或住院或死亡的风险与疾病。诊断模型预测的存在或严重性covid-19疑似患者感染包括更新3只,可以找到的数据补充。

我们反复搜索数据库2021年2月17日(补充表1),第三更新(搜索日期2020年7月1日),我们只包括同行评审文章通过奥维德在PubMed和Embase(索引)。预印本(从bioRxiv medRxiv和arXiv)已经包含在以前更新的系统回顾仍包括在分析中。重新评估后发生的预印本出版同行评议的杂志,取代了原来的评估。没有限制的设置(例如,住院病人,门诊病人,或普通人群),预测地平线(模型预测未来多远),包括预测、或结果。流行病学研究旨在疾病传播模型或死亡率,发现和预测研究,被排除在外。我们只包括研究发表在英语。从第二个更新检索记录最初接受文本分析工具使用人工智能开发优先敏感性(补充材料)。标题、摘要和全文筛选合格的复制由独立评论员(MvS,对从LW, BVC和KGMM)使用EPPI-Reviewer,11和差异是通过讨论解决。

数据提取包括文章是由两个独立的评论者(LW, BVC GSC TPAD,妇幼保健,GH, KGMM, RDR, ES,液体喷射加工,EWS,黄铁矿,连续波,艾尔,JM, TT, JAD,吉隆坡,JBR, LH, CS, MS,妇幼保健,NS, NK, SMJvK, JCS, PD,宗族,RW,流量,,JYV, DLD, JW, FSvR, PH值,VMTdJ, BCTvB, ICCvdH, DJM,可,提单,EA, SG,英航,JH, KJ, SG,基米-雷克南,我,MH, VB, MvS)。评论家使用一种标准化的数据提取基于魅力(关键的评估和数据提取系统评价的预测建模研究)清单12和PROBAST(预测模型偏差的风险评估工具;https://www.probast.org/评估报告的预测模型。1314我们试图通过使用任何提取每个模型的预测性能的措施。这些措施包括任何歧视的摘要(预测风险的程度区分参与者有或没有结果),和校准(预测风险对应于观察到的风险的程度)推荐三脚架(透明报告个人预后和诊断的多变量预测模型;https://www.tripod-statement.org/)语句。1516歧视通常是由C指数量化(C指数= 1如果模型是完美的歧视;C指数= 0.5如果歧视并不比机会)。校准通常是评估校准图形使用校准块或量化的拦截(零当没有系统地高估或低估风险)和校准斜率(这是一个如果预测风险不过于极端或太过温和)。17我们专注于性能统计数据作为估计从可用的形式验证最强的(为了力量:外部(评估在一个独立的数据库),内部(引导程序验证、交叉验证、随机培训测试分裂,时间分割),明显(评估使用完全相同的数据用于开发))。任何差异在评论者之间数据提取进行了讨论,和剩余的冲突被LW或MvS解决。在线补充材料提供了有关数据提取的详细信息。一些研究调查了多个模型和模型研究了在多个研究(也就是说,在外部验证研究)。分析模型的单位在一个研究中,除非另有规定。我们考虑的方面棱镜(首选项报告系统评价和荟萃分析)18和三脚架1516在我们的研究报告。详细回顾了研究和预测模型都是公开的https://www.covprecise.org/

病人和公众参与

严重covid-19幸存者和躺的人参加,讨论他们的观点,提供建议,作为伙伴写一躺的总结(可以在项目的目标和结果https://www.covprecise.org/project/),从而参与知识分布的实现。由于最初的紧急情况covid-19大流行,我们不涉及患者或公众在这个生活的设计,进行评论2020年3月,但研究协议和初步结果立即公开https://osf.io/ehc47/、medRxiv和https://www.covprecise.org/living-review/

结果

我们鉴定了126 969条记录通过我们的系统搜索,其中89 566被确定在当前搜索更新(补充表1,图1)。我们进一步包括九个研究公开但没有检测到我们的搜索。126 978种图书,828年研究保留文摘和全文筛选。我们包括412项研究描述731预测模型或验证,其中243与499模型研究或验证新包含在目前的更新(补充表1)。1920.212223242526272829日30.31日323334353637383940414243444546474849505152535455565758596061年62年63年64年65年66年67年68年69年70年71年72年73年74年75年76年77年78年79年80年81年82年83年84年85年86年87年88年89年90年91年92年93年94年95年96年97年98年99年One hundred.101年102年103年104年105年106年107年108年109年110年111年112年113年114年115年116年117年118年119年120年121年122年123年124年125年126年127年128年129年130年131年132年133年134年135年136年137年138年139年140年141年142年143年144年145年146年147年148年149年150年151年152年153年154年155年156年157年158年159年160年161年162年163年164年165年166年167年168年169年170年171年172年173年174年175年176年177年178年179年180年181年182年183年184年185年186年187年188年189年190年191年192年193年194年195年196年197年198年199年200年201年202年203年204年205年206年207年208年209年210年211年212年213年214年215年216年217年218年219年220年221年222年223年224年225年226年227年228年229年230年231年232年233年234年235年236年237年238年239年240年241年242年243年244年245年246年247年248年249年250年251年252年253年254年255年256年257年258年259年260年261年262年263年264年265年266年267年268年269年270年271年272年273年274年275年276年277年278年279年280年281年282年283年284年285年286年287年288年289年290年291年292年293年294年295年296年297年298年299年300年301年302年303年304年305年306年307年308年309年310年311年312年313年314年315年316年317年318年319年320年321年322年323年324年325年326年327年328年329年330年331年332年333年334年335年336年337年338年339年340年341年342年343年344年345年346年347年348年349年350年351年352年353年354年355年356年357年358年359年360年361年362年363年364年365年366年367年368年369年370年371年372年373年374年375年376年377年378年379年380年381年382年383年384年385年386年387年388年389年390年391年392年393年394年395年396年397年398年399年400年401年402年403年404年405年406年407年408年409年410年411年412年413年414年415年416年417年418年419年420年421年422年423年424年425年426年427年428年429年430年其中,310年研究描述606年预后模型或验证预后模型都包含在当前分析:13预后模型开发普通人群和593年covid-19 covid-19诊断患者的预后模型的预测结果。结果从先前的更新,包括诊断模型,可以作为补充材料。数据库与每个模型的描述和验证及其偏差的风险评估可以发现https://www.covprecise.org/

381年606年的预后模型,独特,covid-19新开发的模型,和225年外部验证现有模型的研究除了模型开发研究。这些外部验证包括新开发的外部验证covid模型,以及预后评分比covid-19大流行。一些模型验证不止一次(在不同的研究中,如下所述)。一百五十八人(41%)新开发的模型被公开在实践中使用的格式(箱1)。

箱1

可用性的模型格式用于临床实践

三百八十一独特的预后模型包括研究开发的。这些模型中,八十人(21%)是作为一个模型方程包括拦截和回归系数。30 9(10%)模型只是部分提出(例如,拦截或基线风险失踪)。剩余的262(69%)没有提供底层模型方程。

一百六十一(42%)中可用的工具来促进使用在临床实践中(除了或而不是发表方程)。六十模型(16%)提出了计算图表,35(9%)作为web计算器,30(8%)和得分,9例(2%)为一个软件对象,5例(1%)作为一个决策树或一组预测子组,22(6%),其他可用的格式(6%)。

所有这些报告格式作出预测使用的现成的诊所。然而,因为大多数这些预后模型偏差或不确定的风险高,我们不推荐常规使用外部验证之前,理想的情况是由独立调查人员在其他数据用于他们的发展。

返回文本

主数据集

五百五十六人(92%)开发或使用数据验证模型从一个国家(表1),39(6%)使用国际数据,和11(2%)模型尚不清楚有多少()国家贡献数据。三种(0.5%)模型使用模拟数据和21例(3%)用代理的数据来估算covid-19相关风险(例如,医疗保险索赔数据从2015年到2016年)。大多数模型是用于确认covid-19例(83%)和医院环境中(82%)。患者平均年龄范围从38岁到84岁,和男性的比例从1%到95%不等,虽然这些信息往往是不报道。

表1

的特点,综述了2019年冠状病毒疾病的预后预测模型(covid-19)

把这个表:

根据研究报道研究日期、数据收集从2019年12月到2020年10月。一些中心提供数据到多个研究,目前尚不清楚有多少这些数据集重叠在识别研究。

样本容量为模型开发中值为414分,平均数量为74个人经历的事件预测。住院患者的死亡率从8%到46%不等。这宽变化在一定程度上是由于后续的长度差异研究(通常没有报告),地方和时间变异诊断标准,录取标准和治疗,以及选择性偏差(例如,不包括参与者既没有恢复,也没有死在研究期间的结束)。

模型预测covid-19相关风险

我们确定了13个新开发的模型旨在预测covid-19相关风险。五个模型预测covid-19住院,三个预测死亡率,严重covid-19预测发展之一,和四个预测不够covid-19定义的结果。八代理使用的这13个普通人群模型的结果(例如,承认非结核肺炎、流行性感冒,急性支气管炎,或上呼吸道感染而住院covid-19)。20.13项研究报告C指数在0.52和0.99之间。校准是只有四个评估模型,在一项研究中,发现轻微的刻度错误。231年

患者的预后模型结果covid-19的诊断

我们确认593患者的预后模型预测临床结果covid-19(225年368年发展,外部验证)。这些模型主要是用于患者住院证明诊断covid-19 (n = 496, 84%),但一个特定预期用途(即完全或时刻在调查时使用它们,和为谁)通常是不清楚地描述。这593个预后模型,265(45%)死亡风险估计,84人(14%)预测发展为严重或重要的疾病,和53例(9%)预计入住ICU。剩下的191个研究使用的其他成果(单个或组合的一部分),包括需要插管,(时间)机械通气,氧气支持,急性呼吸窘迫综合征,感染性休克,心血管并发症,多个器官衰竭,血栓性并发症、住院时间、恢复、住院或重新接纳,或者隔离段的长度。预测地平线之间的不同的一天,60天,但常常不明(n = 387, 65%)。一些研究(n = 13, 2%)使用代理的结果。例如,一项研究使用的数据从2015年到2019年预测死亡率和长期辅助机械通气(如non-covid-19代理的结果)。119年

研究报道C索引0.49和1之间,平均值为0.81(四分位范围0.75 - -0.89)。平均死亡率模型C指数为0.83,0.83发展模型和0.77入住ICU模型。研究显示只有152的593模型的标定块(26%,102年在外部验证)。校准结果喜忧参半,几项研究表明不准确的风险预测(谢等例子,19Barda et al,73年、张等122年)。情节有时建立在一个不清楚的方式,阻碍解释(郭等例子,89年锣等,125年和骑士等147年)。

偏见的风险

七个新开发的预测模型和22外部验证的预测模型在低风险的偏见(n = 29, 5%)。大多数新开发的模型和外部验证在不清楚(n = 32, 5%)或高(n = 545, 90%)与PROBAST偏见根据风险评估,这表明预测的性能在实际使用时可能是低于报道(图2)。图2框2给详细的风险偏见的常见原因。

">图2
图2

PROBAST(预测模型偏差的风险评估工具)偏差的风险包括模型相结合(n = 606)和每个类型的分解分析

框2

常见的原因偏见的风险报告covid-19的预测模型

分析域是最问题域:87% (n = 530)的新开发的模型和验证是高危的偏见,而18% (n = 107), 4% (n = 27)和17% (n = 106)的参与者,预测,结果域。一百五十一人(25%)模型在所有领域,除了低风险的偏见分析,表明足够的数据收集和研究设计,但问题是可以避免进行更好的统计分析。最常见的问题是样本量不足(n = 408, 67%)。小到适度的样本大小和数量的事件(表1)导致过度拟合的风险增加,特别是复杂的建模策略。占过度拟合不当或乐观也常见(n = 250, 41%)。九十六年模型(16%)无论是在内部还是在外部验证。如果完成,内部验证有时不正确执行(即,不是所有的建模步骤重复)。性能统计数据从这些模型可能会乐观。此外,歧视和校准的评价往往是不完整,或用不恰当的统计数据(n = 338, 56%)。校准使用校准块只有156年的评估模型(26%),其中106(17%)在外部验证数据。不恰当的处理缺失数据(n = 290, 48%)很常见。一百二十七年进行了一个完整的案例分析(21%)、205年(34%)没有提到如何处理缺失数据。

模型预测covid-19风险一般人群和covid-19患者预后模型

593 covid-19患者预后模型往往偏见比13一般人群高危模型(90% (n = 536)v69% (n = 9))。这种差异主要是由于分析域(88% (n = 521)v69% (n = 9)高危的偏见)。患者平均样本量模型发展covid-19是397(71事件),> 160万(1867事件)相比普通人群模型。外部验证的样本中位数是299(42事件),> 100万(1303事件)相比普通人群模型。因此,更多的模型有一个样本量不足的分析战略选择(69% (n = 407)v8% (n = 1)),和更多的风险过度拟合和乐观(42% (n = 248v15% (n = 2))。

结果域是普通人群更多的问题模型比模型covid-19患者,62% (n = 8)和17% (n = 98)高危偏见在这一领域。这种差异是由于使用代理的结果(n = 8 62%)——例如,住院除了covid-19由于严重呼吸道疾病。参与者和预测领域,偏见的风险相当(图2)。

开发和外部验证

外部验证更通常比新开发的模型偏差的风险低(10%,(n = 22/225)v2% (n = 7/381))。统计分析领域是最成问题的域模型发展以及外部验证研究中,有93% (n = 353)和79% (n = 177)高危的偏见域,分别。最常见的原因的高风险倾向是相同的对于这两种类型(小样本大小,不恰当的评价预测性能,和不适当的处理缺失数据),除了过度拟合和乐观,不关注外部验证。

返回文本

三百八十四人(63%)的606模型和验证有一个低风险的偏见参与者域。一百零七模型(18%)有一个高风险的偏见参与者域,这表明参与者参加研究可能不代表模型的目标人群。不清楚报告的参与者导致不清楚115年偏见的风险评估模型(19%)。三百八十六模型(64%)有一个低风险的预测偏差的领域,虽然193(32%)有一个清楚的风险偏差和27有高风险的偏差(4%)。高偏差的风险预测域表明预测没有可用的模型的使用时间,不明确,或者受测量结果的影响。大多数研究使用结果很容易评估(例如,所有导致死亡),因此353年(58%)被评为偏差结果域的低风险。然而,有理由担心偏见引起的结果在106年测量模型(17%),例如,由于使用代理的结果(如住院non-covid-19严重呼吸道感染)。一百四十七例(24%)有一个清楚的风险偏差由于不透明的或模棱两可的报告。与参与者,预测,结果域,分析领域是606年问题的模型和验证。总的来说,530年(87%)偏差分析高危领域,报告是不够明确的评估偏差的风险分析42例(7%)。 Only 34 (6%) were at low risk of bias for the analysis domain.

新开发的模型在低风险的偏见

我们发现七个新开发的模型偏差的风险低(表2)。都好优秀的歧视,但校准多样,突出当地的需要和时间校准。

表2

风险较低的covid-19偏见的预测模型

把这个表:

四个Qcovid模型预测住院和死亡的covid-19一般人群在英国,分别为男性和女性。231年模型使用年龄、民族、剥夺、身体质量指数和一系列并发症的预测因子。模型显示低估风险高危病人在外部验证,弥补的调整模型。231年

祭司的分数262年预计30天在疑似或确诊患者死亡或器官支持covid-19呈现在急诊室。分流分数是基于NEWS2(国家早期预警评分2组成的呼吸速率,血氧饱和度、心率、收缩压、温度、意识,空气,或补充氧气),年龄、性别、和性能状况(从卧床到正常的性能)。其外部验证英国紧急部门显示合理的校准,但潜在的异质性在校准中心还没有经过验证。

卡尔的模型81年和ISARIC 4 c退化模型268年预测恶化covid-19病人住院。复合两种模型的结果包括ICU住院和死亡,而ISARIC 4 c模型还增加了通气支持。都有相似的性能,但包括不同的预测模型,通常都可以在入学。卡尔和他的同事补充NEWS2随着年龄的增长,实验室和生理参数(补充氧气流量、尿素、氧饱和度、C反应蛋白,估计肾小球滤过率,中性粒细胞计数,neutrophil-lymphocyte比率)。古普塔和他的同事们268年开发了一个模型包括年龄、性别、院内感染,格拉斯哥昏迷评分分数,外围血氧饱和度在承认,呼吸室内空气或氧气疗法,呼吸速率,尿素浓度、C反应蛋白浓度、淋巴细胞计数、射线胸部浸润的存在。卡尔在国际上的模型验证81年模型验证和ISARIC4C恶化地区在英国。268年在设置为模型,标定不同。

外部验证偏差的风险低

我们确定了225年专用外部验证(即不结合模型)的发展外部验证研究。只有22是低风险的偏见,尽管所有22个验证来自同一研究使用只有英国的数据(表3)。269年这种验证研究包括411例患者,其中180经历了恶化的健康,和115年死亡。在这项研究中,卡尔模型和NEWS2表现最佳预测恶化,而谢模型和雷姆表现最佳预测死亡率。Carr模型(预印本版本,上面报道的Carr模型略有不同)和谢模型显示轻微的刻度错误。

表3

外部验证从古普塔等风险较低的偏见269年

把这个表:

NEWS2和雷姆也验证了在其他专门的验证研究。NEWS2获得C指数在0.65和0.90之间。141年203年214年233年245年280年281年303年319年340年雷姆获得C指数在0.74和0.88之间。91年233年319年这些研究meta-analyse过于异类和偏见:他们使用不同的结果定义(死亡率、入住ICU、各种复合材料,不同时间范围从1到30天),从不同人群(意大利、英国、挪威、中国),并在高或不清楚风险的偏见。

讨论

在这个系统回顾相关的预后预测模型covid-19大流行,我们识别和批判性评价606模型描述310年的研究。这些预测模型可分为模型来预测开发covid-19或造成不利疾病的风险在一般人群(n = 13),和模型支持患者的预后covid-19 (n = 593)。大多数研究报告中度至良好的预测性能,但是只有7个新开发的模型和22外部验证现有的模型在低风险的偏见。从这些,我们确定了八款车型,所有发达covid-19的预后与足够的性能和低风险的偏见在模型开发(四Qcovid模型,231年祭司模型,262年ISARIC4C退化模型,268年和卡尔的模型81年)或外部验证(谢的模型19269年)。我们建议应该进一步验证这些模型在其他数据和设置,最好是由独立调查人员,调查哪些模型保持健壮的性能随着时间的推移和在不同的设置。

大多数的606模型评价高或不确定风险的偏见由于可怜的报告和可怜的方法论的行为的结合。通常,可用的样本大小和数量的事件感兴趣的结果是有限的。这个问题是众所周知的在构建预测模型,提高模型过度拟合的风险。438年其他常见原因偏见没有充分占缺失的数据,使用技术,性能不占乐观估计,忽略模型校准和不恰当的模型验证。高风险的偏见意味着这些模型在新样品的性能可能会比报告的研究人员。因此,估计C索引,通常表明近乎完美的歧视,可能是乐观的。这些模型,没有独立的外部验证进行低风险的偏见,尽管大多数人公开可用的格式在临床实践中。

挑战和机遇

预测模型的主要目的是支持个体患者的医疗决策。因此,它是至关重要的识别预测的目标设置为临床需要(如急诊科、重症监护室、通用实践,症状监测应用程序在普通人群中),和一个代表数据集的设置(最好是由连续的病人)的预测模型可以开发和验证。这个临床和病人特征应该详细描述(包括时间内疾病,疾病严重程度目前预测,和伴随疾病),以便读者和临床医生能够理解该模型是否适合他们的人口。然而,这些研究包括在我们的系统回顾经常缺乏足够的人口目标设置的描述和研究,使得用户在怀疑这些模型的模型的适用性。虽然我们认识到,早期的研究在严重的时间限制,我们建议研究人员坚持三脚架报告指南1516改进的描述他们的研究人口和指导他们的造型的选择。三脚架的翻译(如中国)也可以https://www.tripod-statement.org。更好的描述研究的人口也可以帮助我们理解观察到的变化在研究报告的结果,如covid-19相关死亡率。死亡率的变化可能与包括病人的差异(如年龄、并发症)也在为covid-19干预。

在这生活的回顾、样本量不足构建一个健壮的模型或获得可靠性能统计数据是最普遍的缺点之一。我们建议研究人员利用公式和软件应该提供近年来计算所需的样本量构建或外部验证模型。439年440年441年442年当前报告也发现,忽略缺失数据和执行一个完整的案例分析仍然是很常见的。这导致精度降低,可以引入偏差估计模型中,我们建议研究人员处理缺失数据之前使用适当的技术开发或验证一个模型。443年444年当创建一个新的预测模型,我们建议先前的文献和专家意见的基础上选择预测因子,而不是选择预测完全基于数据。17这个建议是对数据集样本容量有限的尤其重要。445年脾气乐观估计的性能,一些内部验证策略可以开水的例子,引导。17446年我们还建议研究人员应该评估模型预测性能之间的对应关系和观察到的风险,最好是使用灵活的校准的阴谋17447年除了歧视。

Covid-19预测往往会不存在作为一个简单的二元分类任务。复杂的数据应当妥善处理。例如,预测地平线应该指定为预后结果(如30天死亡率)。如果研究参与者无论是恢复还是死在这段时间里,他们的数据不应该被排除在分析,回顾了一些研究。相反,应该考虑一个适当的比较分析,以便行政审查。17审查其他原因,例如由于快速恢复和追踪损失的患者不再从covid-19死亡的风险,可能需要分析竞争风险框架。448年

预测模型应用于一个新的医疗设置或也是国家经常会产生预测的误算447年并且可能需要更新之前,可以安全地应用于新设置。17这需要数据从covid-19患者可用设置。除了更新预测在当地环境下,个体参与者来自多个国家和卫生保健系统的数据可能允许generalisability的更好理解和实施在不同的设置和人口预测模型。这种方法可以大大提高预测模型的适用性和健壮性常规护理。446年449年450年451年452年

covid-19大流行已经以前所未有的全球数据积累的速度。不幸的是,大部分的工作分析所有这些数据病了通知和脱节。结果,我们有数百个相似模型,很少有独立验证研究比较他们的性能相同的数据。利用新兴传染病的全部潜能的预测模型和快速识别有用的模型,国际和跨学科合作在数据采集方面,模型构建、模型验证和系统评价是至关重要的。

研究的局限性

新进入医学文献出版物covid-19相关预测模型以前所未有的数量以前所未有的速度,这个系统回顾不能被视为一个最新的可用的所有当前列表covid-19相关预测模型。它提供一个全面的概述所有预后模型的发展和验证从大流行的第一年到2021年2月17日。同时,69的研究我们回顾了只可作为预印本。这些研究可能进入官方医学文献的改进版本,经过同行审查。我们重新评估预印本的同行评议的出版物包括在以前的更新当前更新之前已经出版。我们还发现其他预测模型已用于临床实践没有科学出版物,453年和网络风险计算器启动时使用科学的手稿仍在审查请求(不可用)。454年这些未发表的模型自然不属于这个范围的文献之回顾。正如我们所认为广泛的其他地方,455年透明的报告,使验证由独立研究是预测分析的关键,和临床指导方针应该只推荐公开的和可核查的算法。

对实践

这生活回顾已经确定了几个模型开发专门为covid-19预后具有良好的预测性能在外部验证,并与模型开发或外部验证偏差的风险低。Qcovid模型231年被用来预测住院和死亡的风险。祭司模型提出了分流病人在急诊室。262年ISARIC4C退化模型,268年Carr模型,81年和谢模型19269年开发预测住院患者的不良结果(通气支持,急救护理或死亡,ICU住院或死亡,和死亡,分别)。搜索日期以来,这些模型验证暂时和地理位置,这表明应该小心当使用这些模型在政策和临床实践。231年268年456年457年458年459年460年医疗系统之间的差异,感染率的波动,病毒突变,免疫接种状况的差异,不同的测试标准,和病人管理和治疗的改变可以导致最近刻度错误或本地数据。因此,未来的研究应该关注验证和比较这些预测模型与低风险的偏见。17外部验证不仅要评估歧视,而且校准和临床实用性(净收益)447年452年461年在大量的研究439年440年442年462年463年使用一个适当的设计。

许多预测模型已经开发了预测在医院设置。更新一个可用的模型,以适应时间、地区差异或扩展现有模型与新的预测需要更少的数据,并提供通常比开发一种新的预后更健壮的预测模型。17新变种可能接触传染性和严重程度不同,疫苗接种和免疫减弱可能会改变个人风险。因此,即使更新模型可以成为过时。这些变化将主要影响校准(绝对风险估计可能过高或过低),而低之间的歧视和高危病人可能影响较小。刻度错误对于一般人群尤其有关模型。模型,关注患者寻求治疗和调整风险估计的症状和严重程度标记可能会更健壮,但这一假设还有待证实经验。

虽然存在许多模型预测结果在急诊或住院,很少有适合参加初级护理,患者症状或ICU的患者。此外,模型综述了迄今为止关注covid-19诊断或评估死亡率或恶化的风险,而长期发病率和功能结果仍然可以理解和目标的结果可能是一个未来的研究兴趣发展预测模型。464年465年

本文开发的预测模型在第一年covid-19流行的大多数模型在不清楚或偏见的风险很高。而许多外部验证,最高危的偏见和大多数模型开发专门为covid-19没有独立验证。这种供应过剩的不够不用于临床实践验证模型。此外,诊断和预后模型的紧迫性协助快速有效分流病人的紧急大流行可能鼓励临床医生和决策者提前实现预测模型没有足够的文档和验证。不准确的模型甚至可以导致弊大于利。461年通过指向最重要的方法论的挑战和问题设计和报告,我们希望为未来的研究提供了一个有用的起点和未来的流行。

结论

几个covid-19预后模型是目前可用的最温和的报告给优秀的歧视。然而,许多这些模型的风险高或不清楚的偏见,主要是因为模型过度拟合,不恰当的模型评价(如校准忽略),和不适当的处理缺失数据。因此,他们的表现估计可能是乐观,可能不是代表目标人群。我们发现Qcovid模型可以用于一般人群危险分层,虽然祭司模型,ISARIC4C退化模型,卡尔的模型,谢的模型适用于预测在医院设置。这些模型的性能可能会在不同时间和不同地区之间,可能需要进一步的验证和更新之前实现。综述了模型的细节,请参阅https://www.covprecise.org/。共享数据和专业知识的验证和更新covid-19相关预测模型仍然是必要的。

已知关于这个主题是什么呢

  • 复发的高峰covid-19发病率全世界给医疗系统带来压力;需要有效的早期危险分层的存在一般人群中,和患者covid-19证实疾病的预后

  • 病毒核酸检测、胸部计算机断层扫描成像,和诊断covid-19抗原测试标准方法,及其可用性使得covid-19诊断模型不那么相关

  • 之前更新的生活找不到检查模型在低风险的偏见

这个研究增加了

  • 模型的低风险的偏见,四个识别高危病人一般人群;一个协助病人在急诊分诊;和三个估计预后与covid-19住院的病人

  • 这些模型的校准可能会改变随着时间的推移及设置

  • 有供过于求的高危模型和外部验证偏差,提高担心可能是不可靠的,当这些预测模型应用于日常实践

伦理语句

伦理批准

不是必需的。

数据可用性声明

研究协议是网上https://osf.io/ehc47/。详细的提取包括所有研究数据是可用的https://www.covprecise.org/

确认

我们感谢作者让他们的工作可以通过发布它在公共注册中心或共享秘密地;非专业人员和幸存者的面板关键covid-19帮助解释研究结果和总结的结果一般观众;和瑞尼Maarschalkerweerd和马丁·范·它们Annaland的面板上发挥积极作用。

脚注

  • 贡献者:LW构思。LW, MvS研究设计。LW, MvS BVC筛选包含标题和摘要。LW, BVC GSC TPAD,妇幼保健,GH, KGMM, RDR, ES,液体喷射加工,EWS,黄铁矿,连续波,艾尔,JM, TT, JAD,吉隆坡,JBR, LH, CS, MS,妇幼保健,NS, NK, SMJvK, JCS, PD,宗族,RW,流量,,JYV, DLD, JW, FSvR, PH值,VMTdJ, BCTvB, ICCvdH, DJM,可,提单,EA, SG,英航,JH, KJ, SG,基米-雷克南,我,MH, VB, MvS提取和分析数据。MDV帮助解释研究结果深入学习研究和MMJB, LH,妇幼保健协助从临床的角度解释。RS和FSvR提供技术和管理支持。LW写了初稿,所有作者修订为关键内容。所有作者同意最后的手稿。LW, MvS担保人。担保人有完全访问所有的数据在这项研究中,负责数据的完整性和数据分析的准确性,并最终负责决定提交出版。 The corresponding author attests that all listed authors meet authorship criteria and that no others meeting the criteria have been omitted.

  • 资金:LW, BVC、LH和MDV承认这项工作的具体资金从内部基金KU鲁汶,ma, covid-19基金。LW的博士后研究Foundation-Flanders (FWO)和接收支持ZonMw格兰特(10430012010001)。BVC收到FWO支持(格兰特G0B4716N)和内部资金KU鲁汶(格兰特C24/15/037)。TPAD承认金融支持从荷兰卫生研究与发展组织(批准91617050)。VMTdJ由欧盟支持的地平线2020研究和创新计划根据ReCoDID赠款协议825746。KGMM Cochrane协作网和JAD承认金融支持(SMF 2018)。黄铁矿是由国家卫生研究所(NIHR)初级保健研究学校。作者的观点是(s)和不一定NHS, NIHR或卫生部和社会关怀。GSC NIHR支持的是生物医学研究中心,牛津大学,英国癌症研究中心(项目授予C49297 / A27294)。JM得到了英国癌症研究中心(项目授予C49297 / A27294)。 PD was supported by the NIHR Biomedical Research Centre, Oxford. MOH is supported by the National Heart, Lung, and Blood Institute of the United States National Institutes of Health (grant R00 HL141678). ICCvDH and BCTvB received funding from Euregio Meuse-Rhine (grant Covid Data Platform (coDaP) interreg EMR-187). BL was supported by a Fonds de recherche du Québec-Santé postdoctoral training fellowship. JYV acknowledges the National Institute for Health and Care Research (NIHR) Community Healthcare MedTech and In Vitro Diagnostics Co-operative at Oxford Health NHS Foundation Trust. The funders had no role in study design, data collection, data analysis, data interpretation, or reporting.

  • 利益冲突:所有作者已经完成了国际统一的披露形式www.icmje.org/disclosure-of-interest/并宣布:支持内部基金KU鲁汶,ma,和covid-19基金提交的工作;没有利益冲突,提交工作;从研究Foundation-Flanders LW公开支持;RDR报告编辑个人费用作为统计数据英国医学杂志(2009年以来),咨询费用罗氏给荟萃分析教学和建议2018年10月,和个人费用提供内部培训课程在英国巴兹和伦敦医学院和牙科,和阿伯丁大学,埃克塞特和利兹,所有外提交工作;女士合著的编辑原创文章。

  • 手稿的主要作者肯定是一个诚实的,准确的,和透明的研究报告;,没有省略研究的重要方面;按计划,任何差异的研究已经解释道。

  • 传播参与者和相关病人和公共社区:作者和病人的合作伙伴将通过他们的机构和分发这些信息在社交媒体提供一个公开对话的机会和为例,说明我们学习新的疾病变化和改善的结果。研究协议是网上https://osf.io/ehc47/

  • 出处和同行评审:不是委托;外部同行评议。

http://creativecommons.org/licenses/by/4.0/

这是一个开放的分布式条188滚球软件依照Creative Commons归因的条款(4.0)CC许可,允许别人分发,混音,适应和发展这项工作,为商业使用,最初的工作是提供适当的引用。看到的:http://creativecommons.org/licenses/by/4.0/

引用