抽象
回复“COVID-19预测模型应坚持的方法和报告标准”
从作者
我们要感谢G.S.柯林斯,M.面包车Smeden和R.D.理查德为他们的设计,分析评论,以及我们的文章的报告[1]。然而,他们的评论似乎从传统的生物统计学的角度,而不是从转化型研究机器学习方法和绝大多数批评阻止从任何误解或误读引起的。
作者不准确的状态,我们随机拆分数据集。正如我们在手稿中描述我们非随机的时间和地点分割数据,使得它根据三脚架声明较强的设计。使用独立的同伙测试模型一般化使三脚架类型3的研究[2]。我们同意拆分降低了训练数据集的大小,增加过度拟合的概率。然而,作为一种RNA病毒,SARS-COV-2可能能够迅速变异,发展多元化的特点。因此,我们的时间和地点,而不是使用交叉验证或引导拆分数据集。
作者用75个候选预测,而不是7个选定进行样本量计算为我们的训练集[3]。虽然我们同意使用候选预测是相对于仅使用选择的更严格的方法,它是在现代机器学习和组学领域,而忽视功能降维,我们采用的选择方法的力量过于严格。虽然我们知道,过学习的可能性依然存在,在五个数据集模型不相关机构的确认增强的可能性,提出的模型是稳健的。测试结果集内分别列示,以提高坚固性的理解,因为它很容易将其与一个大的测试集里的表现还是不错的结合隐藏在一个小的测试组可能表现不佳。更重要的是,所选择的变量意义从临床上看[4,五],使得我们的模型解释的,透明的,因此可以接受由最终用户。
我们同意,不包括丢失的数据可能会导致偏见,并列出这是我们在讨论第一个限制。鉴于这一快速发展的大流行的时间关键性质,我们决定不包括38名患者是最好归集和由这种选择引入的偏差将显露在五个外部验证和进一步验证后期发布。作者不准确的陈述我们认为连续预测是线性的结果有关。我们强调,无论是特征选择,也不承担建模和预测结果之间的线性关系。随机化的结果和分析的重新运行的过程是对过度拟合一个强大全面的检查[6]。
我们必须指出,自适应合成(ADASYN)算法是用于处理数据集的不平衡已发布和验证的方法。虽然我们同意,这个方法可以在模型中截取引入误差,我们认为,可以计算在五个外部验证数据集模型的性能时,估计这个错误。每个人都有自己喜欢的度量,常常一个更好的指标可以比常见的发现。这是机器学习和临床应用,其中报告可能次优的指标,更容易理解可能需要通过数据科学家使用额外的好处了更多的技术指标之间的交汇地带尤其如此。报告混淆矩阵,评估分类性能的一种广泛使用的和容易理解的方式,可以很容易地防守。同样地,与此尊敬出版物的读者报告从校准曲线中普遍采用的灵敏度和特异性的指标,以及结果相吻合。
作者呼吁我们的风险分组随心所欲。使用三个高危人群是临床医生的要求,是常见的诊所,包括COVID-19:低风险(家庭护理),中等风险(医院监控),以及高风险(ICU入场)。风险概率阈值是基于在平衡训练集的第25和第75百分位数的概率。与这些阈值时,低风险组有<严重后果的发生率为20%,和高风险组具有>上的每个测试组严重后果,其临床医生认为临床上有用的75%的机会。作者训斥我们没有明确报告的模型参数。对我们来说,任何临床分诊模式的主要目的是在临床上对个别病人应用。我们相信,双方的共线和网络计算器满足这一要求。此外,模型评估,模型参数可以完全从列线图重构。
有许多清单或指南的诊断和预测模型[7-10]。现在回想起来,我们同意TRIPOD比STARD更合适的清单建模研究,由于有关方法和结果的报告的细节。我们从这个期刊的投稿指南(其中鼎未上市准则)选择了更熟悉的清单,并会确保还包括中鼎未来的报告。由于机器学习的快速变化的性质和日益增多的指导方针,这是很难伪造的标准,而在模型研究,增加了报告需要他们。
总体而言,我们认为我们的工作是有用的,可解释的,并且已经从同事,包括临床医生,谁明白,他们的要求已经考虑到收到积极的反馈。目前,我们正在验证前瞻性我们的模型了一个信念,只有这种方式才能真正验证预定义的模型。
脚注
利益冲突:吴医生有没有透露。
利益冲突:伍德拉夫博士报告从Oncoradiomics等,提交作品外;.
利益冲突:查特吉博士没有透露。
利益冲突:兰宾博士报告等从医疗云公司,在研究进行期间;瓦里安医疗,从Oncoradiomics补助金,从ptTheragnostic / DNAmito补助,卫生创新风险投资公司资助,从Oncoradiomics个人费用,由BHV个人费用,由瓦里安个人费用,由医科达的个人费用,从ptTheragnostic个人费用,从转换的个人费用补助医药,提交作品之外;此外,兰宾博士拥有的专利PCT / NL2014 / 050248许可,专利PCT / NL2014 / 050728许可,专利PCT / EP2014 / 059089许可,专利N2024482之前,申请专利N2024889和专利N2024889悬而未决。
- 收到2020年7月27日。
- 公认2020年7月30日。
- 版权所有©ERS 2020
这篇文章是开放存取并根据知识共享188滚球软件署名非商业许可证4.0的条款分发。