ROBINS-I:风险评估的工具的偏见non-randomised干预措施的研究
BMJ2016年;355年doi:https://doi.org/10.1136/bmj.i4919(2016年10月12日发表)引用这个:BMJ2016;355:i4919
- 乔纳森AC Sterne教授,1,
- 米格尔的赫尔南教授,2,
- 巴纳比C李维斯,专业研究员3,
- 伊莲娜Savović,研究员14,
- 南希·D伯克曼高级卫生政策研究分析师5,
- 米拉Viswanathan主任6,
- 大卫·亨利教授,7,
- 道格拉斯·G奥特曼教授,8,
- 穆罕默德T安萨里,兼职教授9,
- 伊莎贝尔Boutron教授,10,
- 詹姆斯·R木匠教授,11,
- An-Wen陈Phelan科学家12,
- 瑞秋丘吉尔教授,13,
- 乔纳森·J Deeks教授,14,
- Asbjørn Hrobjartsson教授,15,
- 杰米Kirkham、讲师16,
- 彼得尤尼教授,17,
- Yoon K死胡同教授,18,
- 特蕾莎D Pigott教授,19,
- 克雷格·R拉姆齐教授,20.,
- 黛博拉Regidor高级顾问21,
- 汉娜R Rothstein教授,22,
- Lakhbir Sandhu,居民23,
- Pasqualina L Santaguida助理教授24,
- Holger J Schunemann教授,25,
- 贝弗利谢伊26,
- 伊恩谢瑞尔,调查员27,
- 彼得特格韦尔教授,28,
- 露西·特纳高级研究助理29日,
- 杰弗里·C情人节副教授30.,
- 休沃丁顿、讲师31日,
- 伊丽莎白水域教授(2015年去世)32,
- 乔治一个井教授,33,
- 彭妮F白粉,高级研究员34,
- 朱利安PT希金斯教授,35
- 1布里斯托尔大学医学院的社会和社区,英国布里斯托尔BS8 2 ps,
- 2流行病学、哈佛T.H.陈公共卫生学院,波士顿,马萨诸塞州,美国;陈和哈佛T.H.生物统计学、公共卫生学院,波士顿,马萨诸塞州,美国;和Harvard-Massachusetts理工学院健康科学和技术分工,波士顿,麻萨诸塞州,美国
- 3布里斯托尔大学临床科学学院BS2 8 hw,英国布里斯托尔
- 4国立卫生研究所合作的领导在西方应用健康研究和护理(NIHR CLAHRC西方)在布里斯托尔大学医院NHS信托基金会,英国布里斯托尔BS1 2元
- 5计划在医疗保健质量和结果,卫生服务分工和社会政策研究,RTI国际数控27709年美国三角研究园
- 6RTI-UNC循证实践中心,RTI国际,美国27709年数控,三角研究园
- 7Dalla拉娜公共卫生学院的多伦多大学,多伦多,加拿大安大略省
- 8医学统计中心,纳菲尔德骨科、风湿病和肌肉骨骼,牛津大学,英国牛津OX3 7 ld
- 9学校的流行病学、公共卫生与预防医学、医学院,渥太华大学K1H 8 m5,加拿大安大略省渥太华
- 10流行病学和统计方法的团队,中心巴黎索邦神学院引用研究INSERM UMR 1153年,巴黎笛卡儿大学,巴黎,法国
- 11医疗部门统计,伦敦卫生和热带医学学院和MRC临床试验单位伦敦大学,伦敦,英国
- 12女子学院研究所,医学系的加拿大的多伦多大学
- 13评论和传播中心纽约,纽约大学YO10 5 dd,英国
- 14应用卫生研究所研究、伯明翰大学、英国伯明翰去往B15 2 tt,
- 15循证医学中心大学&欧登塞的南丹麦大学医院,5000年欧登塞C,丹麦
- 16生物统计学、利物浦大学、利物浦、L69 3 gl,英国
- 17应用健康研究中心(AHRC),李嘉诚知识圣迈克尔医院研究所和医学系,多伦多大学,多伦多,加拿大安大略省
- 18诺里奇医学院,东英吉利大学,英国诺里奇NR4 7 tj,
- 19芝加哥洛约拉大学教育学院、芝加哥、IL 60611,美国
- 20.卫生服务研究中心,阿伯丁大学、阿伯丁、AB25 2 zd,英国。
- 21证据服务、Kaiser Permanente医疗管理研究所,奥克兰,CA 94612,美国
- 22部门管理,金科林商学院,巴鲁克College-CUNY,纽约,纽约10010,美国
- 23普通外科,多伦多大学,多伦多,加拿大
- 24临床流行病学和生物统计学,安大略省汉密尔顿市麦克马斯特大学18 4 k1,加拿大
- 25医学部门临床流行病学和生物统计学和Cochrane适用性和建议的方法(年级)集团MacGRADE中心L8N 4 k1,加拿大安大略省
- 26渥太华医院研究所,实践变化的研究中心和学校的流行病学、公共卫生和预防医学,医学院,渥太华大学K1H 8 m5,加拿大安大略省渥太华
- 27中心临床流行病学、戴维斯夫人研究所、犹太总医院,麦吉尔大学蒙特利尔,魁北克,加拿大
- 28医学与公共卫生学院的流行病学、预防医学,渥太华大学,加拿大安大略省渥太华
- 29日渥太华医院研究所,渥太华,加拿大
- 30.大学的路易斯维尔,肯塔基州路易斯维尔市的40292年,美国
- 31日国际项目影响评价、伦敦卫生和热带医学学院和伦敦国际发展中心,伦敦,英国
- 32杰克Brockhoff儿童卫生与健康项目,墨尔本的人口和全球卫生学院墨尔本大学,墨尔本,维克3010年,澳大利亚
- 33学校的流行病学、公共卫生和预防医学和导演,心血管研究中心,渥太华大学心脏研究所,K1Y 4支w7,加拿大安大略省渥太华
- 34学校的社会和社区医学、布里斯托大学,布里斯托尔BS8 2 ps,英国;和国家卫生研究所合作的领导在西方应用健康研究和护理(NIHR CLAHRC西方)在布里斯托尔大学医院NHS信托基金会,英国布里斯托尔BS1 2元
- 35布里斯托尔大学医学院的社会和社区,英国布里斯托尔BS8 2 ps,
- 函授:J C Sternejonathan.sterne在{}bristol.ac.uk
总结分
Non-randomised干预措施的影响的研究是至关重要的,许多领域的医疗评估,但受到混淆和一系列其他潜在的偏见
我们开发、驾驶和精制一个新工具,ROBINS-I,评估“Non-randomised偏见的风险研究——干预”
每个研究工具的观点试图模仿(模仿)一个假想的务实的随机试验,并涵盖七个不同的领域通过偏见可能会引入
我们用“信号问题”来帮助用户ROBINS-I判断风险的偏见在每个域
判断在每个域弘扬偏差判断在偏差域的总体风险评估的结果
Non-randomised干预(NRSI)的影响的研究是至关重要的许多地区的医疗评估。NRSI的设计,可用于评价干预措施的效果包括观察性研究,如队列研究和病例对照研究中,干预组分配过程中通常的治疗决策,和quasi-randomised研究的方法分配完全随机。Non-randomised研究可以提供额外的证据,可以从随机试验对长期结果,罕见的事件,负面影响现实世界和人群的典型做法。12连接数据库的可用性和电子健康记录使得编译NRSI进行大代表人口群体。3对于许多类型的组织或公共卫生干预措施,NRSI证据的主要来源是干预的可能的影响,因为随机试验是困难的或不可能的办法考虑到整个地区的基础上进行。因此系统评价处理健康相关干预措施通常包括NRSI的影响。至关重要的是,方法可用于评估这些研究,临床,政策,和个人决策透明、充分理解的基础上的优点和缺点的证据。
许多工具来评估观察性研究的方法学质量的背景下,提出了系统回顾。45的Newcastle-Ottawa6和Downs-Black7工具有两个最受欢迎的:两人都在名单的方法论上声音的工具,5但每个包括内部以及外部效度相关的物品和缺乏综合手册意味着指令可能由不同的用户以不同的方式解释。5
在过去的十年里,已经有了较大的发展,在工具来评估研究的有效性。转移注意力从方法学质量风险的偏见一直伴随着从清单和数字分数域的评估,考虑不同类型的偏见。例子是Cochrane偏见的工具随机试验的风险,8显得无用2工具诊断测试精度研究9系统评价和罗比的工具。10但是,并没有令人满意的NRSI域的评估工具。4
在本文中,我们描述了开发ROBINS-I (“Non-randomised偏见的风险研究——干预措施”),这是关心的风险评估偏差估计的有效性或安全(利益或损害)的干预研究,没有使用随机分配干预措施。
一个新工具的发展
我们在三年内开发工具,主要由专家共识,七个原则我们先前描述偏差的风险评估临床试验。8核心组协调发展的工具,包括招募合作者,准备和修订的文档,和行政支持。初始范围会议于2011年10月之后,Cochrane综述组织2012年3月的调查收集信息对他们使用的方法来评估风险NRSI的偏见。会议于2012年4月确认有关偏见域和建立工作小组关注这些。我们同意在这个阶段使用方法之前QUADAS-2工具,采用“信号问题”的答案帮助审查员判断偏差的风险在每个域。9我们分布式文件简报工作小组在2012年6月,指定考虑应该如何制定和信号问题如何回答这些会导致偏见的风险判断。我们还发现了方法论的问题这将巩固新工具:这些是下面描述。
整理后,统一由核心小组工作小组的贡献,所有合作者认为草案信号问题,达成新工具的主要特征在2013年3月为期两天的面对面的会议。初步版本的工具是驾驶在工作组2013年9月至2014年3月,在几个使用NRSI审查领域。实质性的修订,根据驾驶的结果,被领导同意工作组2014年6月。进一步驾驶发生,以及一系列的电话采访人首次使用该工具,探索是否解释工具和指导。我们发布版本1.0.0,连同详细的指导,www.riskofbias.info2014年9月。我们解释了工具在为期三天的研讨会涉及Cochrane综述组织的成员在2014年12月,在小组和应用到六NRSI论文报告。进一步修改工具,尤其是关于措辞,是基于反馈从这个事件和随后的培训活动在2015年进行的。
在风险评估方法论问题的偏见non-randomised研究
目标试验
风险评估结果的偏差NRSI了正在考虑每个NRSI试图模仿(模仿)一个“目标”的审判。这是假设的务实的随机试验,进行了在同一参与者组和无功能偏差的风险,其结果将NRSI回答这个问题解决的。1112这样一个“目标”试验需要不可行或道德:例如,它可以比较的人,没有分配到开始吸烟。描述的目标试验NRSI评估包括人口的细节,实验干预,比较器,感兴趣的结果。相应地,我们定义偏差的结果作为系统的区别NRSI和预期目标的试验结果。这样的偏见是截然不同的问题generalisability(适用性和可移植性)类型的人并不包括在这项研究。
感兴趣的影响
感兴趣的目标试验,效果通常是:
任务干预在基线(开始跟进),无论在多大程度上干预随访期间收到了(有时称为“意向处理”效应)
开始和坚持中所示的干预试验协议(有时称为“按方案”效应)。
例如,在癌症筛查试验,我们的兴趣的影响可能在发送一个邀请参加筛查或响应的邀请和接受筛查。
可以为NRSI定义类似物的影响。例如,意向处理效果的研究没有比较阿司匹林和阿司匹林可以用规定的影响近似阿司匹林或(如果使用调剂而非处方数据)的影响开始阿司匹林(对应着意向处理效应的试验参与者分配给干预总是开始干预)。另外,我们可能会感兴趣的开始和坚持阿司匹林的效果。
感兴趣的类型的效应影响的风险评估相关的偏见偏离干预。当利息是分配的影响(或开始)干预,偏见的风险评估通常不需要关心post-baseline偏离干预措施。13相比之下,无偏估计的影响开始和坚持干预的依从性和差异需要考虑额外的干预措施(“co-interventions”)干预组之间。
域的偏见
我们达到共识七个领域通过偏见可能引入NRSI(见表1⇓和附录在补充数据)。前两个领域,包括混淆和选择的参与者到研究中,解决问题开始之前的干预比较(“基线”)。第三个域地址分类的干预措施。开始后的其他四个领域解决问题的干预措施:偏见由于偏离预期的干预措施,缺少数据,测量的结果,和选择的报告结果。
前三域,偏见的风险评估NRSI主要是不同于评估随机试验因为随机,如果此法案生效,防止出现的偏见开始前干预。然而,随机并不防止偏见开始后出现的干预。因此,有大量重叠在过去的四个领域之间的偏差评估NRSI和随机试验。
术语的变化发展ROBINS-I被证明是一个挑战。相同的术语有时用来指不同类型的偏见在随机试验和NRSI文学,13和不同类型的偏见常常是由许多不同的术语描述:那些内使用ROBINS-I第一列的表1所示⇑。
偏见的风险工具,ROBINS-I
完整的ROBINS-I工具表所示,B和C的补充数据。
计划偏差的风险评估
是非常重要的,专家在这两个主题和流行病学方法都包含在任何团队评估NRSI。偏见的风险评估应该首先考虑可能出现的问题,在研究问题的背景下,在因果评估干预的效果(s)的利息NRSI的基础。这将是基于专家知识的文献:团队还应该解决的利益冲突是否会影响专家的判断。
定义的人口问题是概念化的研究,实验干预,比较器,和结果感兴趣的(补充表A, I期)。比较器可以“不干预”,常规治疗,或另一种干预。是很重要的考虑提前混杂因素和co-interventions有可能导致偏见。混杂域预后相关因素,预测一个人是否收到一个或其他感兴趣的干预。有关co-interventions是那些个体可能会收到或之后开始感兴趣的干预,干预接收和预后相关的都是利益的结果。混杂域和co-interventions都可能发现通过审查小组成员的专业知识,通过最初的文献(范围)的评论。与健康专业人士讨论干预决策为目标病人或人群也可以帮助识别影响治疗决策的预后因素。
评估一个特定的研究
每个NRSI包括在审查的评估包括以下六个步骤之后(补充表,阶段II)。重复步骤3到6应该为每一个关键的结果感兴趣的:
指定一个目标的研究问题通过考虑试验
指定结果和结果评估
为指定的结果,研究混杂因素和co-interventions如何解决
七个偏见的回答信号问题域
制定偏差判断每个七的偏差的风险领域,根据信号的问题的答案
制定一个总体的风险判断偏差的结果和结果评估。
考试的混杂因素和co-interventions涉及确定重要的混杂因素和co-interventions测量或管理的研究,以及额外的混杂因素和co-interventions是否被确定。补充表提供了一个结构化的方法来评估潜在的偏见由于混杂和co-interventions,包括完整的工具与每个偏差域内信号的问题需要解决。
信号的问题本质上是广泛的事实和旨在促进判断偏差的风险。响应的选择是:“是的”;“可能是”;“可能不”;“不”;和“信息”。有些问题只有在回答前一个问题回答“是”或“可能是”(或“不”或“可能不”)。回答“是”的目的是有类似的反应的影响“可能是”(类似“不”和“可能不”),但允许一个区别是已知的东西,很可能是这样。自由文本应该用于为每个答案提供支持,使用直接引用的文本研究。
反应信号问题提供了依据域级判断偏差的风险,然后提供基础的整体风险偏差判断为特定的结果。使用“判断”这个词来描述这一过程是重要的,反映了审查作者需要考虑的严重偏差在一个特定的域和相对偏差在不同领域的后果。
偏见的风险判断的类别是“低风险”,“中度风险”、“严重风险”和“重大风险”的偏见。重要的是,“低风险”对应于偏见的风险在一个高质量的随机试验。只有特别的NRSI被评估为低风险由于混杂的偏见。达到标准偏差的风险判断的七个领域提供了补充表B和c,如果没有一个答案信号问题域显示一个潜在的问题那么偏见的风险域就可以判定为低。否则,可能存在偏差。评论作者必须作出判断,这项研究的结果有偏差的风险。“风险偏好”被解释为“材料的风险偏好”。,只能表示担心问题可能影响从这项研究能够得出有效的结论:一个严重的风险很小程度的偏差不应被视为“严重风险”的偏见。应该使用“不”信息类别只有当数据报告,允许一个判断不足。
判断在每个域推进全面风险的偏见的判断结果评估(跨偏见域,),,总结在表2所示⇓(也救了补充表D)。应用工具的关键是使域级判断偏差的风险具有相同意义的跨领域关于担心偏见的影响结果的可信度。如果域级判断一致,然后判断偏差的整体风险为特定的结果是相对简单的。例如,偏见的“严重风险”一个域是指影响评估研究是在严重风险的偏见或更糟的是,即使偏差被认为是低风险的其他领域。
是非常可取的知道任何潜在的偏差的大小和方向的确定,但这更加具有挑战性比判断偏差的风险。该工具包含一个可选组件为每个域预测偏差的方向,和整体。对于某些领域,偏见是最容易想到的是朝向或远离零。例如,涉嫌的选择性non-reporting统计非重要结果建议对零的偏见。然而,对于其他领域(特别是混杂,选择偏差和形式的测量偏差如微分误分类),偏差需要被认为是一个增加或减少的效应估计,而不是相对于零。例如,混杂偏倚,减少估计的影响将是对零如果真正的风险率大于1,而远离零如果风险率小于1。
讨论
我们开发了一个工具的风险评估结果的偏差non-randomised研究干预措施的,地址之前可用方法的弱点。4我们的方法建立在偏见的风险评估近期发展的随机试验和诊断测试精度的研究。89ROBINS-I的关键特性包括规范的目标试验和感兴趣的影响,利用信号问题通知判断偏差的风险,在七偏见和评估领域。
ROBINS-I工具开发一组通过共识,包括方法论专家和系统综述作者和编辑,并大幅修订基于广泛的驾驶和用户反馈。它包括一个结构化的方法来评估风险的偏见由于混杂在审查协议阶段开始的。使用ROBINS-I要求审查组包括实质性的方法论方面的专家和熟悉现代流行病学思维。我们试图让ROBINS-I尽可能易得易用,鉴于偏差的要求全面风险评估,适用于范围广泛的研究设计和分析。一个说明性的评估使用ROBINS-I可以找到www.riskofbias.info;进一步详细的指导和培训材料也将是可用的。
ROBINS-I分离相对真实的信号问题的答案从主观判断偏差的风险。我们希望明确的信号问题的答案和偏见的风险之间的联系的判断将会改善特定领域的可靠性和总体偏差的风险评估。14尽管如此,我们希望让偏见的风险判断的技术困难将限制可靠性。尽管如此,ROBINS-I提供了一个全面和结构化的方法来评估non-randomised干预措施的研究。它应该促进辩论和增进相互了解的方式在NRSI估计偏差会影响影响,并阐明原因分歧对特定风险判断的偏见。注意,该工具特别关注偏差和不解决问题不精确的结果,例如当统计分析没有考虑到集群或匹配的参与者。
我们开发了ROBINS-I工具主要用于系统回顾的背景下。更广泛的潜在用途包括资金应用程序的评估和同行评审的期刊提交。此外,ROBINS-I可用于指导研究人员对问题设计时需要考虑的一个主要研究评估干预的效果(s)。
图1⇓总结了偏见的风险评估过程的上下文中使用该工具NRSI系统回顾。得出结论关于观察干预效果的程度可能是因果关系,研究包括在审查应该比较和对比,这样他们的优势和劣势可以共同考虑。研究不同的设计可能存在不同类型的偏见,和“三角”,发现在这些研究可能提供保证或偏见是最小的,他们是真实的。合成的结果通过荟萃分析研究必须考虑偏差的风险研究。我们建议在“关键风险”对包括研究评估偏差的荟萃分析,并主张谨慎为研究评估偏见的“严重风险”。亚组分析(干预效果估计分别根据风险的偏见),多元回归分析和敏感性分析(不含偏见的风险研究)可能会认为,在特定偏见域或整体。偏见的风险评估可能或者被用作基础推导调整偏差通过先验分布的贝叶斯荟萃分析。1516
图1总结的过程风险评估系统回顾的偏见non-randomised干预的研究(NRSI)
等级评估系统对估计的影响目前干预分配一个评级开始“低确定性、信心和质量”non-randomised研究中,默认下调两个水平。17ROBINS-I提供了一个全面的评估偏差的风险相对于一个假设的随机试验,和“低风险”的偏见与偏见的风险在一个高质量的随机试验。这打开的可能性使用偏差的风险评估,而不是缺乏随机本身,决定降低的程度的一项研究结果,这意味着NRSI和随机试验的结果合成如果他们在类似的偏见的风险评估。在一般情况下,然而,我们提倡分别分析这些研究设计和关注NRSI当证据从试验的证据是不可用的。
ROBINS-I包括进一步考虑的计划发展的程度为特定类型的NRSI工作,如自控设计,控制前后研究,打断了时间序列的研究,研究基于回归不连续和工具变量分析。我们还计划开发交互式软件促进ROBINS-I的使用。此外,讨论下,这个工具将随机试验通知复议的工具,特别是在四个干预领域。8
NRSI通知治疗决策的作用仍存在争议。因为随机试验是昂贵,费时,可能不反映现实世界的经验,医疗干预,研究资助者热衷于观察性研究提供证据的可能使用比较不同干预措施的有效性,18并鼓励使用大型,定期收集数据通过数据链接组装。18然而,担心证据从NRSI可能存有偏见,基于一些NRSI误导的结果,1920.导致了谨慎使用的有效性进行判断。的能力有更大的信心NRSI量化少见的副作用干预措施。21我们相信证据NRSI应补充,从随机试验,如提供证据关于罕见和不良结果的影响和长期影响进行权衡随机试验的结果更容易解决。22
脚注
从riskofbias.info ROBINS-I工具复制作者的许可。使用的工具不应该修改。
我们感谢Jan Vandenbroucke教授他的贡献在工作组在面对面的会议讨论。和维维安•韦尔奇博士教授大卫·莫赫了授予应用程序和最初的讨论。我们感谢所有那些导致发展ROBINS-I在研讨会和培训活动,通过讨论,通过他们的驾驶工作。
贡献的作者:江淮,BCR、JS LT, YKL,电子战,哭泣,PT,衣服上的破处,JPTH构思这个项目。江淮、JPTH BCR、JS和LT监督这个项目。江淮、DH JPTH IB,即领导工作小组。MAH发达的想法在ROBINS-I目标试验及其作用。NDB和MV进行认知测试之前的草稿的工具。所有作者导致ROBINS-I和编写相关指导的发展。江淮、MAH和JPTH起草了手稿。所有作者回顾和评论草稿的手稿。
ROBINS-I资助:发展是由方法创新基金资助来自科克伦和医学研究委员会(MRC)格兰特先生/ M025209/1。Sterne和希金斯是MRC综合流行病学的成员单位在布里斯托尔大学的,支持的MRC和布里斯托尔大学的(格兰特MC_UU_12013/9)。这项研究部分由NIH资助P01 CA134294。Sterne支持由国家卫生研究所(NIHR)高级研究员奖nf - si - 0611 - 10168。Savović和白粉NIHR支持协作的领导在西方应用健康研究和护理(NIHR CLAHRC西)。Reeves NIHR支持的是布里斯托尔生物医学研究单位在心血管疾病。没有一个资助者在发展的过程中扮演了一个角色ROBINS-I工具,虽然员工Cochrane导致的一些会议和研讨会。作者的观点是,不一定科克伦,NHS, NIHR或卫生部门。
利益冲突:所有作者已经完成了国际统一的披露形式http://www.icmje.org/coi_disclosure.pdf并宣布:从Cochrane赠款,MRC, NIHR期间进行的研究。木匠博士报告辉瑞的个人费用,赠款和非金融支持来自诺华公司葛兰素史克和赠款,在提交工作。Reeves博士是co-convenor Cochrane Non-Randomised研究的方法。作者报告没有其他关系或活动,似乎影响了提交工作。
出处:作者是流行病学家,统计学家,系统性的评论者,实验,医疗服务人员,其中很多是涉及Cochrane系统评审方法组织和培训活动。ROBINS-I被告知有关方法论的文学的发展,以前公布的non-randomised研究的方法学质量评估的工具,这种工具和相关文献的系统评价,并通过作者的经验开发工具来评估风险的偏见在随机试验,诊断测试准确性的研究,和系统评价。所有作者导致ROBINS-I和编写相关指导的发展。所有作者回顾和评论草稿的手稿。J Sterne将作为担保人。
这是一个开放的分布式条188滚球软件依照创作共用署名非商业性(3.0 CC通过数控)许可证,允许别人分发,混音,适应,建立这个工作非商业化,和其派生作品在不同的条款进行许可,提供了最初的工作是正确地引用和非商业使用。看到的:http://creativecommons.org/licenses/by-nc/3.0/。