Cochrane协作工具的风险评估偏差的随机试验
BMJ2011年;343年doi:https://doi.org/10.1136/bmj.d5928(2011年10月18日发表)引用这个:BMJ2011;343:d5928
- 朱利安·P T希金斯高级统计学家1,
- 道格拉斯·G奥特曼主任2,
- 彼得·C Gøtzsche主任3,
- 彼得尤尼部门负责人4,
- 大卫·莫赫资深科学家56,
- 安德鲁·D奥克斯曼,高级研究员7,
- 伊莲娜Savović,博士后8,
- 肯尼斯·F舒尔茨副总裁9,
- 劳拉周,研究助理5,
- Jonathan C Sterne统计学和流行病学教授8
- 科克伦偏差方法组
- 科克伦统计方法组
- 1MRC生物统计学单位、公共卫生学院、剑桥CB2 0 sr,英国
- 2医学统计中心,牛津大学,英国牛津大学
- 3北欧Cochrane中心Rigshospitalet哥本哈根大学,丹麦
- 4社会预防医学研究所,瑞士伯尔尼大学
- 5临床流行病学项目,渥太华医院研究所、加拿大安大略省渥太华
- 6流行病学与社区医学,医学院,加拿大渥太华大学
- 7预防与国际医疗单位,挪威卫生服务中心知识,奥斯陆,挪威
- 8社会医学、布里斯托大学、英国布里斯托尔
- 9FHI,美国北卡罗来纳州研究三角园
- 函授:J P T希金斯julian.higgins在{}mrc-bsu.cam.ac.uk。
- 接受2011年7月22日
随机试验,系统评价的试验,提供最可靠的证据关于卫生保健干预措施的影响。只要有足够的参与者,随机应确保参与者的干预和对比组是相似的已知和未知的预后因素。结果不同群体之间的利益差异然后原则上可以归因于干预的因果效应。1
因果推断从随机试验,然而,是受到缺陷设计,行为,分析和报告,导致低估或高估的真正的干预效果(偏见)。2然而,它通常是不可能知道的程度的偏见影响了特定的试验的结果。
系统评价的目的是整理和合成研究,满足预定的合格标准3使用方法,试图减少偏见。为了获得可靠的结论,评论作者必须仔细考虑可能包括研究的局限性。研究“质量”的概念不是定义良好的,而是涉及到设计的程度,行为,分析和报告适当的回答的研究问题。许多工具来评估质量的随机试验,包括尺度(分数试验)和清单(评估试验没有产生一个分数)。4567直到最近,Cochrane综述各种这些工具的使用,主要是检查清单。82005年Cochrane协作的方法组织开始了一项新的策略来评估质量的随机试验。在本文中,我们描述协作的新的偏见的风险评估工具,并开发和评估的过程。
风险评估工具的发展
2005年5月,16个统计学家、流行病学家和评论作者参加了三天的会议,开发新工具。开会前,JPTH和DGA编译一个广泛的潜在的偏见来源列表的临床试验。名单上的项目被分成七个领域:分配序列的生成;分配序列的隐藏;基础垫层;摩擦和除外责任;其他通用的偏见来源;偏见的试验设计(如交叉或集群随机试验);和偏见可能特定于临床专业。的七个领域,提名会议参与者准备经验证据的审查,讨论具体问题和不确定性,而提出的一套标准评估偏见的足够的保护,支持的不足,或者不清楚,例子。
会议期间的决定是由非正式的共识关于物品真的是潜在的偏见而不是异质性的来源或不精确。潜在的偏见被分为域,和他们的评估策略达成一致,再通过非正式的共识,从而创建一个新工具来评估潜在的偏见。与会者还讨论了如何跨域的总结评估,如何说明评估,以及如何评估纳入分析和结论。分钟的会议从一个转录录音与写笔记。
会议结束后,对作者开发的详细标准为每个项目包含在评估潜在的偏见的工具和指导。文件共享和反馈要求从整个工作组(包括6人不能参加会议)。几个电子邮件迭代发生,也包含反馈报告建议的指导在各种会议和研讨会在Cochrane协作和选定试点工作的审查团队合作工作小组的成员。材料被带领到综合全面指导偏差的新风险的工具。这是发表在2008年2月,作为整个Cochrane协作推荐的方法。9
评估阶段
一个三阶段项目评估工具在2009年初开始。举行了一系列的焦点小组的审查作者使用了这个工具被要求对他们的经验进行反思。焦点小组的发现被送入用于三个在线调查问卷的设计审查作者使用了这个工具,回顾作者没有使用工具(探索为什么不),和编辑团队内部的协作。我们举行一个会议讨论焦点小组和调查的结果,并考虑的第一个版本修正偏差的风险的工具。这是由2005年的6个参与者参加会议和17人,包括统计学家、流行病学家、协调编辑器和其他员工Cochrane审查小组,和主编Cochrane图书馆。
偏见的风险的工具
在2005年研讨会参与者同意七原则基于新的偏见的风险评估工具(盒)。
风险评估原则的偏见
1。不要使用质量尺度
质量尺度和产生的分数不是一个适当的方法评价临床试验。他们倾向于把评估方面的质量报告和试验方面的行为,和权重分配给不同的物品的方式是很难证明的。这两个理论的考虑10和经验证据11表明,关联不同尺度和干预效果的估计不一致的和不可预测的
2。关注内部效度
研究的内部效度是在多大程度上摆脱偏见。单独的内部效度的评估是很重要的外部效度(generalisability或适用性)和精密(研究结果在多大程度上是免费的从随机误差)。的适用性取决于研究的目的是使用,没有内部效度不那么相关。精度取决于参与者的数量和事件研究。风险较低的小型试验偏差可能会提供非常精确的结果,与广泛的置信区间。相反,一个大型试验的结果可以精确(狭窄的置信区间),但有高风险的偏差如果内部效度很差
3所示。在试验结果评估偏差的风险,而不是报告的质量或方法论的问题不直接相关的偏见的风险
报告的质量,如是否细节描述,影响系统综述的能力医学研究的作者和用户评估偏差的风险但不直接相关的风险的偏见。同样,审判行为的某些方面,例如获得伦理批准或计算样本量,不直接相关的风险的偏见。相反,使用最好的方法的实验结果可能仍然是偏见的风险。例如,眩目的可能不是可行的在许多非药物试验,试验和不合理考虑低质量,因为没有致盲。尽管如此,许多类型的结果可能会影响参与者的知识的干预,所以这样的结果可能的试验结果被认为是偏见的风险,因为没有致盲,尽管这是不可能实现的目标
4所示。评估风险的偏见需要判断
评估是否一个特定的方面的审判行为呈现结果偏差的风险需要试验方法的知识和判断这些方法是否可能导致偏见的风险。我们决定偏差评估的基础应该明确,通过记录方面的试验方法的判断为基础,然后判断本身
5。选择域进行评估的基础上结合理论和实证方面的考虑
实证研究表明,审判行为与偏见相关联的特定方面。212然而,这些研究没有包括所有潜在的偏见的来源。例如,现有证据不区分致盲的不同方面(的参与者、卫生专业人员和结果评估)和非常有限的关于作者是如何处理不完整的结果数据。也有特定主题和设计具体问题相关的一些试验和评论。例如,在审查包含交叉试验可能是适当的评估结果偏差的风险,因为有一个“冲刷”不足两个治疗期之间的时期
6。关注偏见的风险数据的审查而不是最初报道
有些论文报告试验结果,被认为是高危的偏见,它可能就会产生一个结果在低风险的偏见。例如,论文从分析不当排除某些病人可能报告对这些病人干预组和结果,以便省略参与者可以恢复
7所示。报告的特定风险评估结果的偏差
审判行为的某些方面(例如,随机分配是否隐藏当时参与者招募)适用于整个试验。然而,对于其他方面,偏见的风险本质上是特定于试验中不同的结果。例如,所有原因的死亡率可能通过联系确定死亡登记(低风险的偏见),虽然癌症复发的可能已经被医生评估了解分配的干预(高偏差的风险)
偏见的风险工具覆盖六域的偏见:选择偏见,偏见,性能检测偏差,摩擦偏见,报告的偏见和其他偏见。在每一个领域,评估是由一个或多个项目,这可能覆盖域的不同方面,或不同的结果。表1⇓显示推荐的项目列表。这些将更详细地讨论在附录在bmj.com上。
的每一项工具,偏见的风险评估是在两个部分。支持的判断提供了一个简洁的自由文本描述或总结的相关试验判断偏差的风险是基于特征,旨在确保透明度的判断是如何达到的。例如,项目的隐蔽随机分配序列将提供详细的措施,如果有的话,隐藏序列。这些描述的信息经常会发表的试验报告,但是这可能是来自一个从混合物中获得的试验报告、协议、发表评论《审判之间的联系和调查。支持已知事实的判断应该提供一个总结,包括逐字引用。应该说,这些信息的来源和在没有信息来作出判断,这应该是。
该工具的第二部分涉及到分配的判断高,低,或者不清楚每项材料偏差的风险。我们定义材料足够震级的偏差,偏差有显著影响试验的结果或结论,承认任何这样的主观判断。详细的标准偏差的风险做出判断从每个项目的工具是可用的科克伦手册。13如果不够详细报道发生在审判,判决通常会不清楚偏见的风险。判断不清楚风险也应该让如果知道什么发生在试验的相关风险的偏见还是示例中,如果参与者采取额外效果不明的药物由于他们意识到干预的任务。我们建议由至少两个人,独立判断是与任何差异通过讨论来解决在第一个实例。
一些物品的工具,如随机方法,只需要一个单一的评估每个试验包括在审查中。其他物品,如致盲和不完整的结果数据,两个或两个以上的评估可能会因为他们通常需要分别用于不同的结果(或相同的结果在不同的时间点)。然而,我们建议审查作者数量限制分组结果的示例中,使用的评估目的的主观或客观的评估结果评估或致盲的“患者在6个月报道”或“病人报告在12个月”的风险评估偏见由于不完整的结果数据。
评估初期实现
第(2008)版本的工具从这里提供一个稍微不同的。2008版没有归类偏见的六个域(选择性偏差、性能偏差等);只有一个炫目的评估;并表示偏见的风险格式”是的,”“不,”或“不清楚”(指缺乏风险)而不是低,高,或不清楚风险。初始版本的2010年评估发现广泛接受的偏见的风险工具的必要性,与共识,它代表了一个改进的方法之前推荐的协作或广泛用于系统评价。
焦点小组参与者指出,该工具需要更长的时间比先前的方法来完成。187年作者调查,88%超过10分钟完成了新工具,超过20分钟,44%和7%超过一个小时,但83%认为花费的时间接受。有共识,物品分类工具根据类别的偏见(选择性偏差、性能偏差等)将帮助用户,我们介绍这些。也有共识,炫目的评估应分为致盲的参与者和卫生专业人员(性能偏差)和眩目的结果评估(检测偏差),判断风险的措辞应改为低,风险高,不清楚。据报道领域最困难的评估偏差的风险是由于不完整的结果数据和选择性报告结果。有协议,改进培训材料和可用性工作的例子将增加偏见的质量和可靠性评估。
的评估
偏见的风险评估的结果可以在一个表,在判断中每个项目的每个试验提出了与他们的描述性的理由。表2⇓礼物的一个例子的风险偏差表一个试验包括在Cochrane审查的抗逆转录病毒药物治疗监测艾滋病毒感染者。14偏见的风险由于致盲和不完整的数据评估结果在所有结果包括在每一个研究中,而不是分别为不同的结果在某些情况下将会更合适。
呈现风险偏差表为每一个研究的回顾可以麻烦,和我们建议插图用于在主系统回顾总结了判断文档。这个数字⇓提供了一个示例。在这里,在审查判断适用于所有荟萃分析。另一种做法是为特定的荟萃分析来说明偏差的风险(或为特定的结果如果不进行统计综合),显示信息的比例低,来自研究不清楚,或高度风险的偏见中的每一项工具,在研究提供信息,结果。
总结评估偏差的风险
对整体风险得出结论的偏差内或跨试验需要在项目总结评估工具为每个在每个试验结果。在这样做,评论作者必须决定哪些领域最重要的评论,最好在写他们的协议。例如,对于高度主观的结果,如疼痛,炫目的参与者是至关重要的。总结的方式判断风险的偏见达到应该明确,应该根据经验证据的偏见存在,可能方向的偏差,和可能的偏见。表3⇓提供了一个建议的框架进行总结风险评估的偏差内重要成果和试验。
评估风险的偏见和合成的结果
总结评估的偏差的风险在每个试验都应该通知荟萃分析的结果。两个更好的分析策略限制主元分析研究低风险的偏见或目前的荟萃分析分层根据偏差的风险。这些策略之间的选择应该基于特定的上下文审查和潜在的偏见和损失之间的平衡精度的研究在高或不清楚风险的偏见被排除在外。多元回归可以用来比较的结果研究在高和低风险的偏见,但这种比较缺乏力量,15和缺乏显著性差异不应解释为暗示没有偏见。
第三个策略是目前所有研究的荟萃分析,同时提供一个总结的偏见的风险研究。然而,这可能偏见是淡化讨论和结论的审查,所以决定继续为基础,至少在某种程度上,有缺陷的证据。这种风险可以减少将总结评估纳入更广泛,但明确,措施的证据质量的每一个重要的结果,例如使用等级系统。16这可以帮助确保判断偏差的风险,以及其他证据的质量影响因素(如不精确、异质性和发表偏倚),被认为是在解释研究结果时还是劝告人们的评论。1718
讨论
之间的差异的结果,不同的系统评价研究相同的问题1920.和之间的荟萃分析和随后的大型试验21表明,荟萃分析的结果可以有偏见,这可能是部分的试验包括偏见造成的结果。我们相信我们的偏见的风险工具的最全面的方法来评估潜在的偏见在随机试验包含在系统评价和荟萃分析。的审判行为的细节,包括判断偏差为基础的风险,比先前的方法提供了更大的透明度,让读者决定是否同意这个判断。有持续的不确定性,和伟大的变化在实践中,对如何评估潜在的偏见在特定领域内试验,如何总结偏差评估跨等领域,以及如何把偏差评估融入荟萃分析。
最近的一项研究发现,该工具需要更长的时间比其他工具来完成(调查人员每人平均8.8分钟的一个预定的结果使用我们的工具相比,1.5分钟之前的报告质量评定量表)。22工具的可靠性还没有被广泛的研究,虽然相同的作者观察到较大的尺度效应观察平均研究评为偏见而研究高危低风险的偏见。22
通过显式地将判断纳入工具,我们承认评估之间的协议可能不如其他一些工具。然而,我们也明确目标偏差的风险而不是审判的报道特点。它会更容易评估是否退出率超过20%比21%的退出率是否引入了偏差的一个重要风险,但不能保证结果从一个研究退出率低于20%的低风险的偏见。初步证据显示,不完整的数据和选择性报告结果是最困难的项目评估;kappa措施的协议分别为0.32(公平)和0.13(轻微)已报告。22重要的是,指导和培训材料继续为所有方面的开发工具,尤其是这两个。
我们希望广泛采用和实施的风险倾向工具,内外Cochrane协作,将有利于改善评估证据的医疗决策者和病人并最终导致更好的医疗保健。改进的理解方式缺陷的审判行为偏差结果也可能导致更好的试验和更可靠的证据。偏见的风险评估应该继续发展,考虑任何新的经验证据和系统评价的作者的实际经验。
总结分
系统评价应仔细考虑潜在的局限性研究包括在内
Cochrane协作开发了一种新工具对风险评估偏差的随机试验
偏见的工具分离判断风险的描述支持这一判断,一系列的项目涵盖不同领域的偏见
笔记
引用这个:BMJ2011;343:d5928
脚注
贡献者:所有作者手稿的起草和编辑。JPTH, DGA PCG PJ, DM, ADO、kf和江淮的章Cochrane系统评价手册的干预措施基于本文。JPTH将作为担保人。
发展会议参与者(2005年5月):道格•奥特曼(联合),Gerd,克里斯·盖茨Jon Deeks彼得•Gøtzsche朱利安·希金斯(联合),莎莉霍普韦尔,彼得尤尼(组委会),Steff刘易斯,菲利帕米德尔顿(组委会),大卫·莫赫安迪·奥克斯曼肯·舒尔茨(组委会),南帝齐格弗里德,乔纳森•Sterne西蒙·汤普森。
其他贡献者工具开发:希尔达Bastian,蕾切尔Buchbinder,伊恩•查尔莫斯,米兰达Cumpston,莎莉绿色,彼得•Herbison Victor Montori汉娜Rothstein格鲁吉亚Salanti,圭多泽伊恩谢瑞尔,杰恩Tierney,伊恩白色和葆拉·威廉姆森。
评估会议参与者(2010年3月):道格•奥特曼(组委会),伊莱恩·贝尔莎莉Bell-Syer,雷切尔·丘吉尔,克里斯•盖茨6月科迪,乔纳森•库克基督教Gluud,朱利安·希金斯(组委会),莎莉霍普韦尔,海莉琼斯,彼得•Jűni莫妮卡Kjeldstrøm,托比•Lasserson Allyson Lipp,劳拉麦克斯韦,乔安妮·麦肯齐,克雷格•拉姆齐巴尼。里弗斯,伊莲娜Savović(联合),乔纳森·斯特恩(联合),大卫·Tovey劳拉·周(组委会)。
其他因素评估工具:伊莎贝尔Boutron大卫·莫赫(组委会),露西·特纳。
资金:偏见的风险工具的开发和评价的部分资金由Cochrane协作。在这篇文章中表达的观点不一定是作者和Cochrane协作或注册的实体,委员会或工作小组。JPTH也是由MRC格兰特U.1052.00.011数量。格兰特DGA是由英国癌症研究c - 5592。DM是由大学研究椅子(渥太华大学)。加拿大卫生研究院的研究提供金融支持Cochrane偏差方法组。
利益冲突:所有作者已经完成了ICJME统一披露形式www.icmje.org/coi_disclosure.pdf(可以在请求从相应的作者)和声明的支持Cochrane协作开发和评估工具的描述;他们没有金融关系可能有兴趣的任何组织提交的工作在前三年,没有其他关系或活动似乎已经影响了提交工作。
出处和同行评审:不是委托;外部同行评议。
这是一个开放分布式根据条创作共用署名非商业性的许可证,允许使用,分布,在任何介质,和繁殖提供了最初的工作是正确地引用,使用非商业,否则按照许可证。看到的:http://creativecommons.org/licenses/by-nc/2.0/和http://creativecommons.org/licenses/by-nc/2.0/legalcode。