rayyan -一个用于系统评论的网页和移动应用程序

出身背景

在系统综述中综合多个随机对照试验(rct)可以总结单个结果的影响，并提供有关干预有效性的数字答案。搜索的过滤是耗时的，而且没有一种方法能满足速度和准确性的主要要求。系统审查的自动化是由加快获得政策和临床决策的当前最佳证据的必要性所驱动的。

我们开发了Rayyan (http://rayyan.qcri.org)，这是一款免费的网页和手机应用，它帮助加快了对摘要和标题的初步筛选，使用半自动化的过程，并结合了高水平的可用性。在beta测试阶段，我们使用了两篇发表的Cochrane综述，其中包括手工选择的研究。他们的搜索结果(1030条记录和273条记录)被上传到Rayyan。我们使用这两篇评论测试了Rayyan的不同功能。我们还对Rayyan的用户进行了调查，并通过内置功能收集了反馈。

结果

Rayyan的试点测试侧重于可用性、相对于手工方法的准确性，以及预测特性的附加价值。“品尝者”评审(273条记录)允许快速概述Rayyan的早期可用性评论。第二次审查(1030项记录)需要多次迭代，以确定之前确定的11项试验。基于“预测模型”的“建议”和“提示”出现在超过五项研究的测试中。推出后的用户体验和开发人员的反射性响应使实时修改和改进成为可能。受访者表示，与其他工具相比，使用Rayyan平均节省了40%的时间，34%的受访者表示节省了50%以上的时间。此外，约75%的受访者提到筛选和标记研究以及合作评审是Rayyan最重要的两个特点。

截至2016年11月，Rayyan用户超过2000人，来自60多个国家，进行了数百次评论，总计超过160万次引文。来自用户的反馈(主要是通过应用网站和最近的调查获得的)突显了搜索探索的便捷性、节省的时间以及分享和比较包括-排除决定的简单性。这款应用最强大的功能是帮助用户进行筛选和协作，以及为用户节省时间。

结论

Rayyan在使用中反应灵敏且直观，有可能减轻评论者的负担。

随机对照试验(rct)在医学研究中发挥着关键作用，被广泛认为是获得真正能增加我们对治疗有效性知识的结果的最佳方式[1.］.尽管对指导医疗决策的随机对照试验的要求越来越高，但在一个系统综述中综合多个随机对照试验的结果，可以总结它们各自结果的影响，并提供关于特定干预有效性的数字答案。

系统综述是对医学文献的总结，它使用明确的方法系统地搜索、批判性地评价和综合特定主题的数据。由于需要严格地进行有系统的审查，因此为审查工作制定了一个正式的程序。这一过程明确指定了确定主要研究的步骤，以及用于评估其方法学质量的方法，数据提取的方式，以及用于综合和报告该数据的统计技术[2.］.通过记录在整个审查过程中所作出的包括或排除研究的所有决定，可以确保透明度和重现性。

鉴定研究：总体目标是确保文献的详尽审查，尽可能综合列出，并被视为与回答研究问题相关的出版和未发表的初步研究。

通过搜索合格研究而产生的引文数量将取决于多种因素，尤其是涉及临床主题某些固有方面的因素。因此，长期广泛使用的临床干预可能需要大量研究的支持，在许多情况下s可能包含大量研究，其中一些可能追溯到20多年前。其他可能的促成因素包括临床医生、医疗政策制定者和媒体对该主题的相对“兴趣”，甚至可能包括制药行业潜在的“既得利益”。

虽然在某些情况下，对系统评价试验的初始搜索可能会识别多达1000条引文，甚至可能超过1000条引文，但这在一定程度上取决于用于搜索单个数据库的搜索策略的敏感性和特异性水平。虽然很难概括参考文献的数量研究可能以平均产量进行，但对于许多临床课题而言，至少100项研究并不是一个不合理的数字。

识别潜在的合格研究:进行系统审查最耗时的方面之一是对搜索结果的引用进行初步过滤或筛选，特别是如果这些引用的数量在数百甚至数千个。系统综述作者使用各种电子或手工方法来完成这项任务，无论如何都必须由合著者进行双重检查，以确保所有可能合格的研究和那些需要进一步全文评估的研究已经被确定。此外，对纳入或排除研究的决定进行跟踪，并在PRISMA流程图中报告这些判断，对所有Cochrane评论都是强制性的，现在越来越多地在其他系统评论中进行，因为这成为更广泛接受的稿件发表的先决条件[3.］.此外，评审作者对这些决策的全面文档确保了选择过程的透明度、清晰性和可追溯性，并最终加强了完成的系统评审的健壮性。

识别和选择研究可能是具有挑战性的和非常繁琐的，和许多方法使用的评论作者，以促进这一过程。这可以手工完成，即简单地使用不同颜色的文本标记在搜索文件的打印副本中“高亮显示”它们，也可以通过电子方式在搜索文件的电子副本中使用文本高亮显示功能。替代方法包括使用诸如EndNote或Reference Manager之类的软件，如果它们对评审作者可用的话。没有一种单一的方法能令人满意地满足所有主要要求的速度，准确性，和简单的使用，每一种都有其优点，缺点和追随者。

对系统审查自动化的兴趣是由加快提供当前政策和临床决策的最佳证据的必要性驱动的，同时与技术相结合，使审查作者能够将重点转向他们最擅长的方面[4］.越来越多的项目正在进行中，它们专注于系统评审过程的各个部分的自动化，尽管已经开发了一些工具和软件，但到目前为止，它们没有一个跨越评审生产的整个过程[5］.

尽管开发人员在自动化和集成工作流中的多个步骤方面所面临的挑战似乎是不可克服的，但最近的技术进步已经帮助克服了其中一些障碍[6］.然而，准确性和效率不应以牺牲速度为代价，而应将灵活性(与个人用户可定制性的潜力相一致)内置到工具中，以允许各种用户创建和使用不同的基于个人偏好的界面。自动化还应针对几个关键领域，如探索增强用户界面和用户体验的方法，开发确保充分工作流支持的系统，以及促进机器学习和数据/文本挖掘的进一步发展。

系统评审的自动化过程继续呈现出一些额外的挑战，因为许多工具是作为独立软件独立开发的，并且往往与其他工具不兼容[5］.在某些情况下，没有进行适当的可靠性和功能测试，并且有些工具不再由开发人员维护，或者对于普通用户来说过于昂贵。此外，目前可用的一些工具需要比许多评审作者更高的技术水平，还涉及陡峭的学习曲线和复杂程度，如果不经常使用，可能需要重复学习/再学习阶段。所有这些挑战表明，现有的系统审查自动化环境是多么不令人满意。Rayyan的开发人员希望通过直接与系统评审人员合作，同时持续考虑用户反馈，来解决这些挑战，提供综合解决方案。

目标

Rayyan (http://rayyan.qcri.org)是专门为加快摘要和标题的初步筛选而开发的，采用一种半自动化的过程，但有一个明确的目标，即纳入与广泛的潜在用户的技能相适应的可用性水平。Rayyan应用开发者从一开始的目标就是尝试和规避现有工具所面临的一些复杂性和挑战。虽然我们的最终目标是支持整个系统审查过程，但我们最初的重点是促进抽象/标题筛选和协作，以及围绕它们的其他支持功能。因此，开发的重点是创建内置的用户自定义和部分自定义界面，这将确保Rayyan在使用上非常直观，并对所有技能水平的用户友好。我们在这里提供一个Rayyan开发过程的例外案例报告，Rayyan是一款用于快速探索和筛选适合进行系统评价的研究搜索的应用程序。

有一个识别的开发人员需要一个工具,将满足需求广泛的审查作者的各种各样的能力和技能,特别是一个将允许快速和可靠的勘探和共享的搜索结果,但没有技术繁琐。因此，与经验丰富的Cochrane系统综述作者(ZF)的合作对开发过程至关重要，ZF曾与大量具有不同水平经验的合著者广泛合作。

该应用程序在发布前进行了试点测试，并在随后接受了来自全球各地各种技能水平和能力的广泛用户的广泛评估。通过分享用户体验，以及开发者对用户不断变化的“愿望列表”的响应，能够实时、渐进地进行修改和改进，所有这些都被证明是Rayyan开发过程中高效、有效的合作。

概述和架构

Rayyan构建在基于云的多层面向服务的弹性架构之上(图。1.）.Rayyan的可扩展性是由这种基于云的架构支撑的，这使得它可以在高峰时期进行相应的扩展，随着用户数量的增长，他们会创建更多的评论，上传更多的引用。此外，Rayyan有时可能在积极处理数十个用户的数据，有时只是处于闲置状态。基于云的架构使其能够根据需要扩展或收缩硬件资源。因此，它在空闲时间是具有成本效益的，不需要为未使用的资源产生成本，同时在繁忙时间可以很容易地横向扩展。部分资源只能手动伸缩，这意味着Rayyan管理员需要根据需要对资源进行升级，例如，增加数据库存储需求、推送通知量和电子邮件消息量。其他资源可以自动伸缩，以经济有效的方式支持适当的流量，而不会牺牲性能。这适用于web服务器和后台工作人员。

Rayyan本身是用流行的开源框架Ruby on Rails编写的[7，在Heroku上运行[8这是一个基于云托管的亚马逊网络服务的平台即服务。它与其他云服务集成，以满足不同层次的需求。这些服务的例子有Heroku Postgres [9用于SQL数据库管理;Logentries [10]用于中央日志记录、标记和警报;NewRelic [11用于应用分析、健康监测和警报;推杆式(12]用于实时推送通知;和hirefire [13用于根据加载情况自动缩放应用程序。

工作流和用户体验

登录Rayyan后，用户会看到一个显示他们当前评论的仪表盘。2.）.他们可以创建一个新的评审，也可以继续现有的评审。对于每一篇评论，他们上传一个或多个引用文件从搜索不同的数据库。Rayyan支持几种标准格式，如RefMan RIS和EndNote。首先，Rayyan对引文文件进行处理，为引文文件中的每一篇文章或研究提取不同的元数据，如标题、作者，并计算其他元数据，如文章的MeSH术语和语言。然后这些将填充复查工作台中的方面(图。3.)，以协助探索和筛选研究。MeSH术语被呈现为一个词云，允许用户快速掌握研究中呈现的主要主题。此外，用户可以根据两个预定义的关键字列表来过滤研究，这两个关键字最有可能提示包括或排除一个研究。用户还可以通过删除和添加关键字来修改这两个列表，从而在标记和选择研究方面提供更大的灵活性。Rayyan使用从EMBASE项目中获得的两个列表进行播种，以过滤rct [14］.

用户还可以对他们的引用进行标签，并定义他们个人的排除理由，这有助于分享和跟踪这些决定。引文可以通过相似图(图。4)其中引用被表示为图中的节点，并根据它们在标题和摘要内容以及普通作者方面的相似程度（使用编辑距离）进行聚类。可以为每个属性（即标题、摘要和作者）以及总体阈值独立调整相似阈值。

Rayyan移动应用程序

通过这款手机应用，用户可以查看他们已经从网页应用上传的评论。最显著的功能是离线使用这款应用。用户首先在线下载整个评论，然后在没有网络连接的情况下继续工作，一旦连接上，应用程序将自动同步回Rayyan服务器。

预测纳入和排除的研究

Rayyan应用程序的一个重要功能是，它能够从用户的决定中了解是否纳入或排除研究，然后利用这些研究建立一个模型，为等待筛选的研究提供建议。更具体地说，在去掉标题和摘要中的停止词并截取其余词后，Rayyan提取了所有的词(unigrams)和词对(成对)以及之前计算的MeSH terms。然后支持向量机(SVM)分类器使用这些特征[15］.当用户将研究的引文标注为被排除或被包含时，Rayyan调用SVM分类器，SVM分类器学习被排除和被包含的引文的特征，并据此建立模型或分类器。然后分类器对等待标记的引用运行，并输出每个研究匹配包含和排除类的程度的分数。然后，这个分数会变成一个五星评级，呈现给用户。当用户继续标注更多的引文时，如果Rayyan认为它可以提高预测质量，那么它就会使用这些新的标注例子来生成一个新的模型，然后在剩余的未标注的引文上运行。这个过程不断重复，直到没有更多的引用可以标注，或者模型无法进一步改进为止。

评估预测算法

为了测试Rayyan的SVM分类器的质量，我们在[16].在本研究中，为15个审查主题中的每一个建立了测试集合（表1）1.）由俄勒冈州EPC，南加州EPC，以及北卡罗来纳大学（RTI / UNC）EPC进行的俄勒冈EPC进行。对于每次审查，我们知道所有文章以及包含/排除的内容。包括的文章的比例范围为0.5至21.7％，含有3465项研究的最大综述和最小的310。

采用双重交叉验证，50%的数据用于培训，50%用于测试。这个过程重复了十次，结果是平均的。使用AUC和WSS@95两个指标来评价分类器的质量。当我们改变分类器使用的阈值时，通过绘制真实阳性率与假阳性率的图表，可以得到ROC(接收者工作特征)曲线。AUC简写为曲线下的面积;1.0是满分，0.5相当于随机排序。在0.95召回(WSS@95)的随机抽样中保存的工作，在[16，指的是与随机抽样相比，被分类器以0.95的召回率筛选出来，因此审查员不需要通过的研究的百分比。\（{\ text {wss}} = \ frac {{\ text {tn}} + {\ text {fn}}} {n} - （1 - {\ text {recall}}）TN是真正的否定数量，FN是假底片的数量，以及N是数据集中实例的总数。回忆是指对积极课堂(包括研究)的回忆。结果:AUC=0.87±0.09,WSS@95=0.49±0.18。49%的结果很重要，因为它表明Rayyan可以帮助使用自动预测节省时间。虽然这些结果说明了预测功能节省了可观的时间，但重要的是要记住，Rayyan提供了更多的时间节省，因为所有方面、过滤功能和视觉提示，有助于加快筛选过程。

试点测试Rayyan

试验测试需要早期评估应用程序中内置的功能的两个特定方面。在首先和可能考虑任何进一步的发展之前，在任何进一步的发展之前都是评估如何准确地与在几个Cochrane评论中使用的手动方法进行准确的雷西进行。同样重要的是，在这种发展过程的这种阶段，必须为开发商提供“预测”特征的潜在增加的益处的早期概述。

2013年12月，两篇由ZF撰写并发表的Cochrane评论被用于该应用的初步测试[17,18］.这两篇评论的搜索结果(可用MS Word文档)提供了273篇和1030篇独立研究的参考文献。由于这些系统综述已经发表，纳入和排除研究的最终选择以前是使用“手动”方法(MS Word文档中的电子高亮标记)进行的，而选择过程的综合结果已在发表的Cochrane综述中报道。在整个选择过程的每个阶段的决策跟踪，包括排除原因和作者之间的协议和分歧，已在MS Word文档中进行了注释，关键细节已在发表的Cochrane综述的PRISMA流程图中报告。

测试阶段开始时，开发人员(HH/MO)在Rayyan中为每个Cochrane评论创建单独的文件夹，然后上传每个评论的相应搜索结果。开发者(HH)向测试者(ZF)提供访问网站的权限(用户名/密码)以及应用功能介绍。虽然测试人员已经知道选择过程的“结果”，因此实验在技术上并不“盲目”，在这个阶段，对搜索和结果的熟悉可以让你快速浏览应用的外观和感觉，并让测试人员对应用的功能进行早期评论，然后开发团队可以主动处理这些评论。

第一个和较小的“测试”Cochrane系统综述(273个记录)最近已经更新，新的搜索和确定的研究已经包括在最新出版的Cochrane综述版本中。这些对更新的额外搜索随后被上传到Rayyan中，合并后的搜索将通过应用程序进行进一步评估，但这是在前一批搜索进行预测试后进行的。这是Cochrane系统回顾主要用作“品酒师”允许测试人员熟悉程序,允许勘探的选项可用于识别、选择和标记的引用使用包括/排除/ Undecide“按钮”,并进一步注释排除如果合适的理由。所有特别的反应和评论由测试人员和用户在早期发展阶段实时传播通过“发送消息”功能的应用程序,这些请求由开发人员可以在同时行动,然后重新评估进一步的测试人员作为一个迭代过程的一部分。

在第二次Cochrane评论（1030条记录）上测试Rayyan应用程序需要几次尝试确定在进行系统审查过程中使用“手动”方法以前由Cochrane审查作者选择的11项试验。考虑到众多的引文，这一部分的测试阶段证明了更实质性的，并且还因为它寻求评估预测特征的附加值，即“建议”和“提示”。这些引用是基于文本和措辞中的近乎匹配的相似性的明星评价（1到5星），并为测试人员提供了潜在的符合条件的研究，以进一步审议，以期望这将有助于加快选择过程。

测试人员的评论

测试人员最初的评价表明，总体来说，这款应用使用起来相对容易，易于导航，直观，没有“帮助”功能的要求。然而，这个选项被认为是一个可能的附加功能，但这将取决于更多用户群体对Rayyan应用的进一步“独立”和更广泛的测试。

测试人员确定了许多关键的积极特性，就像在开发过程的早期阶段确实需要额外关注的一些领域一样。特别提到了“未决定/包括/排除”选择选项的即时可见性，它们是一键可用的，允许快速标记研究，这些选择清楚地显示，易于获取，并在选择时立即响应。在“原因”中特别提到了下拉选项(见图)。5)允许选择一个或多个一般和常用的原因来排除研究，即“错误的人群/错误的出版物类型/错误的研究设计”，但可以添加其他“自我生成”现有预定义列表的原因。通过纳入决定或作出决定的合作作者过滤参考文献的能力提供了对研究资格潜在分歧的即时概述，可随后讨论和解决（见图。6）.在研究中快速可视化累积总数的能力被排除或包括，可用于限制的标记研究的文字显示被认为是增值函数。主题总结词“云”也被指出，它提供了一个非常实用和图形化的指标，表明了通过关键词识别的研究总数，以及与“云”中文本的字体大小相关的研究数量。

如果研究摘要不是以综述作者的母语发表的，那么在对研究进行纳入评估之前，翻译研究摘要是必要的。Rayyan的一个独特的特性包括选项能够提出一个直接链接到应用程序中的特定参考一位选择的翻译可以翻译文本或抽象和响应的部分粘贴下面的翻译直接研究应用中参考。轻松,直接能够这样做的好处在初始测试阶段也强调了Rayyan内部和来自Rayyan的内容。有人还指出，在早期测试阶段，一些引用的引文是不完整的，在某些情况下，这些细节被一系列问号代替。这个错误被开发人员检查过，认为是由于文件上传至Rayyan时出现的格式错误，这种错误很容易识别，通常不代表大量的引用。

来自用户的评价强调了搜索探索可以轻松完成，节省大量时间，能够轻松分享和比较个人作者的决定是否包括或排除研究的相对简单和满意度。

推出后加入的其他功能

突出显示文本，以实现重要关键词的快速识别，例如，开发人员考虑了试验和随机安慰剂，并作为“亮点”按钮添加。盲目和独立的研究选择是审查过程的关键方面，并通过请求添加了能够隐藏包括研究的决定的选择。

推出后的用户数据

Rayyan吸引了全球范围内大量分布良好的用户的极大兴趣。截至2016年11月，已有来自60多个国家的2000多名用户。这些用户对总共160多万篇引文进行了数百次评论，单个评论的大小从10篇到3.8万篇以上。

研讨会、演示和用户反馈

2014/2015年出现了几次向全球研究界揭幕Rayyan的机会，其中包括在海得拉巴Cochrane座谈会（2014年）、牛津现场证据（2015年）和维也纳Cochrane座谈会（2015年）上举办的研讨会。根据与会者的反馈和建议，这些展会允许进一步开发和整合若干新功能。我们还有另外两个渠道，用户可以通过这两个渠道向我们提供反馈，一个内置在网站中的功能和用户可以随时进行的调查（到目前为止，66名受访者）.从所有这些反馈渠道来看，该应用程序最强大的功能是其功能，即以清晰明确的方式，可以在上下文中查看研究以及完成的选择，以及如何将“未决定”的研究反馈到系统中，然后将其突出显示为“提示”从调查中，有两个重要的亮点与Rayyan的时间节省和最重要的功能有关。我们的用户报告说，与其他工具相比，使用Rayyan平均节省了40%的时间，37%的受访者报告节省了50%以上的时间。在第二部分，约75%的受访者提到筛查和labe研究和合作评论是Rayyan最重要的两个特征。

未来的发展

根据此处报告的试点研究以及与审查作者的不同互动，计划增加几个新功能。最终目标是支持机器学习，数据/文本挖掘和信息提取技术以及良好的软件工程最佳实践的大部分审查过程可以提供明显可辨别的质量，加上速度，以方便审查员在创建和创建过程中的努力更新系统评论。计划扩展的键方面包括以下内容：

• 更好的副本检测和用户指导的流程来处理这些副本。

• 偏倚风险评估，最初侧重于Cochrane定义的基于领域的标准，包括从全文文章中识别和提取支持句。用户将能够验证这些自动判断，并使用自己的评估对全文进行注释。

• 自动提取与PICO和其他数据元素相关的值或文本。同样，用户将能够验证提取的信息并注释全文以提取更多元素。

• 扩展Rayyan API，使其他软件平台可以通过简单的REST调用使用Rayyan的特性。

Rayyan已经被证明是一个非常有用的应用程序，通过加快筛选纳入综述的研究的繁琐过程，它有极大的潜力减轻系统综述作者的负担。对15篇评论的实验表明，Rayyan中嵌入的预测可以减少文章筛选的时间。此外，我们的调查显示，与他们过去使用的其他工具相比，我们的用户报告平均节省了40%的时间。与其他竞争对手相比，Rayyan的两个最重要的功能是帮助筛选摘要和标题，以及在同一评论中进行协作。将Rayyan系统与其他系统进行全面比较需要进行更多的研究，特别是那些建立在之前几份报告之上的研究[6,19］.这些已经被我们的调查和许多用户的评价所证实。Rayyan将受益于一些改进，包括更好地处理重复，自动从全文中提取数据，自动偏倚分析风险，以及与Review Manager (RevMan)的无缝集成，Review Manager是Cochrane用于准备和维护Cochrane评论的软件。

Rayyan可以免费在http://rayyan.qcri.org由卡塔尔州的非营利组织卡塔尔基金会资助。

不适用。

基金

这项工作完全由卡塔尔国的一个非营利性组织卡塔尔基金会资助。

数据和材料的可用性

不适用。

作者的贡献

MO和HH设计并与ZF共同起草了手稿。ZF提供了系统的审查内容监督，并领导了手稿中提到的测试。MO、HH和AE是Rayyan项目的技术主管。所有作者阅读并批准了最终的手稿。

竞争利益

两位作者宣称他们没有相互竞争的利益。

同意出版

不适用。

从属关系

1. 卡塔尔计算研究所，HBKU，多哈，卡塔尔

   Mourad Ouzzani, Hossam Hammady和Ahmed Elmagarmid

2. 科克伦巴林，阿瓦利，巴林

   Zbys Fedorowicz

相应的作者

给Mourad Ouzzani的信件。

188滚球软件本文遵循知识共享署名4.0国际许可协议(http://creativecommons.org/licenses/by/4.0/)，它允许在任何媒体上无限制地使用、分发和复制，前提是你给予原作者和来源适当的荣誉，提供一个到知识共享许可协议的链接，并指出是否作出了更改。创作共用及公共领域专用豁免书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本条提供的数据，除非另有说明。

重印和权限