系统综述中必须对纳入原始研究进行质量评估,采用严密的质量评估程序评价纳入研究真实性为一篇系统综述的最核心部分。Cochrane 偏倚风险评估工具(Cochrane collaboration’s tool for assessing
risk of bias)是当前循证医学领域最通用的偏倚风险评估工具之一,主要适用于随机对照试验(RCT)研究。由Cochrane协作网于2005年开始研发,2008年正式发布第一版,2011年进行了修订,并在2016年发布了目前仍在改进的第二个版本。Cochrane偏倚风险评价工具由Cochrane手册推荐,从选择偏倚、实施偏倚、测量偏倚、随访偏倚、报告偏倚和其他偏倚这6 个方面总计7 个条目对偏倚风险进行评价。对每个条目依据偏倚风险评估准则做出“低偏倚风险”、“高偏倚风险”和“不清楚”的判定结果。详见表1。
表1 Cochrane 偏倚风险评估工具
领域 |
内容 |
评价结果 |
选择偏倚(selection bias) |
随机序列产生 |
低偏倚风险、高偏倚风险、不清楚 |
分配隐藏 |
低偏倚风险、高偏倚风险、不清楚 |
|
实施偏倚(performance bias) |
对研究对象及干预实施者采取盲法 |
低偏倚风险、高偏倚风险、不清楚 |
测量偏倚(detection bias) |
对结果测评者采取盲法 |
低偏倚风险、高偏倚风险、不清楚 |
失访偏倚(attrition bias) |
结果数据不完整 |
低偏倚风险、高偏倚风险、不清楚 |
报告偏倚(reporting bias) |
选择性报告结果 |
低偏倚风险、高偏倚风险、不清楚 |
其他偏倚 |
其他偏倚来源 |
低偏倚风险、高偏倚风险、不清楚 |
文献质量评价要求对偏倚风险的高低进行划分,“低偏倚风险”指存在偏倚不可能严重影响研究结果,“高偏倚风险”指偏倚严重削弱了结果的可信度,表2介绍了偏倚风险的评价标准。
表2 偏倚风险评估工具的偏倚风险评价标准
条码 |
定义 |
判断标准 |
||
低偏倚风险 |
高偏倚风险 |
不清楚 |
||
随机序列产生 |
随机序列的方法不恰当导致的选择性偏倚(干预措施分配偏倚) |
研究者在序列产生过程中描述了随机的方法,如:随机数字表、计算机产生随机数字、抛硬币法、洗牌或信封、掷骰子、抽签法、最小化法等 |
研究者在序列产生过程中描述了非随机的方法,如 ·根据生日的奇数或偶数产生分配序列由入院日期(或天数)产生 ·由住院或就诊号码产生 ·根据临床医师的判断分配或根据病人意愿分配 ·基于实验室结果或一系列检查结果分配 ·根据干预措施的有效性分配 |
序列产生的信息不详,难以判断是“低风险”还是“高风险” |
分配隐藏 |
由于随访分配方案隐藏不完善导致的选择性偏倚(干预措施分配偏倚) |
受试者或招募受试者的研究人员不能预知分配情况,因为采用以下原因或者等效的方法来隐藏随机分配方案: ·中心分配(电话、网站和药房控制随机) ·外形相同且有序的药物容器 ·有序的、不透光的密封信封 |
受试者或招募受试者的研究人员可能会预知分配情况而导致选择性偏倚,如: ·运用开放性随机分配表(如随机数字表) ·信封缺乏恰当的保护(即信封不是密封的,或不是有序的,或是透明的) ·交替或轮流分配 ·出生日期 ·病例号 ·其他明确不能隐藏的方法 |
无充分信息判断。通常是隐藏的方法没描述或者没充分的描述而不能给出明确的判断,如,描述了使用信封分配,但不确定是否按顺序编号,是否透明,是否密封等。 |
对病人、试验人员实施盲法 |
研究中干预措施的分配情况被受试者及试验人员知晓导致的实施偏倚 |
存在以下任一项: ·未采用盲法或盲法不完善,结果判断或测量不太可能受到影响 ·对结局测量者实施盲法,但该盲法不太可能被破坏 |
存在以下任一项: ·未采用盲法或盲法不完善,结果判断或测量很可能受到影响 ·对结局测量者实施盲法,但该盲法可能被破坏 |
存在以下任一项: · 无充分信息判断为“是”或“否” · 研究中没有报告该结局指标 |
对结局评估者实施盲法 |
因结局评价者知道干预措施分组情况导致的实施偏倚
|
存在以下任一项: ·未实施盲法,但系统评价员判断结局测量不会受到未施盲法的影响 ·对结局测量者实施盲法,且盲法不会被破坏 |
存在以下任一项: ·未采用盲法或盲法不完善,结果判断或测量会受到影响 ·对结局测量者实施盲法,但该盲法可能被破坏 |
存在以下任一项: · 无充分信息判断为“是”或“否” · 研究中没有报告该结局指标 |
结果数据不完整 |
由于不完整结果数据的数量、种类及处理导致的随访偏倚 |
存在以下任一项: ·无缺失数据 ·缺失数据不影响结果分析(如生存分析中的缺失值) ·组间缺失的人数和原因相似 ·对二分类数据,缺失数据的比例与观察到的事件相比,不足以严重影响干预措施效应值 ·对于连续性变量数据,缺失数据的效应值(均数差值或标准化均数差值)不足以严重影响观察到的效应值 ·采用恰当的方法处理了缺失数据 |
存在以下任一项: ·组间缺失的人数和原因不平衡 ·对于二分类数据,缺失数据的比例与观察到的事件相比,足以影响干预措施效应值 ·对于连续性变量数据,缺失数据的效应值(均数差值或标准化均数差值)足以影响观察到的效应值 ·采用“as-treated”分析,但改变随机分配的干预措施的人数较多不恰当的方法处理缺失数据
|
存在以下任一项: · 信息不全,难以判断数据是否完整(如缺失人数或原因未报告) · 研究未提及完整性的问题 |
选择性报告 |
由于选择性报告结果导致的报告偏倚 |
存在以下任一项: ·有研究计划书,且系统评价均按预定的方式报告了所有预定的结局指标(主要和次要结局) ·无研究计划书,但发表的研究报告中所有期望的结局(包括了预定的结局)均已报告,包括那些预先设定的(有说服力的文本较少见) |
存在以下任一项: ·未报告所有预先指定的主要结局指标 ·报告的一个或多个主要结局指标采用预先未指定的测量、数据分析方法或数据子集(如子量表) ·报告的一个或多个主要结局指标未预先设定(除非证实报告它们是必须的,如没有预料到的不良反应) ·系统评价关心的一个或多个结局指标报告不完善,以致不能纳入行meta分析 ·未报告重要的结局指标 |
信息不全,难以判断是否存在选择性报告结果的风险。可能大部分的研究会判断为这种类别 |
其他偏倚
|
该表格其他地方未包含的偏倚 |
研究无其他偏倚来源 |
至少有一个重要的偏倚风险。如:该研究 ·有与特殊研究设计有关的潜在偏倚 ·声明有造假行为 ·一些其他问题 |
可能存在偏倚风险,也可能是其他 ·没有充分的信息判断是否存在重要偏倚风险、 ·无充分理由或证据证明这个问题可以导致偏倚 |
参考文献
1. Cochrane risk of biastool:https://methods.cochrane.org/bias/assessing-risk-bias-included-
studies.
2. Cochrane干预措施系统评价手册.
AGREE Ⅱ
英国AGREE国际协作组织由国际医学、流行病学专家组成,期望通过建立一个可以共享的、关于指导指南撰写、应用及评估的框架体系,以提高指南的质量和临床适用性,“AGREE”体系随之诞生。开发指南研究和评估工具(The Appraisal of Guidelines for Research & Evaluation ,AGREE)的目的是帮助评估说明各指南的质量差别,因此,AGREE可以被看作是一个评估指南开发方法是否严谨和透明的工具。
AGREE协作网于2003年制定并发布了指南研究与评价工具,并将指南的质量定义为“对指南制定的潜在偏倚得以充分考虑,以及对指南推荐意见具有内部真实性、外部真实性和实施可行性的信心”。为进一步提高AGREE的科学性及可行性,由AGREE协作网的部分成员组建的AGREE Next Steps 协会对AGREE工具开展了修订工作,并于2009年发布了AGREEⅡ。AGREE II 评估系统可以用来评价地方、国家、国 组织或联合政府组织发布的指南,无论是已经存在的、新发表的或是新更新的指南。 AGREE II 评估系统具有通用性,其适用对象包括卫生保健提供者、指南制定者、卫生决策者和相关教育工作者,且适用于一切卫生保健环节中任何疾病领域, 包括诊断、健康促进、治疗或干预。
AGREE II评估系统包括6个领域23个主要条目,以及2个总体评估条目。每个领域针对指南质量评价的一个特定问题。所有条目均按下列7分等级量表进行评分:如果没有与AGREE II条目相关的信息或者报告的概念非常差,则为1分(很不同意);如果报告的质量很高,满足用户手册要求的所有标准和条件,则为7分(很同意)。2-6分代表指南不完全符合该条目,得分越高说明该条目符合程度越高。AGREE II 条目见下表:
领域 |
项目 |
范围和目的 |
1.明确描述指南的总目的 |
|
2.明确描述指南涵盖的卫生问题 |
|
3.明确描述指南的适用人群(患者、公众等) |
参与人员 |
4.指南开发组织包括来自于所有相关专业组织的个人 |
|
5.收集目标人群(患者和公众)的观点和选择意愿 |
|
6.明确规定指南的使用者 |
严谨性 |
7.应用系统方法检索证据 |
|
8.清楚描述选择证据的标准 |
|
9.清楚描述证据的强度和局限性 |
|
10.清楚描述形成推荐建议的方法 |
|
11.形成推荐建议时虑了对健康的益处,副作用和危险 |
|
12.在推荐建议和支持证据之间有清楚联系 |
|
13.指南在发布前经过专家的外部评审 |
|
14.提供指南更新的步骤 |
清晰性 |
15.推荐建议明确、不含糊 |
|
16.明确列出不同的选择或卫生问题 |
|
17.容易识别主要的推荐建议 |
应用性 |
18.指南描述了应用时的促进和阻碍因素 |
|
19.指南提供应用推荐建议的意见和/或工具 |
|
20.指南考虑了推荐建议应用中可能需要的相关资源 |
|
21.指南提供监视和/或审计的标准 |
独立性 |
22赞助单位的观点不影响指南内容 |
|
23.记录并公示指南开发组织成员的利益冲突 |
参考文献
1. 韦当,王聪尧,肖晓娟,陈耀龙,姚亮,梁富翔,王琪,杨克虎.指南研究与评价(AGREEⅡ)工具实例解读[J]. 中国循证儿科杂志,2013,8(4):316-319.
2. About the AGREE Next Steps Consortium. http: //www.agreetrust.org/about-agree/ agree-research-teams/ agree-next-steps-consortium/. 2013-05-21
3. AGREE Collaboration. Development and validation of an international appraisal instrument for assessing the quality of clinical practice guidelines: the AGREE project. Qual Saf Health Care, 2003,12(1):18-23.
4. AGREE II: Advancing the guideline development, reporting and evaluation in healthcare. Parallel publications in progress