Abstract | Uvod: Važan dio metodologije sustavnog pregleda je procjena rizika od pristranosti (engl. risk of
bias; RoB) u uključenim istraživanjima. Cochraneovi sustavni pregledi (CSP) smatraju se zlatnim
standardom u pogledu metodologije sustavnog pregleda, ali Cochraneove upute za procjenu nekih
domena rizika od pristranosti nejasne su, što može dovesti do nedosljednosti u procjenama autora.
Cilj ove doktorske disertacije je bio kroz provedbu tri istraživanja analizirati dosljednost ocjena i
pripadajućih objašnjenja za domene gubitka ispitanika (engl. attrition bias) te ostalih izvora od
pristranosti (engl. other bias), kao i rabe li autori CSP-ova procjenu ukupnog rizika od pristranosti
(engl. overall bias) te na osnovi nje i analizu osjetljivosti (engl. sensitivity analysis) u sustavnim
pregledima o intervencijama objavljenima u Cochraneovoj bazi podataka sustavnih pregleda.
Metode: Analizirani su svi CSP-ovi o intervencijama objavljeni od srpnja 2015. do lipnja 2016.
godine koji su uključili randomizirane kontrolirane pokuse, a u trećem istraživanju CSP-ovi
objavljeni od srpnja 2015. do lipnja 2018. godine. Izvađeni su podatci o broju uključenih
istraživanja, ocjenama za domene gubitka ispitanika i ostalih izvora pristranosti (nizak, nejasan ili
visok) te pripadajuća objašnjenja. Ocijenjeno je koliko CSP-ova ima različite ocjene za isto
pripadajuće objašnjenje. Analizirani su podatci o metodama procjene ukupnog rizika od
pristranosti za cijelo istraživanje kao i detalji o metodama koje se rabe za izradu analiza
osjetljivosti na temelju RoB-a. Korištena je deskriptivna statistika.
Rezultati: Prvo istraživanje: U glavnu analizu uključene su 10292 ocjene i pripadajuća
objašnjenja za pristranost zbog gubitka ispitanika iz 729 CSP-ova. Pripadajuća objašnjenja za te
ocjene razvrstane su u četiri kategorije i utvrđeno je da je većina objašnjenja bila nejasna. Brojčani
pokazatelji postotka gubitka ispitanika kao i korištene statističke metode su ocjenjivane vrlo
različito. Jedna trećina autora CSP-ova je imala više od jedne kategorije pripadajućih objašnjenja; neki su imali do četiri različite kategorije. Pronađene su nedosljednosti čak i s brojem ocjena,
imenima ove domene i različitim ocjenama za ista pripadajuća objašnjenja u istom CSP-u. Drugo
istraživanje: Analizirano je 768 CSP-ova koji su uključivali 11369 randomiziranih kontroliranih
pokusa (RCT). Bilo je 602 (78%) CSP-a koji su imali domenu „ostalih izvora pristranosti“ u RoB
alatu, a uključivale su ukupno 7811 RCT-ova. U RoB tablici 337 CSP-ova za barem jedno od
uključenih istraživanja je naznačeno da nije pronađen nijedan ostali izvor pristranosti, a
pripadajuća objašnjenja su nedosljedno ocijenjena kao nizak, nejasan ili visok izvor pristranosti.
U 524 CSP-a koji su opisivali razne ostale izvore pristranosti je bilo 5762 pojedinačna tipa
objašnjenja koje su razvrstana u 31 skupinu. Ocjene istih pripadajućih objašnjenja bile su vrlo
nedosljedne. Pronađene su brojne druge nedosljednosti u izvještavanju o ostalim izvorima
pristranosti u CSP-ima. Treće istraživanje: Od 1452 analizirana CSP-a, 409 je spomenulo procjenu
ukupnog RoB-a na razini istraživanja. U 107 CSP-ova su autori jasno odredili ključne domene
koje određuju ukupni RoB, dok u preostalim CSP-ovima procjena ukupnog rizika od pristranosti
nije bila u skladu s Cochraneovim priručnikom. Među 268 CSP-ova koji su imali bilo kakvu
analizu osjetljivosti povezanu s RoB-om, u 56 (21%) pregleda su autori izvijestili o značajnoj
promjeni rezultata za barem jedan ishod u odnosu na početnu analizu.
Zaključak: U analiziranim CSP-ovima pronađena je velika nedosljednost u metodama procjene
rizika od pristranosti zbog gubitka ispitanika kao i ostalim izvorima pristranosti. Vrlo heterogeni
pristupi procjeni ukupnog RoB-a na razini primarnog istraživanja i upotreba RoB-a za analize
osjetljivosti mogu dati nedosljedne i neusporedive rezultate u Cochraneovim pregledima.
Autorima sustavnih pregleda trebaju jasne smjernice o procjeni različitih domena RoB-a. Jasne
upute o procjeni RoB-a će poboljšati pouzdanost Cochraneova alata za procjenu rizika od pristranosti, pomoći autorima u donošenju odluka o riziku od pristranosti i u donošenju pouzdanih
odluka u zdravstvu. |
Abstract (english) | Background: An essential part of the systematic review methodology is the appraisal of the risk
of bias (RoB) in included studies. Cochrane systematic reviews are considered the golden standard
regarding systematic review methodology, but Cochrane’s instructions for assessing the risk of
attrition bias are vague, which may lead to inconsistencies in authors’ assessments. The aim of this
doctoral dissertation was to conduct three studies, to analyze the consistency of judgments and
related explanations for domains attrition bias and other bias, as well analyze methods of assessing
‘overall bias’ in Cochrane reviews of interventions published in the Cochrane Database of
Systematic Reviews (CDSR), and sensitivity analyses related to overall RoB.
Methods: The analysis included Cochrane reviews of interventions that included randomized
controlled trials (RCTs) and were published from July 2015 to June 2016 and for the third study
from July 2015 to June 2018 in the CDSR. The following data were extracted: the number of
included trials, the judgment of attrition, and other risk of bias for each included trial (low, unclear,
or high) and accompanying support for the judgment (supporting explanation). We also assessed
how many Cochrane reviews had different judgments for the same supporting explanations. We
extracted data regarding methods for judging overall bias on a trial level and details regarding
methods used for using RoB in sensitivity analyses. Descriptive statistics was used.
Results: The first study: In the principal analysis, we included 10292 judgments and supporting
explanations for attrition bias from 729 Cochrane reviews. We categorized supporting
explanations for those judgments into four categories, and we found that most of the supporting
explanations were unclear. Numerical indicators for percent of attrition and statistics related to
attrition were judged very differently. One-third of Cochrane reviews had more than one category
of supporting explanation; some had up to four different categories. Inconsistencies were found
even with the number of judgments, names of risk of bias domains, and different judgments for
the same supporting explanations in the same Cochrane review. The second study: We analyzed
768 Cochrane reviews that included 11369 RCTs. There were 602 (78%) Cochrane reviews that
had ‘other bias’ domain in the RoB tool, and they included a total of 7811 RCTs. In the RoB table
of 337 Cochrane reviews for at least one of the included trials, it was indicated that no other bias
was found, and supporting explanations were inconsistently judged as low, unclear, or high RoB.
In the 524 Cochrane reviews that described various sources of other bias, there were 5762
individual types of explanations which we categorized into 31 groups. The judgments of the same
supporting explanations were highly inconsistent. We found numerous other inconsistencies in
reporting of sources of other bias in Cochrane reviews. The third study: Of 1452 analyzed
Cochrane reviews, 409 mentioned assessment of overall RoB on a study level. In 107 reviews,
authors specified key domains that determined the overall RoB, while in the remaining reviews,
assessment of overall bias was not in line with the Cochrane Handbook. Among 268 Cochrane
reviews that had any RoB-related sensitivity analysis, in 56 (21%) reviews, the authors reported a
significant change for at least one outcome compared to the initial analysis.
Conclusion: We found very high inconsistency in methods of appraising risk of attrition and other
bias in recent Cochrane reviews. Highly heterogeneous approaches to summarizing overall RoB
on a study level and using RoB for sensitivity analyses may yield inconsistent and incomparable
results across Cochrane reviews. Systematic review authors need clear guidance about the
assessment of different domains of RoB. Clear instructions about appraising RoB will improve the
reliability of the Cochrane’s risk of bias tool, help authors in making decisions about the risk of
bias, and help in making reliable decisions in healthcare. |