Ocena wiarygodności badań klinicznych stanowi jeden z kluczowych etapów przygotowywania przeglądu systematycznego.
Badania kliniczne dzielą się na eksperymentalne oraz obserwacyjne. Każda z tych kategorii badań oceniana jest pod innym kątem, stąd też dla każdego rodzaju badania Instytut Arcana proponuje wykorzystać inną skalę/kwestionariusz do jego oceny:
- w ramach badań eksperymentalnych z losowym przydziałem chorych do ramion terapeutycznych stosuje się powszechnie skalę Jadad; jest to jednocześnie skala wymagana przez wytyczne AOTMiT;
- innym narzędziem wykorzystywanym w ocenie badań typu RCT jest opracowane przez Cochrane Handbook for Systematic Reviews of Interventions narzędzie oceny ryzyka błędu, pozwalające na przedstawienie oceny w formie tabelarycznej i graficznej; ocena risk of bias uwzględnia m.in. takie elementy jak: prawidłowy dobór pacjentów, utajenie kodu randomizacji, zaślepienie czy utrata pacjentów z obserwacji;
- w przypadku badań obserwacyjnych z grupą kontrolną najpowszechniej stosuje się skale Newcastle – Ottawa Quality Assessment Scale;
- skala NICE 2003 stosowana jest w ocenie wiarygodności badań bez grupy kontrolnej (serii przypadków);
- ze skal uniwersalnych Instytut stosuje narzędzie, dzięki któremu ocenić można różnego rodzaju badania: The modified Effective Public Health Practice Project Quality Assessment Tool (EPHPP).
Warto zaznaczyć, iż w ramach prowadzonych analiz HTA (rynek Polski) w ocenie czy dany przegląd spełnia kryteria stawiane przeglądowi systematycznemu INAR wykorzystuje najbardziej popularne narzędzie tzw. kryteria Cook`a. W ramach weryfikacji systematyczności przeglądu w oparciu o kryteria Cook’a analizowana jest: precyzja postawionego pytania klinicznego; aktualność danych i czułość zastosowanej strategii wyszukiwania wraz z jej przedstawieniem; obecność predefiniowanych kryteriów włączania i wykluczenia badań klinicznych do analizy oraz ocena ich wiarygodności. Następnie opracowanie jest oceniane pod względem poprawności zastosowanych metod statystycznych oraz zasadności ilościowej syntezy wyników (wykonania meta-analizy). W dalszej kolejności oceniana jest słuszności przeprowadzonego wnioskowania również w kontekście potencjalnych ograniczeń opracowania.
W codziennej pracy Instytut Arcana dodatkowo wykorzystuje tzw. checklisty, pozwalające na ocenę poprawności przeprowadzonego przeglądu systematycznego: PRISMA – Reporting Items for Systematic Reviews and Meta-Analyses oraz AMSTAR – A Measurement Tool to Assess Systematic Reviews and Meta-analysis.