Teško je raspravljati se protiv snage znanosti. Od studija koje ocjenjuju najnoviji način prehrane do eksperimenata koji osvjetljavaju prediktori sreće, ljudi sve više gledaju na znanstvene rezultate kao na konkretne, pouzdane činjenice koje mogu upravljati načinom na koji razmišljamo i postupamo.
Povezani sadržaj
- Znanstvenici su ponovili 100 psiholoških studija i manje od polovice su dobili iste rezultate
Ali u posljednjih nekoliko godina, sve veći kontingent znanstvenika počeo je dovoditi u pitanje prihvaćenu istinitost objavljenih istraživanja - čak i nakon što otkloni prepreke stručne provjere i bude pojavljivan u široko priznatim časopisima. Problem je prožimajuća nemogućnost kopiranja velikog dijela rezultata u brojnim disciplinama.
Na primjer, 2005. godine, John Ioannidis, profesor medicine na Sveučilištu Stanford, koristio je nekoliko simulacija kako bi pokazao da su znanstvene tvrdnje vjerojatnije da su lažne nego istinite. I proteklog je ljeta Brian Nosek, profesor psihologije na Sveučilištu u Virginiji, pokušao ponoviti nalaze 100 studija psihologije i ustanovio da je samo 39 posto rezultata održano pod strogim ponovnim testiranjem.
"Postoje brojni izvori dokaza, i teorijskih i empirijskih, koji su počeli dovoditi u pitanje obnovljivost značajnog segmenta znanstvene literature", kaže Ioannidis. "Dobijamo milijune papira koji ne idu nigdje."
Ovi preliminarni nalazi potaknuli su stvaranje sasvim novog polja zvanog meta-istraživanje - znanstveno proučavanje znanosti.
Ovaj tjedan, grana biologije Javne biblioteke znanosti (PLOS), neprofitne izdavačke i zagovaračke organizacije, pokrenula je novi odjeljak isključivo posvećen meta-istraživanjima. U ovom će se dijelu istražiti pitanja poput transparentnosti u istraživanju, metodoloških standarda, izvora pristranosti, razmjene podataka, financiranja i struktura poticaja.
Ioannidis i njegovi kolege procijenili su nasumični uzorak od 441 biomedicinskog članka objavljenog između 2000. i 2014. Provjerili su da li ti radovi daju javni pristup sirovim podacima i eksperimentalnim protokolima, jesu li ponovljeni u kasnijim studijama, jesu li njihovi rezultati integrirani u sustavnu pregledi predmetnog područja i uključena dokumentacija o izvorima financiranja i drugim potencijalnim sukobima interesa.
Njihovi rezultati su bili najmanje zabrinjavajući. Primjerice, samo je jedna studija pružila cjelovite eksperimentalne protokole, a nulta studija osiguravala je izravno dostupne neobrađene podatke.
"To su dva osnovna stupa obnovljivosti", kaže Ioannidis. "Ako nisu dostupni podaci i cijeli protokol, ne može se zaista ništa reproducirati." Napokon, bez te ključne informacije, kako drugi tim može točno znati što treba raditi i kako se njihovi rezultati razlikuju od rezultata u izvornom eksperimentu?
Tim je također otkrio da su tvrdnje o samo osam pregledanih članaka kasnije potvrđene naknadnim studijama. Iako su mnoge studije tvrdile da imaju nova otkrića, rezultati tek 16 članaka uvršteni su u kasnije pregledne članke, koji služe kao lakmusov test za istinski utjecaj studije na određenu temu.
"Dobiveni brojevi prilično su zastrašujući, " kaže Ioannidis, "ali to možete vidjeti kao osnovnu vrijednost onoga gdje se sada nalazimo, i ima puno prostora za napredak."
Međutim, nisu svi rezultati bili obeshrabrujući. Postotak članaka bez izjave o sukobu interesa smanjio se s 94, 4 posto u 2000. na 34, 6 posto u 2014. godini - vjerojatno rezultat sve veće svijesti o štetnim učincima pristranosti na rezultate istraživanja.
U drugoj studiji meta-istraživanja, njemački tim analizirao je kako gubitak ispitanika na životinjama tijekom pretkliničkih ispitivanja može doprinijeti širokoj nemogućnosti prevođenja laboratorijskih nalaza u korisne kliničke lijekove.
Životinje koje se nalaze u istraživanju mogu nasumično nestati iz studije - na primjer, zato što je životinja uginula - ili putem suptilno pristranih postupaka, poput uklanjanja iz pokusa kako bi se uklonili podaci koji potkopavaju očekivane rezultate. Tim je pokazao da pristrano uklanjanje ispitanika sa životinjama može navesti rezultate i značajno povećati vjerojatnost lažnog pozitivnog stanja - kada se smatra da novi lijek djeluje, a zapravo nije.
U odvojenoj analizi predkliničkih studija o moždanom udaru i raku, isti su istraživači utvrdili da većina radova nije prikladno prijavila gubitak životinjskih subjekata, te da se pozitivni učinci mnogih lijekova koji se testiraju mogu u velikoj mjeri precijeniti.
Zašto se uopće kriza transparentnosti i obnovljivosti događa?
Iako se neka pitanja mogu nalaziti u svjesnoj ili nesvjesnoj pristranosti istraživanja, vjerojatno je da je većina studija koja stižu do objave jedna vrsta zbog trenutne strukture poticaja u znanosti.
U vrhunskom svijetu akademske zajednice, glavna mjera uspjeha je broj studija koje istraživač dobiva u prestižnim časopisima. Kao rezultat toga, znanstvenici su pod pritiskom da većinu svog vremena provedu dobivajući vrste probojnih rezultata koji će se najvjerojatnije objaviti.
„Iako konceptuiramo obnovljivost, u praksi je ne cijenimo“, kaže Nosek, koji je ujedno i ko-direktor Centra za otvorenu znanost, pokretač neprofitne tehnologije koji djeluje na poticanje transparentnosti i obnovljivosti u znanstvenim istraživanjima.
„Stvarni poticaji koji pokreću moje ponašanje znanstvenika su inovacije, nova otkrića i probijanje novih temelja - a ne ponavljanje onoga što su učinili drugi. To je dosadni dio znanosti. "
Znanstvenici također vide malo poticaja za pružanje informacija potrebnih drugima da bi ponovili svoj rad, što je jedan od glavnih razloga zašto tvrdnje tolikih studija ostaju nepotvrđene.
"Nisam nagrađen za pružanje svojih podataka ili pisanje svoje metodologije u dubini nego što je potrebno za ulazak u publikaciju", kaže Nosek.
Mnogi časopisi traže od znanstvenika detaljno objašnjenje svojih metoda i razmjenu podataka, ali ta se pravila rijetko primjenjuju i ne postoje univerzalni standardi objavljivanja.
"Kad bih znao da na cestama nikad neće biti policajaca, bih li se uvijek držao ograničenja brzine? Ne - to je ljudska priroda ", kaže Ivan Oransky, suosnivač Retraction Watch-a, organizacije koja promiče odgovornost i transparentnost prateći povlačenja u znanstvenu literaturu. "Ako znate da vas nitko neće sankcionirati, tada nećete dijeliti podatke."
Oni znanstvenici koji žele raditi na replikaciji i koji su u mogućnosti dobiti eksperimentalne detalje tada vjerojatno neće naći sredstva od javnih agencija poput NIH-a, koje prvenstveno prosuđuju prijave za dodjelu na temelju noviteta i inovacija.
"Izgledi su očito protiv replikacije", kaže Ioannidis.
Tu se može ući u meta meta-istraživanje u nastajanju. Organizacije poput Centra za otvorenu znanost i Meta-Research Innovation Center u Stanfordu (METRICS) rade na pomaganju usklađivanju sustava nagrađivanja i postavljanju strogih univerzalnih standarda koji će potaknuti širenje prakse transparentnosti i obnovljivosti.
"Ako bi razina financiranja ili promocija ovisili o onome što se dogodilo s vašim prethodnim istraživanjima - ako bi bilo moguće ponoviti, ako bi ljudi mogli shvatiti to, ako bi ljudi mogli prevesti nešto korisno, a ne samo koliko radova objavite - to bi bilo vrlo je snažan poticaj promjeni istraživanja kako bi postali reproduktivniji ”, kaže Ioannidis, ko-direktor METRICS-a.
"Nadam se da će se ti pokazatelji poboljšati", dodaje. "A za neke od njih ne postoji druga mogućnost nego da se uzdigne, jer krećemo od nule."
