Tehnološki napredak šalje ponovljivost znanstvenih rezultata u ropotarnicu povijesti
Unatoč brojnim istraživanjima, još uvijek nije u potpunosti jasno kako točno ljudski mozak funkcionira. Novo istraživanje objavljeno u renomiranom znanstvenom časopisu pokazuje pak da i dio onog što mislimo da znamo valja preispitati jer su upitne metode kojima se do rezultata došlo.
Jedna od glavnih metoda kojom se znanstvenici koriste pri proučavanju mozga je funkcionalna magnetska rezonanca (eng. Functional Magnetic Resonance Imaging, fMRI). U suštini, ovim se pristupom snima mozak pojedinca dok obavlja određene zadatke, iz čega se onda očitava koji dio mozga je odgovoran za koju praktičnu funkciju.
Dosad objavljeni rezultati u raznim znanstvenim časopisima, iako impresivni, nailaze i na mnoštvo kritika, prvenstveno upućenih samoj tehnologiji. Kritike uključuju primjedbe od zaključivanja na temelju malih uzoraka ispitanika, preko izvlačenja zaključaka na temelju nejasnih promjena koje uređaji uoče, do provokacija poput one kojom je pokazano da i u mozgu uginulog lososa postoji određena moždana aktivnost.
Propusti u programskim paketima vode do upitnih rezultata
Najnovije istraživanje, objavljeno u časopisu Proceedings od the National Academies of Science, koje su proveli znanstvenici sa Švedskog Linkoping sveučilišta pod vodstvom profesora Andersa Eklunda, otkrilo je kako računalni programi koji se koriste u obradi podataka dobivenih putem fMRI-ja pate od ozbiljnih propusta.
fMRI radi tako da snima protok krvi u mozgu, na temelju čega se onda stvara mapa onih dijelova mozga koji su aktivni pri obavljanju određenih funkcija. To je moguće jer oni dijelovi mozga koji su aktivni u danom trenutku zahtijevaju kisik, kojega donosi hemoglobin (molekula koja krvi daje crvenu boju i raznosi kisik). fMRI ima sposobnost razlikovanja hemoglobina bogatog i siromašnog kisikom.
Prilikom snimanja mozga, mozak je podijeljen na velik broj takozvanih voksela - prostorni (3D) ekvivalent dobro poznatih piksela. Računalni programi, kojima se obrađuju slike mozga, prate promjene u pojedinačnim vokselima i skupinama istih, ne bi li uočili neke anomalije.Upravo su u toj analizi grupiranja profesor Eklund i kolege pronašle problem.
Da bi proveli testiranje, preuzeli su podatke iz postojećih istraživanja provedenih korištenjem fMRI uređaja koji su se odnosili na mozgovnu aktivnost 499 volontera od kojih je traženo da ne misle tijekom snimanja. Svi su oni korišteni kao kontrolna grupa u danim istraživanjima.
Profesor Eklund i ekipa podijelili su te podatke u kontrolnu i testnu grupu, i testirali ih koristeći tri redovito korištena računalna programa u analizi fMRI podataka. Nakon toga su tu istu bazu podataka ponovno podijelili na dvije nove grupe, nasumično birajući uzorke za svaku od te dvije grupe, i ponovili test. I tako sve dok nisu imali oko 3 milijuna testova.
S obzirom na to da su svi sudionici u bazi podataka koju su imali bili u izvornim istraživanjima kontrolna grupa, za očekivati je bilo da analiza neće pronaći neke značajne razlike. No, nije bilo tako. Naprotiv, u čak 70% slučajeva analiza je rezultirala lažnim pozitivom (prepoznala razliku kada je zapravo nije bilo).
Iako lažne pozitive nije moguće eliminirati, ovaj je postotak daleko veći od prihvatljivih 5% u ovakvim istraživanjima. Problem je, kako tvrde ovi znanstvenici, u pogrešnim statističkim pretpostavkama programiranima u softveru. Povrh toga, pronađen je i takozvani bug u jednom od softverskih paketa koji je uzrokovao lažne pozitive.
Znanstveni rad valjan tek kada je ponovljiv
Tri računalna programa ispitivana u ovom istraživanju koriste se u gotovo svim istraživanjima baziranima na fMRI skeniranju pojedinaca. “Mislimo da bi oko 3000 istraživanja moglo biti problematično,” napomenuo je profesor Eklund.
Ovo istraživanje potencijalno ukazuje na slične probleme i u drugim znanstvenim disciplinama. To posebno vrijedi za one u kojima se obrađuje jako velik broj podataka, poput astronomije. Znanstvenici koji koriste računalne programe za obradu tih podataka nisu nužno osposobljeni da traže eventualne propuste u softveru, koji su praktički neizbježni u velikim programskim paketima.
Profesor Eklund naglašava da je za tako nešto teško i dobiti financijsku potporu. Današnja znanstvena scena temelji se na objavljivanju što više članaka, jer o tome ovisi napredak pojedinca u zajednici. Stoga se nerijetko dogodi da se objavljuju nedovršena i slabo pripremljena istraživanja, uslijed čega se i zaboravlja na to da su rezultati nekog znanstvenog rada prihvatljivi samo ako su ponovljivi.
Mnoga znanstvena područja pate danas od tog jednog te istog problema - nedostatka repliciranih istraživanja. Kako pokazuje istraživanje profesora Eklunda i njegovih kolega, to se pod hitno mora promijeniti.
Izvor: Economist