SG.hu

Bajban a tudomány, egyre kevésbé megismételhetőek az eredmények

A modern tudomány kemény, összetett, sok rétegből és sok év kemény munkájából épül fel. A modern tudomány pedig szinte mindenhol számításokon alapul. Néhány (nagyon kevés) megrögzött teoretikus kivételével, akik ragaszkodnak ahhoz, hogy a dolgokat tollal és papírral írják le, szinte teljes a garancia arra, hogy a tudomány bármelyik területéről készült bármelyik tanulmány esetében, amit csak el lehet olvasni, a folyamat valamelyik lépésében számítógép is részt vett. Akár a madárürülék, akár a galaxisok ütközésének tanulmányozásáról van szó, a modern tudomány a számítógépnek köszönheti létét - és folyamatos fennmaradását. A számítógépeket - az íróasztalon lévő laptopoktól kezdve a szobákat kitöltő óriásgépekig - gyakorlatilag mind a hárommillió, évente megjelenő tudományos cikknél társszerzőként kellene feltüntetni.

A modern tudomány puszta összetettsége és a testreszabott szoftverekre való támaszkodás a csalás elleni egyik első vonalbeli védekezést teszi használhatatlanná. Ez a védelem a szakértői értékelés. A szakértői értékelés gyakorlata még egy másik korszakban alakult ki, amikor a cikk következtetéséhez vezető érveket és elemzéseket tömören össze lehetett foglalni magában a cikkben. Szeretné tudni, hogyan jutott a szerző erre a következtetésre? A levezetés ott van. Viszonylag könnyű volt megítélni egy cikk „helytelenségét”, mert a dokumentumot az elejétől a végéig, az elejétől a végéig követni lehetett, és az értékeléshez szükséges összes információ ott volt az ember kezében. A modern tudomány annyira a számítógépekre támaszkodik, hogy ez már nagyrészt lehetetlen.

A helyzetet tovább rontja, hogy a tudományban használt szoftverkódok közül sok nem nyilvános. Még belegondolni is vad dolog: évente több millió olyan tanulmány jelenik meg, amely egy olyan számítógépes szoftverre támaszkodik az eredmények eléréséhez, amely szoftver nem áll más tudósok rendelkezésére, hogy megvizsgálhassák a működését. Egyszerűen csak bíznunk kell benne, de a „bizalom” szó a tudósok prioritási listájának alján van. Miért nem teszik elérhetővé a tudósok a kódjukat? Ez ugyanarra az okra vezethető vissza, amiért a tudósok sok mindent nem tesznek meg, ami javítaná a tudomány folyamatát: nincs rá ösztönzés. Csak a cikkek publikálásáért járnak un h-index pontok (egy tudós publikációinak hatását mutató mérőszám), a kód közzétételéért nem.

Hogyan lehetne megítélni egy cikk helyességét, ha nem ismert az egész folyamat? Mi értelme csalás után kutatni, ha a publikált eredmény mögött ülő számítógépes kódot úgy lehet alakítani és formálni, hogy bármilyen eredményt adjon, senki sem lesz okosabb? És itt most nem is szándékos csalásról van szó, hanem ez még az alapvető hibák felderítésénél is problémát jelent. Ha valaki hibát követ el egy dolgozatban, azt a bíráló vagy egy szerkesztő kiszúrhatja. És a tudomány ezzel jól jár. De ha valaki hibát követ el a kódban... ki ellenőrzi azt? Amíg az eredmények helyesnek tűnnek, addig folytatható a publikálás, a bíráló pedig elfogadja. És a tudomány rosszabbul jár.


A tudomány az idő múlásával egyre összetettebbé válik, és egyre inkább szoftverkódokra támaszkodik, hogy a motor működjön. Ez megkönnyíti a csalást mind a kemény, mind a puha fajták esetében. Az olyan hibáktól kezdve, amelyek mellett azért megyünk el, mert túl gyorsan haladunk, a kifinomult eszközök használatán át, amelyeket alig értünk, de arra használunk, hogy elérjük a kívánt eredményt, egészen a teljes hamisításig - a tudomány egyre inkább téved. És a tévedések elleni küzdelem első védelmi vonala - a szakértői értékelés - alapvetően elromlott, egyáltalán nem garantálja, hogy kiszűri az ártatlan tévedéseket és a bűnös csalásokat. A szakértői bírálóknak nincs idejük, energiájuk vagy hajlandóságuk arra, hogy az új kutatásokat aprólékosan átfésüljék. És még ha egy bíráló egy kicsit túl mélyre is ás, akár valami végzetes hibát fedez fel, akár csalási kísérletet szimatol, a szerző egyszerűen elviheti a munkáját egy barátságosabb helyre, egy másik folyóirathoz.

Mivel a tudományos integritás külső falai a szakértői értékelés hibái miatt leomlottak, a közösségnek a második védelmi vonalhoz kell fordulnia: a replikációhoz. Ez azt jelenti, hogy egy másik tudós - lehetőleg egy konkurens szakember, aki semmit sem szeretne jobban, mint a riválisát elintézni - megismételheti a publikált folyóiratcikkben leírt kísérletet. Ha ugyanazt az eredményt kapják, hurrá! A tudomány fejlődött. Ha más eredményt kapnak, hurrá! A tudomány fejlődött. Mindegy, hogy mi történik, a végeredmény győzelem. Kár, hogy szinte senki sem veszi a fáradságot, hogy megismételje az ilyen kísérleteket, és ha mégis megteszi, akkor legtöbbször azt tapasztalja, hogy az eredeti eredmények nem állnak meg.

Ezt nevezik a tudományban „replikációs válságnak”. Először a 2010-es években ütötte fel a fejét a pszichológia területén, de semelyik terület nem immunis. A replikációs válsághoz a problémák összetett, kavargó szeptikus tartálya járul hozzá, de az első probléma az, hogy a replikáció nem érdekes. Nem lehet vele új dolgokat tanulni a körülöttünk lévő világról; csak megerősíthető, hogy valaki más tanult-e új dolgokat róla. Egy további csúnya bónuszként a negatív eredmények gyakran nem is kerülnek publikálásra. Az újdonságot erénynek tekintik, de ha egy kísérlet elvégzése nem hoz pozitív eredményt, a folyóiratok nem nagyon érdeklődnek a kézirat iránt. Ráadásul, mivel a replikációt nem tartják érdekesnek, ha megtörténik, lehet el sem olvassák. Replikációs tanulmányok nem jelennek meg magas impaktfaktorú folyóiratokban, és azok szerzői nem kapnak annyi idézetet a munkájukra. Ez azt jelenti, hogy a h-indexük alacsonyabb, ami csökkenti az esélyeiket a támogatások és előléptetések megszerzésére.

Másodszor, a replikáció egyre nehezebbé válik. A kifinomult eszközök, az adathegyek, a bonyolult statisztikai elemzések, a bonyolult kísérleti tervezés és a sok-sok kód miatt sok esetben eleve reménytelen megkísérelni valaki más munkájának megismétlését, még ha akarnánk is. Mindennek a végeredménye az, hogy a csalás egyre gyakoribbá válik, egyre nehezebb felderíteni és egyre nehezebb korrigálni. Egyre inkább csak délibáb a szakértői értékelés, mert nem védi ki megfelelően a hibákat, és a tudomány (és ezzel együtt a tudományos diskurzus) egyre összetettebbé válásával a csalás simán átsiklik, mivel túl sok réteg van az alapkutatás és a végtermék között.

Úgy tűnik, mintha a tudománynak vége, de tényleg így van? Persze, itt-ott megjelennek visszavonások és korrekciók, de ezek túlságosan kevesek és túlságosan távol állnak egymástól, tekintve a csalások mennyiségét, mind a kemény, mind a puha csalásokét, amelyekről tudjuk, hogy léteznek. A tudomány minden területén adottak a feltételek a csaláshoz, és senki sem dolgozott ki megfelelő ellenőrzési rendszert ahhoz, hogy ezt felszámolja - egy esetben egy folyóirat 35 évvel a bejelentés után adott ki visszavonást. A teljes visszavonásokhoz vagy helyesbítésekhez vezető vizsgálatok nem elég gyakoriak, és eközben egyszerűen túl sok tudományt publikálnak.

Senkinek sincs ideje arra, hogy minden fontos tanulmányt elolvasson a saját területén. Az elemzés, a matematika, a szakzsargon, az ábrák - szavak, szavak, szavak szüntelen áradata. Minden tudós a lehető legtöbbet ír, anélkül, hogy igazán beleásná magát a meglévő szakirodalomba, ezzel is növelve a zajt. Egy nagyon szűk területen, például az asztrofizikában minden egyes nap körülbelül negyven-hatvan vadonatúj csillagászati és asztrofizikai cikk születik a tudományos világban. Minden egyes nap, még ünnepnapokon is! Felmérések szerint a tudósok azt állítják, hogy hetente körülbelül öt tanulmányt olvasnak. Valószínűleg ez hazugság, vagy legalábbis nagy túlzás, mert az „olvasás” szónak különböző definíciói vannak, kezdve összefoglalás, a következtetések és a képaláírások feliratainak elolvasásától a munka valóban alapos áttanulmányozásááig.

A publikált tudományos művek túlnyomó többségét nem a célközönség fogyasztja el. Ehelyett a legtöbb tudós csak átfutja az új címeket, keresve valami kiemelkedőt, vagy irodalomkutatás során előkotorja a hivatkozásokat, hogy idézetként használhassa őket. A legtöbb tudós csak a saját publikációjához nézi át másokét, és ritka, hogy egy jelentős cikk kiemelkedjen a zajból és sok idézetet kapjon. Ez pontosan az a fajta környezet, ahol a csalás nem csak létezik, de bőven el is terjed. Kit érdekel, ha itt-ott átír valaki egy számot - valójában senki sem fogja elolvasni a dolgot, még a bíráló sem! És a dolgozatokban levont következtetések még több munka alapját fogják képezni - sőt, talán még egy egész sorozatot is.


Mindenki tudja és egyetért abban, hogy a csalás rossz, hogy a kijavítatlan hibák rosszak, hogy a megismételhetetlen eredmények rosszak. De miért nem szünteti meg senki a rossz dolgokat? Egyszerűen fogalmazva, nincs ok rá arra, hogy a tudósok jobban csinálják. A tudományban jelenleg a „folytasd a publikálást, a fenébe is!” ösztönöz, nem pedig az, hogy elpazarolja az ember az idéjét egy gondos szakértői értékelésre, a kód nyilvánosságra hozatalára vagy mások eredményeinek replikálására.

Nem, a legtöbb tudós nem törekszik szándékosan csalásra. A legtöbb tudós jó ember, aki jó dolgokat próbál tenni a világban. De mivel az ösztönzők úgy vannak összehangolva, ahogyan vannak, könnyű elfogadni azt, hogy a végzett munka valójában nem csalás. Ha megtagadod, hogy a kódodat nyilvánosságra hozd, hogy megvizsgálhassák, akkor csalást követsz el? Vagy jogosan véded a kutatási befektetéseidet? Ha ki kell csavarni egy elemzést, hogy publikálható eredményt kapj, csalást követsz el? Vagy csak végre eljutottál a válaszhoz, amiről tudtad, hogy úgyis megkapod? Ha nem ellenőrzi valaki eléggé a munkáját, akkor csalást követ el? Vagy csak... hónapok kemény munkája után végre elkészült egy anyag? Ha valaki visszavonja a cikkét egy laptól, mert a bíráló túlságosan kritikus lett, csalást követ el? Vagy egy ésszerűtlen bíráló ellen tiltakozik?

A tudósokat nem igazán ösztönzik arra, hogy változtassanak ezeken a problémákon. A rendszer már létezik és „működik”; lehetővé teszi a győztesek és a vesztesek kiválasztását, a győztesek pedig ösztöndíjat kapnak, kinevezést és puccos autókat. Vagy talán még azt sem. Az egyetemek nem motiváltak arra, hogy változtassanak ezen a gyakorlaton, mert amíg a győztesek továbbra is hozzák a támogatásokat, addig örülhetnek az adófizetők finanszírozásának.

A legutolsó a sorban, akit senki nem motivál arra, hogy bármit is változtasson ezen maguk a kiadók. A legtöbb kiadó a tudósokkal fizetteti meg, hogy a kutatásukat kinyomtassák, és nem kell fizetniük a szakértői értékelésért, amely a tudományt azzá teszi, ami. De a nagy pénzek az előfizetésekből származnak: ahhoz, hogy valaki elolvashasson egy szakmai folyóiratot vagy ki kell köhögnie nagyon komoly pénzeket, vagy vagy megfizethetetlenül magas díjakat kell fizetnie az éves hozzáférésért. Az egyetlenek, akik ezt megengedhetik maguknak, a nagy egyetemek és könyvtárak, akik a modern tudományos fejlődés nagy részét aranyozott ajtók mögé zárják. Összességében a tudományos és műszaki könyvkiadás évente mintegy tízmilliárd dollárt kaszál, gyakran kétszámjegyű haszonkulccsal. Természetesen nem akarják, hogy ez a hajó irányt változtasson. Nem is lehet hibáztatni őket; ők csak a saját játékuk elfogadott szabályai szerint játszanak.

Hozzászólások

A témához csak regisztrált és bejelentkezett látogatók szólhatnak hozzá!
Bejelentkezéshez klikk ide
(Regisztráció a fórum nyitóoldalán)
  • barret #11
    Remélem jó sokat eladtak belőle,a busás haszon bezsebelésével.Nekem 2 kitartott a teljes szezon alatt,rajtam nem sokat szakítottak...
  • ZenMillitia #10
    Senkit sem ved a papirmaszk, egyszeruen egy jo PR eszkoz volt, amit a hiszekeny emberek benyeltek. Nincs ezzel baj, nem lehet mindenki Einstein. Csak en. Najo nem. De azert birka sem vagyok, mint azok akik tok egeszsegesen rettegtek.
  • ZenMillitia #9
    Semmit sem fog fel, ha felette kimegy. Akkor csokken a darabszam ha normalisan zar. Minden mas csak kepzelodes.
  • Green Ironnose #8
    Amióta publikációs kényszer van, azóta a tudomány is bajban van.
  • Gabbbbbbbbbbbb #7
    >A papirmaszk nem a viselojet vedi, hanem a mar fertozott szemely kornyezeti terheleset csokkenti

    Ez nem igaz, mert a viselőt is jelentősen védi, bár az tény, hogy kifelé köhögés esetén hatékonyabb.
  • kvp #6
    "mikozben a valoban serulekenyek (kronikus betegek, immungyengek) egy szanalmasan semmire sem jo papirmaszkban rohangaltak, ami teljesen nyitva volt felulrol, etc)"

    A papirmaszk nem a viselojet vedi, hanem a mar fertozott szemely kornyezeti terheleset csokkenti, tehat valamennyire csokkenti a tobbiek megfertozodesenek eselyet. Nem azert hordtak az emberek, hogy ne betegedjenek meg, hanem ha ok ugyan meg is halnak, legalabb ne vigyenek magukkal annyira sok embert. Ezt persze a legtobb ember nem tudja a mai napig es azt sem, hogyan lehetett volna hatekonyan vedekezni, mert tortenelmi okokbol a magyarok soha nem akarjak betartani a szabalyokat.
  • NEXUS6 #5
    Richard Matthew Stallman a szabad szoftver mozgalom egyik apostola és követői felfogásában a szoftver eleve nem birtokolt és védett tulajdon. Ha jól emléxem ő fejtegette azt, hogy a programozók társadalma és a tudósok, kutatók közössége, a tudomány sem a klasszikus hiánygazdaságra alapuló gazdasági modell alapján építkezik. Sőt valójában a társadalom is egyre kevésbé, lásd általános alapjövedelem koncepciója.

    Ebből a nézőpontból a tudós és a programozó, vagy akár az egyszeri állampolgár tevékenységének elsődleges haszna nem pénzben, hanem a közösségi, társadalmi elismertségben mérhető. Hasonlóan az olyan ajándékozó kultúrákhoz, amelyek egyfajta paradicsomi állapotban, a természet adta egzisztenciális biztonságban léteznek.

    Csakhát jönnek azok a szemét anyagiak, amelyek megrontják az embert. Ha egy programon, a birtokolt jogok által milliárdokat lehet keresni, vagy egy kutató, ha nem is nagyon gazdag, de az általa felügyelt, állam, vagy gazdasági szereplők által finanszírozott projektje marha nagy források fölött rendelkezik, akkor bizony jön a versenyhelyzet és a másik, és az általa képviselt eszmék, tudományos kutatások és tudományos eredmények ellehetetlenítése, akármilyen eszközzel.

    Ez van. És amíg a politika és a gazdaság nem különül el a kutatástól, vagy bizonyos kulcs szoftverek, informatikai képességek (fő közösségi oldalak, legelterjedtebb OS, szabadalmak) birtoklásától, ez így is marad.
  • Gabbbbbbbbbbbb #4
    >egy szanalmasan semmire sem jo papirmaszkban rohangaltak, ami teljesen nyitva volt felulrol, etc)

    Azért ez eléggé sarkított. Minél kevesebb vírust jut a szervezetedbe, annál kisebb a fertőzés veszélye. Nyilván az jobb lenne, ha semennyi sem jutna, mert olyan maszk lenne rajtad, de igenis hatásos a legszarabb maszk/sál is.

    Parlagfűre allergiás vagyok, szezonban felvettem az olcsó papírmaszkot és ég és föld volt a differencia.
  • Supra-III #3
    + valahol pont az lenne az igazi ellenőrzés, ha más módszerekkel is igazolni sikerül ugyanazt. Ha a kódban van valami hiba, az nem fog kiderülni attól hogy más is lefuttatja. Igaz, a kód publikálása lehetőséget ad a hibakeresésre...
  • ZenMillitia #2
    Vannak ennel nagyobb problemak. pl az,hogy a profit van az elso 10 helyen es a rovid tavu erdek, es nem valoban fontos dolgok. akkor a SOTEn nem tanitananak altudomanyos, elavult sz.rokat, nem lenne ennyi hulye dietetikus stb. na ez itt a problema. hogy pl a husipar es a tejipar, meg a junkfood gyartok zsebeben van a legtobb dietetikai kar. es dietetikus. eleg csak megnezni az MDOSZ vezetoit. multiknal dolgoznak. hiteltelen es szanalmas. oke, ertemen,hogy Magyarorszagon van a legtobb beteg ember, 3.ok vagyunk a halalozasban, nyilvan szarok az egyetemek is, de akkoris ezek a valodi bajok. es akkor a gyogyszerlobbirol ne is beszeljunk. (lasd altudomanyos laposfoldes covid hiszti,hogy egeszseges emberekbe is bele akartak tolni, mikozben a valoban serulekenyek (kronikus betegek, immungyengek) egy szanalmasan semmire sem jo papirmaszkban rohangaltak, ami teljesen nyitva volt felulrol, etc)
    Utoljára szerkesztette: ZenMillitia, 2024.08.04. 23:38:00