SG.hu·
Az MI kutatási tanulmányok egyre jobbak, és ez komoly probléma a tudósok számára
A folyóiratszerkesztők és a szakmai lektorok olyan MI által generált tanulmányok özönével szembesülnek, amelyeket szinte lehetetlen kiszűrni.
Tavaly nyáron Peter Degen posztdoktori témavezetője egy szokatlan problémával fordult hozzá: az egyik tanulmányára túl sok hivatkozás érkezett. A tudományos idézettség az akadémiai világ „valutája”, de ezekben az idézésekben volt valami furcsa. A 2017-ben publikált tanulmány egy bizonyos statisztikai elemzési módszer pontosságát vizsgálta epidemiológiai adatokon, és az évek során néhány tucat, tiszteletre méltó számú hivatkozást kapott más kutatásokban. Most azonban néhány naponta hivatkozták, összesen több százszor, amivel a szerző egyik leggyakrabban idézett munkájává vált. Egy másik professzor talán örült volna. Degen témavezetője azonban azt kérte, vizsgálja ki a jelenséget.
Degen - a Zürichi Egyetem kutatója - azt találta, hogy a hivatkozó tanulmányok mind hasonló mintát követtek. Az eredetihez hasonlóan a Globális Betegségteher (Global Burden of Disease) tanulmány adatbázisát elemezték, amely egy nyilvánosan elérhető adatbázis, és amelyet a Washingtoni Egyetem Egészségmetrikai és Értékelési Intézete állított össze. Az adatokat azonban arra használták, hogy látszólag végtelen számú előrejelzést gyártsanak: például a stroke jövőbeli kockázatáról 20 év feletti felnőtteknél, a hererák előfordulásáról fiatal felnőtteknél, az idősek elesésének kockázatáról Kínában, a vastagbélrákról azoknál, akik kevés teljes kiőrlésű gabonát fogyasztanak, vagy az X betegségről az Y populációban, és így tovább.
Amikor Degen a GitHubon olyan kódot keresett, amelyet az ilyen típusú elemzésekhez használnak, néhány linken keresztül eljutott a kínai Bilibili közösségi oldalra, ahol egy kantoni székhelyű vállalat olyan oktatóanyagokat hirdetett, amelyek szerint saját szoftveres eszközeikkel és MI írási segítséggel kevesebb mint két óra alatt publikálható kutatást lehet készíteni. Ezek a tanulmányok nem voltak túl jók. A fejfájással kapcsolatos tanulmányok egy részét elemző kutatók azt találták, hogy azok tele voltak hibákkal és félreértelmezésekkel. Ugyanakkor nem voltak annyira kirívóan hibásak, mint a korábbi MI által generált tanulmányok, ami nehezebbé tette a kiszűrésüket. „Ez óriási terhet ró a szakmai lektorálási rendszerre, amely már így is a határán van” - mondta Degen. „Egyszerűen túl sok tanulmány jelenik meg, és nincs elég lektor, és ha a nagy nyelvi modellek ennyire megkönnyítik a tömeges tanulmánygyártást, akkor ez egy töréspontot fog elérni.”
A generatív MI-vel kapcsolatos optimisták nagy reményeket fűznek ahhoz, hogy a technológia képes lesz jövőbeli tudományos áttörések létrehozására - felgyorsítja a felfedezéseket, felszámolja a legtöbb ráktípust -, de jelenleg éppen az egyik tudományos pillért ássa alá azzal, hogy végtelen tanulmányáradattal árasztja el a szerkesztőket és lektorokat. Paradox módon minél jobbá válik a technológia abban, hogy elfogadható minőségű tanulmányokat állítson elő, annál súlyosabbá válik a válság.
Az elmúlt évtizedben a tudományos kiadás az úgynevezett „papírgyárakkal” küzd, amelyek olyan illegális vállalatok, amelyek tömegesen gyártanak tanulmányokat, és szerzőségi helyeket adnak el olyan akadémikusoknak, orvosoknak vagy másoknak, akik versenyelőnyt szeretnének szerezni az önéletrajzukban publikációkkal. Ez egy macska-egér játék lett, ahol a kiadók - gyakran úgynevezett tudományos nyomozók nyomására, akik a csaló kutatások felderítésére specializálódtak - minden új sebezhetőséget bezárnak, csak hogy a „gyárak” újakat találjanak. A generatív MI áldás volt ezeknek a gyáraknak, mivel segített kijátszani a plágiumellenőrzőket teljesen új képek és szövegek létrehozásával. Ugyanakkor a technológia árulkodó hallucinációi legalább elvileg lehetővé tették a kiadók számára, hogy kiszűrjék a munkák nagy részét. A gyakorlatban azonban így is átcsúsztak tanulmányok, amelyeket később visszavontak, amikor a nyomozók egy olyan patkányábrát találtak, amelyen megmagyarázhatatlanul hatalmas nemi szervek voltak „testtomcels” felirattal, vagy olyan szövegeket, amelyekben véletlenül benne maradt az „as an AI assistant” fordulat.
Mára azonban az MI annyira fejletté vált, hogy képes meggyőző tanulmányokat szinte teljes egészében előállítani, lehetővé téve, hogy a publikációra szoruló kétségbeesett akadémikusok maguk is „papírgyárakat” működtessenek. Ennek eredménye egy tudományos „szemétáradat”, amely veszélyezteti a kiadói rendszert, a szakmai lektorálást, a pályázati döntéshozatalt és a kutatási rendszert a ma ismert formájában. Matt Spick, a Surrey Egyetem egészségügyi és biomedikai adatelemzési oktatója és a Scientific Reports társ-szerkesztője akkor figyelt fel először a jelenségre, amikor három feltűnően hasonló tanulmányt kapott, amelyek az Egyesült Államok Nemzeti Egészség- és Táplálkozásvizsgálati Felmérését (NHANES) elemezték, amely szintén nyilvános adatbázis.
Amikor rákeresett a Google Scholarban, rájött, hogy nem véletlenről van szó: hirtelen robbanásszerűen megnőtt az NHANES-adatokra épülő tanulmányok száma, amelyek mind hasonló sémát követtek, és olyan állítólagos összefüggéseket kerestek, mint például a diófogyasztás és a kognitív funkciók kapcsolata, vagy a sovány tej fogyasztása és a depresszió közötti viszony. „Ha van elég számítási kapacitásod, végigmész és minden egyes páronkénti összefüggést megmérsz, végül találsz néhányat, amelyről még nem írtak, és egyszerűen publikálsz: van összefüggés ez és az között” - mondta Spick. Ezek az összefüggések gyakran félrevezető leegyszerűsítései több okból kialakuló jelenségeknek vagy puszta statisztikai véletleneknek. „Az egyik példában az jött ki, hogy az, hány évet töltesz oktatásban, okozza a műtét utáni sérv szövődményeit. Ez egyszerűen véletlen korreláció. Mit kellene ezzel kezdenem? Hagyjam ott az iskolát, hogy később ne kapjak műtét utáni sérvet?”
Az évek során a nyomozók különféle módszereket dolgoztak ki a nem hiteles tanulmányok felismerésére. Egyesek „kínzott kifejezéseket” keresnek - amikor valaki egy meglévő tanulmányt szinonima-generátoron futtat át a plágiumszűrők kijátszására, ami gyakran olyan torzításokat eredményez, hogy például a „reinforcement learning” (megerősítéses tanulás) „reinforcement getting to know” formára torzul. Más nyomozók képeket vizsgálnak duplikációk után, hálózatelemzést végeznek a szerzőkön, vagy ellenőrzik a hivatkozásokat nem létező publikációkra, ami az MI használatának klasszikus jele. Spick ezzel szemben azt figyeli, amikor tömegesen jelennek meg ugyanarra a sablonra épülő tanulmányok nyilvános adatbázisok elemzésével. Ezek nem feltétlenül hibásak, de gyakran félrevezetők. Szigorúan véve nem is csalások. Inkább haszontalanok - és most már rendkívül könnyű őket előállítani. A redundáns kutatások elárasztása miatt tavaly több folyóirat is korlátozni kezdte a nyilvános adatbázisokat elemző tanulmányok benyújtását.
Spick attól tart, hogy ezek az intézkedések már elkéstek. Az elmúlt hónapokban az MI-vállalatok egy sor úgynevezett ügynöki tudományos asszisztenst adtak ki, amelyek képesek adatokat elemezni, hipotéziseket generálni és nagyfokú autonómiával kutatási tanulmányokat írni. Bár ez egy lehetséges lépés az MI-gyorsította tudomány felé, ezek a rendszerek új kockázatokat is hordoznak. Amikor a Carnegie Mellon kutatói több ilyen ügynöki eszközt teszteltek, azt találták, hogy néha kitalált adatokat gyártanak vagy félrevezető módszereket alkalmaznak, de ezek a hibák csak a teljes munkafolyamat alapos elemzésekor derülnek ki; a végső tanulmányok viszont csiszoltnak és meggyőzőnek tűnnek.
Amikor az OpenAI idén korábban bemutatta MI-alapú tanulmányszerkesztő asszisztensét, akkor még a tudományos részlegük alelnöke, Kevin Weil azt jósolta: „Szerintem 2026 az MI és a tudomány számára az lesz, ami 2025 az MI és a programozás számára volt.” Spick és néhány kollégája kíváncsiságból kipróbálta, mire képes az eszköz. A Prism nevű rendszernek átadták egy már publikált tanulmány adatait, amely padlizsánok és paprikák érési idejét dokumentálta. A Prism elemezte az adatokat, javasolt egy új statisztikai módszert az elemzéshez, majd egy teljes tanulmányt írt, beleértve a diagramokat és a helyes hivatkozásokat is. „Mindannyian egymásra néztünk, hogy: ‘Mi a fene, ez tényleg egy elég jó munka!’” - emlékezett vissza Spick. A korábban látott generált tanulmányokkal ellentétben ez nem sablonokat követett, és nem is egyetlen ismert adatbázist használt. Az elkészítése 25 perc 50 másodpercet vett igénybe. „Őszintén nem vagyok biztos benne, hogy mikor fogunk rájönni arra, hogy valójában több ilyen jut át a rendszeren, mint gondoljuk, mert már nem tudjuk könnyen megkülönböztetni őket” - mondta Spick.
Ez filozófiai kérdéseket is felvet, mondta Spick, például: számít-e, hogy ki vagy mi írta a tanulmányt, ha az információ pontos? És kell-e a tudománynak minden lehetséges tényt publikálnia? „A tudomány egyik része elvileg a szűrés szerepe. Azokat kellene publikálnunk, amelyeket érdekesnek tartunk, nem pedig szó szerint mindent, amit csak találunk” - mondta Spick. „Mert ha ezt tesszük, a tudomány egyszerűen telespameli a világot az összes adattal, függetlenül attól, hogy az valódi új tudás-e vagy sem, és középtávon szinte lehetetlen lesz megmondani, mi számít és mi nem.”
Ez az MI-ügynökök által jelentett közvetlen gyakorlati kihívás. Fenyegetik azokat az emberi rendszereket, amelyek a tudást létrehozzák és rendszerezik. A kutatásfinanszírozók olyan pályázati cunamival szembesülnek, amelyek tökéletesen illeszkednek az adott kiíráshoz, miközben képtelenek eldönteni, mely projektek jelentik évek munkájának következő lépését, és melyeket generálták percek alatt. Konferenciaszervezők, folyóiratszerkesztők és lektorok mind olyan anyagáradatot próbálnak átválogatni, amely első ránézésre mind elég jónak tűnik ahhoz, hogy alaposan elolvassák. Óriási és egyre növekvő aszimmetria alakult ki az új munka létrehozásához szükséges idő és a szakértői ellenőrzéséhez szükséges idő között.
Marit Moe-Pryce, a Security Dialogue nemzetközi kapcsolatokkal foglalkozó folyóirat főszerkesztője szerint a beküldések száma egy év alatt 100 százalékkal nőtt az előző évhez képest. Ami legalább ennyire problémás: a beküldött tanulmányok minősége is „meglepően jó” lett. Eltűntek a nyilvánvaló hallucinációk és a benn maradt promptok; minden hirtelen koherenssé, jól strukturálttá és stílusában hasonlóvá vált, így nehéz megmondani, hogy egy teljesen generált tanulmányról, egy tapasztalt akadémikusról vagy egy fiatal kutatóról van szó, aki MI-t használ szerkesztésre. „A fő probléma, amit jelenleg látunk, hogy a csaló oldal és az akadémiai oldal összemosódik, és így egy nagy szürke massza keletkezik, amelyet nekünk szerkesztőként át kell nyálaznunk, hogy megértsük: ‘Mi ez? Foglalkozzunk vele vagy ne?’” - mondta Moe-Pryce.
Egy tanulmány legalább 10 szerkesztőn és két lektori körön is átjutott, mire észrevettek benne egy hamis hivatkozást - egy nagyon hihetőt, amely a folyóirat több korábbi szerkesztőjére utalt, olyan témában, amelyről akár írhattak is volna, de valójában nem írtak. Később további hamis hivatkozásokat is találtak. Nem tudni pontosan, melyik szerkesztési szakaszban kerültek be ezek a hallucinációk, de a majdnem „baleset” jól mutatta, mennyire nagy odafigyelés kell ahhoz, hogy semmi hamis ne kerüljön publikálásra. Mivel a modellek egyre gyakrabban valódi tanulmányokra hivatkoznak, már azt is vizsgálni kell, hogy a hivatkozott művek valóban azok-e, amelyeket egy szakértő használna, mivel az MI még nem sajátította el teljesen a különbséget a kanonikus szakirodalom és a periférikusabb munkák között. „Ez hihetetlenül részletes, és ez a szerkesztői munka normális része. A különbség az, hogy most ezt minden beérkező szemétre el kell végezni” - mondta Moe-Pryce. „Ezért válik kezelhetetlenné a munkaterhelésünk.”
A tudományos cikkek több lépcsős lektorálási folyamaton mennek keresztül a publikálás előtt. Először a kéziratokat előszűrik a nyilvánvaló problémák terén, majd a folyóirat szerkesztője eldönti, hogy egyáltalán érdemes-e foglalkozni vele. Ezután egy szakterületi tapasztalattal rendelkező társszerkesztőhöz kerül, aki újra ellenőrzi, majd két vagy három szakértőt - az úgynevezett „peer review” lektorokat - kér fel a tanulmány elolvasására és véleményezésére. A szerkesztők és lektorok - a fő akadémiai munkájuk mellett - jellemzően ingyen dolgoznak.
A lektorálási rendszer már korábban is nehezen birkózott meg a növekvő beküldésszámmal, most pedig az MI egyszerre növeli a mennyiséget és teszi nehezebbé a gyenge minőségű anyagok kiszűrését. Moe-Pryce most több időt tölt a kéziratok előválogatásával, mielőtt lektorálásra küldené őket, és a potenciális lektorok, akik szintén túlterheltek, egyre kevésbé reagálnak. Míg korábban négy megkeresésből hárman válaszoltak, most már egy tucat próbálkozás kell ahhoz, hogy két embert találjon. Egyre gyakrabban fordul elő, hogy 20 lektort is megkeres, és nem érkezik válasz. „A tudományos folyóiratok elszaporodtak, és közben az MI mindenkinek segít - legyen csalárd vagy sem - gyorsabban és nagyobb mennyiségben tanulmányokat létrehozni, így óriási növekedés van a volumenben” mondta. „Az MI jelenleg annak a lehetőségét hordozza, hogy összeomlassza a publikációs rendszert.”
Az MI ügynökök olyan időszakban érkeznek, amikor az akadémia minőségi szűrői már amúgy is nehezen birkóznak meg a publikációk túltermelésével. A tudományos cikkek száma az utóbbi években exponenciálisan nőtt, míg a potenciális bírálók, a PhD-val rendelkező kutatók száma egy Quantitative Science Studies-ben megjelent elemzés szerint nem tart lépést ezzel. A szerzők szerint a növekedés nem a tudomány gyors fejlődésének köszönhető, hanem annak, hogy a kereskedelmi és szakmai ösztönzők a minél több publikáció felé tolják a rendszert.
Sok folyóirat áttért az „open access” modellre, amelyben a bevétel a szerzők által fizetett publikációs díjakból származik, nem pedig előfizetésekből. A pénzügyi eredményekről szóló konferenciahívásokon a kiadók a beküldött cikkek számának közelmúltbeli, 20 százalékos vagy annál nagyobb növekedését pozitív fejlődésként emelik ki. Az egyetemek és finanszírozók közben a publikációs mutatók alapján döntenek támogatásról és előléptetésről, ami a „publikálj vagy tűnj el” nyomást erősíti. Nem csak a klasszikus akadémikusok vannak ebben a helyzetben: külföldi orvostanhallgatók amerikai rezidens helyet szerezhetnek néhány publikációval, Kínában pedig az orvosok erős nyomás alatt állnak, hogy publikáljanak, még ha nincs is idejük vagy erőforrásuk kutatni, így a gyors cikkgyártás vonzó megoldás.
Ha egy végtelen cikkíró gépet beillesztenek egy olyan rendszerbe, amely a teljesítményt a publikációk számával méri, az emberek sok cikket fognak írni. Egy idén a Nature-ben megjelent tanulmány szerint azok a kutatók, akik MI-t használtak, háromszor több cikket publikáltak és majdnem ötször több idézést kaptak, mint akik nem. Emellett 1,37 évvel korábban lettek kutatásvezetők. Bár ez egyénileg előnyös, a tömeges MI használat a tudomány egészére nézve káros lehet, mert a kutatók a jól adatolt, könnyen feldolgozható területek felé tolódnak, ahol az MI könnyen tud dolgozni.
Nincs egyszerű megoldás. 2022-ben a STM nevű tudományos szervezet elindította az Integrity Hub nevű kezdeményezést a papírgyárak ellen. Azóta egy „fegyverkezési versenyben” vesznek részt az MI-vel, mondta Joris van Rossum, a projekt vezetője: először a plágiumot ellenőrző eszközök, majd a kínzott kifejezések, majd a hamis idézetek kiszűrése következett, de most már radikálisabb megoldásokat kell megfontolniuk. „Arra számítunk, hogy a jövőben reálisabb lesz azt lehetővé tenni, hogy a beküldők bizonyítsák a hitelességet, mintsem a hamisítást próbáljuk detektálni” - mondta. Vagyis ahelyett, hogy a csalást keresik, a szerzőknek kell majd bizonyítaniuk, hogy munkájuk valódi, például a műszergyártókkal együttműködve a képek vízjelezésével, vagy az adatok részletesebb benyújtásával.
Ez hatalmas mértékben átalakítaná a kutatási rendszert, és bár visszaszoríthatná a csalást, a mennyiségi problémát nem oldaná meg. Az MI használata a peer review segítésére, amit egyesek javasolnak, és amit néhány bíráló már most is alkalmaz, újabb kockázatokat hoz. A kutatások szerint a modellek gyakran továbbra is érvényesnek tekintenek visszavont tanulmányokat, és felszínesen jó bírálatokat írnak, miközben nem veszik észre a módszertani hibákat. Az MI bírálók ráadásul hajlamosak előnyben részesíteni az MI által írt szövegeket. „Ez nem igazán megoldható probléma” - véli Reese Richardson, a Northwestern Egyetem posztdoktori kutatója, aki a tömegesen gyártott tanulmányokat vizsgálja. „Szerintem az egyetlen kiút az, ha megváltoztatjuk, miért jár presztízs és tudományos erőforrás. Amíg egy hiperkompetitív, egyenlőtlen versenyfutásban mérjük a tudósok értékét a publikációk és idézetek számával, addig ez a viselkedés ösztönözve lesz.”
Vincent Larivière, a Quantitative Science Studies főszerkesztője hasonló következtetésre jutott. Folyóirata idén 40 százalékos növekedést tapasztalt a beküldésekben. „Reformra van szükség abban, hogy mi számít a tudományban” - mondta Larivière. A publikációs számokkal mérhető tudományos termelékenység torzító hatással van a rendszerre, és a kutatást kis, könnyen publikálható problémák felé tereli. Az MI nagy dolgokra is képes lehetne, például rákgyógyításra vagy fúziós energia fejlesztésére, de jelenleg arra használják, hogy önéletrajzokat "tömjenek ki". Természetesen több tudományra van szükség” - szögezte le, „de szükségünk van több cikkre is?”
Tavaly nyáron Peter Degen posztdoktori témavezetője egy szokatlan problémával fordult hozzá: az egyik tanulmányára túl sok hivatkozás érkezett. A tudományos idézettség az akadémiai világ „valutája”, de ezekben az idézésekben volt valami furcsa. A 2017-ben publikált tanulmány egy bizonyos statisztikai elemzési módszer pontosságát vizsgálta epidemiológiai adatokon, és az évek során néhány tucat, tiszteletre méltó számú hivatkozást kapott más kutatásokban. Most azonban néhány naponta hivatkozták, összesen több százszor, amivel a szerző egyik leggyakrabban idézett munkájává vált. Egy másik professzor talán örült volna. Degen témavezetője azonban azt kérte, vizsgálja ki a jelenséget.
Degen - a Zürichi Egyetem kutatója - azt találta, hogy a hivatkozó tanulmányok mind hasonló mintát követtek. Az eredetihez hasonlóan a Globális Betegségteher (Global Burden of Disease) tanulmány adatbázisát elemezték, amely egy nyilvánosan elérhető adatbázis, és amelyet a Washingtoni Egyetem Egészségmetrikai és Értékelési Intézete állított össze. Az adatokat azonban arra használták, hogy látszólag végtelen számú előrejelzést gyártsanak: például a stroke jövőbeli kockázatáról 20 év feletti felnőtteknél, a hererák előfordulásáról fiatal felnőtteknél, az idősek elesésének kockázatáról Kínában, a vastagbélrákról azoknál, akik kevés teljes kiőrlésű gabonát fogyasztanak, vagy az X betegségről az Y populációban, és így tovább.
Amikor Degen a GitHubon olyan kódot keresett, amelyet az ilyen típusú elemzésekhez használnak, néhány linken keresztül eljutott a kínai Bilibili közösségi oldalra, ahol egy kantoni székhelyű vállalat olyan oktatóanyagokat hirdetett, amelyek szerint saját szoftveres eszközeikkel és MI írási segítséggel kevesebb mint két óra alatt publikálható kutatást lehet készíteni. Ezek a tanulmányok nem voltak túl jók. A fejfájással kapcsolatos tanulmányok egy részét elemző kutatók azt találták, hogy azok tele voltak hibákkal és félreértelmezésekkel. Ugyanakkor nem voltak annyira kirívóan hibásak, mint a korábbi MI által generált tanulmányok, ami nehezebbé tette a kiszűrésüket. „Ez óriási terhet ró a szakmai lektorálási rendszerre, amely már így is a határán van” - mondta Degen. „Egyszerűen túl sok tanulmány jelenik meg, és nincs elég lektor, és ha a nagy nyelvi modellek ennyire megkönnyítik a tömeges tanulmánygyártást, akkor ez egy töréspontot fog elérni.”
A generatív MI-vel kapcsolatos optimisták nagy reményeket fűznek ahhoz, hogy a technológia képes lesz jövőbeli tudományos áttörések létrehozására - felgyorsítja a felfedezéseket, felszámolja a legtöbb ráktípust -, de jelenleg éppen az egyik tudományos pillért ássa alá azzal, hogy végtelen tanulmányáradattal árasztja el a szerkesztőket és lektorokat. Paradox módon minél jobbá válik a technológia abban, hogy elfogadható minőségű tanulmányokat állítson elő, annál súlyosabbá válik a válság.
Az elmúlt évtizedben a tudományos kiadás az úgynevezett „papírgyárakkal” küzd, amelyek olyan illegális vállalatok, amelyek tömegesen gyártanak tanulmányokat, és szerzőségi helyeket adnak el olyan akadémikusoknak, orvosoknak vagy másoknak, akik versenyelőnyt szeretnének szerezni az önéletrajzukban publikációkkal. Ez egy macska-egér játék lett, ahol a kiadók - gyakran úgynevezett tudományos nyomozók nyomására, akik a csaló kutatások felderítésére specializálódtak - minden új sebezhetőséget bezárnak, csak hogy a „gyárak” újakat találjanak. A generatív MI áldás volt ezeknek a gyáraknak, mivel segített kijátszani a plágiumellenőrzőket teljesen új képek és szövegek létrehozásával. Ugyanakkor a technológia árulkodó hallucinációi legalább elvileg lehetővé tették a kiadók számára, hogy kiszűrjék a munkák nagy részét. A gyakorlatban azonban így is átcsúsztak tanulmányok, amelyeket később visszavontak, amikor a nyomozók egy olyan patkányábrát találtak, amelyen megmagyarázhatatlanul hatalmas nemi szervek voltak „testtomcels” felirattal, vagy olyan szövegeket, amelyekben véletlenül benne maradt az „as an AI assistant” fordulat.
Mára azonban az MI annyira fejletté vált, hogy képes meggyőző tanulmányokat szinte teljes egészében előállítani, lehetővé téve, hogy a publikációra szoruló kétségbeesett akadémikusok maguk is „papírgyárakat” működtessenek. Ennek eredménye egy tudományos „szemétáradat”, amely veszélyezteti a kiadói rendszert, a szakmai lektorálást, a pályázati döntéshozatalt és a kutatási rendszert a ma ismert formájában. Matt Spick, a Surrey Egyetem egészségügyi és biomedikai adatelemzési oktatója és a Scientific Reports társ-szerkesztője akkor figyelt fel először a jelenségre, amikor három feltűnően hasonló tanulmányt kapott, amelyek az Egyesült Államok Nemzeti Egészség- és Táplálkozásvizsgálati Felmérését (NHANES) elemezték, amely szintén nyilvános adatbázis.
Amikor rákeresett a Google Scholarban, rájött, hogy nem véletlenről van szó: hirtelen robbanásszerűen megnőtt az NHANES-adatokra épülő tanulmányok száma, amelyek mind hasonló sémát követtek, és olyan állítólagos összefüggéseket kerestek, mint például a diófogyasztás és a kognitív funkciók kapcsolata, vagy a sovány tej fogyasztása és a depresszió közötti viszony. „Ha van elég számítási kapacitásod, végigmész és minden egyes páronkénti összefüggést megmérsz, végül találsz néhányat, amelyről még nem írtak, és egyszerűen publikálsz: van összefüggés ez és az között” - mondta Spick. Ezek az összefüggések gyakran félrevezető leegyszerűsítései több okból kialakuló jelenségeknek vagy puszta statisztikai véletleneknek. „Az egyik példában az jött ki, hogy az, hány évet töltesz oktatásban, okozza a műtét utáni sérv szövődményeit. Ez egyszerűen véletlen korreláció. Mit kellene ezzel kezdenem? Hagyjam ott az iskolát, hogy később ne kapjak műtét utáni sérvet?”
Az évek során a nyomozók különféle módszereket dolgoztak ki a nem hiteles tanulmányok felismerésére. Egyesek „kínzott kifejezéseket” keresnek - amikor valaki egy meglévő tanulmányt szinonima-generátoron futtat át a plágiumszűrők kijátszására, ami gyakran olyan torzításokat eredményez, hogy például a „reinforcement learning” (megerősítéses tanulás) „reinforcement getting to know” formára torzul. Más nyomozók képeket vizsgálnak duplikációk után, hálózatelemzést végeznek a szerzőkön, vagy ellenőrzik a hivatkozásokat nem létező publikációkra, ami az MI használatának klasszikus jele. Spick ezzel szemben azt figyeli, amikor tömegesen jelennek meg ugyanarra a sablonra épülő tanulmányok nyilvános adatbázisok elemzésével. Ezek nem feltétlenül hibásak, de gyakran félrevezetők. Szigorúan véve nem is csalások. Inkább haszontalanok - és most már rendkívül könnyű őket előállítani. A redundáns kutatások elárasztása miatt tavaly több folyóirat is korlátozni kezdte a nyilvános adatbázisokat elemző tanulmányok benyújtását.
Spick attól tart, hogy ezek az intézkedések már elkéstek. Az elmúlt hónapokban az MI-vállalatok egy sor úgynevezett ügynöki tudományos asszisztenst adtak ki, amelyek képesek adatokat elemezni, hipotéziseket generálni és nagyfokú autonómiával kutatási tanulmányokat írni. Bár ez egy lehetséges lépés az MI-gyorsította tudomány felé, ezek a rendszerek új kockázatokat is hordoznak. Amikor a Carnegie Mellon kutatói több ilyen ügynöki eszközt teszteltek, azt találták, hogy néha kitalált adatokat gyártanak vagy félrevezető módszereket alkalmaznak, de ezek a hibák csak a teljes munkafolyamat alapos elemzésekor derülnek ki; a végső tanulmányok viszont csiszoltnak és meggyőzőnek tűnnek.
Amikor az OpenAI idén korábban bemutatta MI-alapú tanulmányszerkesztő asszisztensét, akkor még a tudományos részlegük alelnöke, Kevin Weil azt jósolta: „Szerintem 2026 az MI és a tudomány számára az lesz, ami 2025 az MI és a programozás számára volt.” Spick és néhány kollégája kíváncsiságból kipróbálta, mire képes az eszköz. A Prism nevű rendszernek átadták egy már publikált tanulmány adatait, amely padlizsánok és paprikák érési idejét dokumentálta. A Prism elemezte az adatokat, javasolt egy új statisztikai módszert az elemzéshez, majd egy teljes tanulmányt írt, beleértve a diagramokat és a helyes hivatkozásokat is. „Mindannyian egymásra néztünk, hogy: ‘Mi a fene, ez tényleg egy elég jó munka!’” - emlékezett vissza Spick. A korábban látott generált tanulmányokkal ellentétben ez nem sablonokat követett, és nem is egyetlen ismert adatbázist használt. Az elkészítése 25 perc 50 másodpercet vett igénybe. „Őszintén nem vagyok biztos benne, hogy mikor fogunk rájönni arra, hogy valójában több ilyen jut át a rendszeren, mint gondoljuk, mert már nem tudjuk könnyen megkülönböztetni őket” - mondta Spick.
Ez filozófiai kérdéseket is felvet, mondta Spick, például: számít-e, hogy ki vagy mi írta a tanulmányt, ha az információ pontos? És kell-e a tudománynak minden lehetséges tényt publikálnia? „A tudomány egyik része elvileg a szűrés szerepe. Azokat kellene publikálnunk, amelyeket érdekesnek tartunk, nem pedig szó szerint mindent, amit csak találunk” - mondta Spick. „Mert ha ezt tesszük, a tudomány egyszerűen telespameli a világot az összes adattal, függetlenül attól, hogy az valódi új tudás-e vagy sem, és középtávon szinte lehetetlen lesz megmondani, mi számít és mi nem.”
Ez az MI-ügynökök által jelentett közvetlen gyakorlati kihívás. Fenyegetik azokat az emberi rendszereket, amelyek a tudást létrehozzák és rendszerezik. A kutatásfinanszírozók olyan pályázati cunamival szembesülnek, amelyek tökéletesen illeszkednek az adott kiíráshoz, miközben képtelenek eldönteni, mely projektek jelentik évek munkájának következő lépését, és melyeket generálták percek alatt. Konferenciaszervezők, folyóiratszerkesztők és lektorok mind olyan anyagáradatot próbálnak átválogatni, amely első ránézésre mind elég jónak tűnik ahhoz, hogy alaposan elolvassák. Óriási és egyre növekvő aszimmetria alakult ki az új munka létrehozásához szükséges idő és a szakértői ellenőrzéséhez szükséges idő között.
Marit Moe-Pryce, a Security Dialogue nemzetközi kapcsolatokkal foglalkozó folyóirat főszerkesztője szerint a beküldések száma egy év alatt 100 százalékkal nőtt az előző évhez képest. Ami legalább ennyire problémás: a beküldött tanulmányok minősége is „meglepően jó” lett. Eltűntek a nyilvánvaló hallucinációk és a benn maradt promptok; minden hirtelen koherenssé, jól strukturálttá és stílusában hasonlóvá vált, így nehéz megmondani, hogy egy teljesen generált tanulmányról, egy tapasztalt akadémikusról vagy egy fiatal kutatóról van szó, aki MI-t használ szerkesztésre. „A fő probléma, amit jelenleg látunk, hogy a csaló oldal és az akadémiai oldal összemosódik, és így egy nagy szürke massza keletkezik, amelyet nekünk szerkesztőként át kell nyálaznunk, hogy megértsük: ‘Mi ez? Foglalkozzunk vele vagy ne?’” - mondta Moe-Pryce.
Egy tanulmány legalább 10 szerkesztőn és két lektori körön is átjutott, mire észrevettek benne egy hamis hivatkozást - egy nagyon hihetőt, amely a folyóirat több korábbi szerkesztőjére utalt, olyan témában, amelyről akár írhattak is volna, de valójában nem írtak. Később további hamis hivatkozásokat is találtak. Nem tudni pontosan, melyik szerkesztési szakaszban kerültek be ezek a hallucinációk, de a majdnem „baleset” jól mutatta, mennyire nagy odafigyelés kell ahhoz, hogy semmi hamis ne kerüljön publikálásra. Mivel a modellek egyre gyakrabban valódi tanulmányokra hivatkoznak, már azt is vizsgálni kell, hogy a hivatkozott művek valóban azok-e, amelyeket egy szakértő használna, mivel az MI még nem sajátította el teljesen a különbséget a kanonikus szakirodalom és a periférikusabb munkák között. „Ez hihetetlenül részletes, és ez a szerkesztői munka normális része. A különbség az, hogy most ezt minden beérkező szemétre el kell végezni” - mondta Moe-Pryce. „Ezért válik kezelhetetlenné a munkaterhelésünk.”
A tudományos cikkek több lépcsős lektorálási folyamaton mennek keresztül a publikálás előtt. Először a kéziratokat előszűrik a nyilvánvaló problémák terén, majd a folyóirat szerkesztője eldönti, hogy egyáltalán érdemes-e foglalkozni vele. Ezután egy szakterületi tapasztalattal rendelkező társszerkesztőhöz kerül, aki újra ellenőrzi, majd két vagy három szakértőt - az úgynevezett „peer review” lektorokat - kér fel a tanulmány elolvasására és véleményezésére. A szerkesztők és lektorok - a fő akadémiai munkájuk mellett - jellemzően ingyen dolgoznak.
A lektorálási rendszer már korábban is nehezen birkózott meg a növekvő beküldésszámmal, most pedig az MI egyszerre növeli a mennyiséget és teszi nehezebbé a gyenge minőségű anyagok kiszűrését. Moe-Pryce most több időt tölt a kéziratok előválogatásával, mielőtt lektorálásra küldené őket, és a potenciális lektorok, akik szintén túlterheltek, egyre kevésbé reagálnak. Míg korábban négy megkeresésből hárman válaszoltak, most már egy tucat próbálkozás kell ahhoz, hogy két embert találjon. Egyre gyakrabban fordul elő, hogy 20 lektort is megkeres, és nem érkezik válasz. „A tudományos folyóiratok elszaporodtak, és közben az MI mindenkinek segít - legyen csalárd vagy sem - gyorsabban és nagyobb mennyiségben tanulmányokat létrehozni, így óriási növekedés van a volumenben” mondta. „Az MI jelenleg annak a lehetőségét hordozza, hogy összeomlassza a publikációs rendszert.”
Az MI ügynökök olyan időszakban érkeznek, amikor az akadémia minőségi szűrői már amúgy is nehezen birkóznak meg a publikációk túltermelésével. A tudományos cikkek száma az utóbbi években exponenciálisan nőtt, míg a potenciális bírálók, a PhD-val rendelkező kutatók száma egy Quantitative Science Studies-ben megjelent elemzés szerint nem tart lépést ezzel. A szerzők szerint a növekedés nem a tudomány gyors fejlődésének köszönhető, hanem annak, hogy a kereskedelmi és szakmai ösztönzők a minél több publikáció felé tolják a rendszert.
Sok folyóirat áttért az „open access” modellre, amelyben a bevétel a szerzők által fizetett publikációs díjakból származik, nem pedig előfizetésekből. A pénzügyi eredményekről szóló konferenciahívásokon a kiadók a beküldött cikkek számának közelmúltbeli, 20 százalékos vagy annál nagyobb növekedését pozitív fejlődésként emelik ki. Az egyetemek és finanszírozók közben a publikációs mutatók alapján döntenek támogatásról és előléptetésről, ami a „publikálj vagy tűnj el” nyomást erősíti. Nem csak a klasszikus akadémikusok vannak ebben a helyzetben: külföldi orvostanhallgatók amerikai rezidens helyet szerezhetnek néhány publikációval, Kínában pedig az orvosok erős nyomás alatt állnak, hogy publikáljanak, még ha nincs is idejük vagy erőforrásuk kutatni, így a gyors cikkgyártás vonzó megoldás.
Ha egy végtelen cikkíró gépet beillesztenek egy olyan rendszerbe, amely a teljesítményt a publikációk számával méri, az emberek sok cikket fognak írni. Egy idén a Nature-ben megjelent tanulmány szerint azok a kutatók, akik MI-t használtak, háromszor több cikket publikáltak és majdnem ötször több idézést kaptak, mint akik nem. Emellett 1,37 évvel korábban lettek kutatásvezetők. Bár ez egyénileg előnyös, a tömeges MI használat a tudomány egészére nézve káros lehet, mert a kutatók a jól adatolt, könnyen feldolgozható területek felé tolódnak, ahol az MI könnyen tud dolgozni.
Nincs egyszerű megoldás. 2022-ben a STM nevű tudományos szervezet elindította az Integrity Hub nevű kezdeményezést a papírgyárak ellen. Azóta egy „fegyverkezési versenyben” vesznek részt az MI-vel, mondta Joris van Rossum, a projekt vezetője: először a plágiumot ellenőrző eszközök, majd a kínzott kifejezések, majd a hamis idézetek kiszűrése következett, de most már radikálisabb megoldásokat kell megfontolniuk. „Arra számítunk, hogy a jövőben reálisabb lesz azt lehetővé tenni, hogy a beküldők bizonyítsák a hitelességet, mintsem a hamisítást próbáljuk detektálni” - mondta. Vagyis ahelyett, hogy a csalást keresik, a szerzőknek kell majd bizonyítaniuk, hogy munkájuk valódi, például a műszergyártókkal együttműködve a képek vízjelezésével, vagy az adatok részletesebb benyújtásával.
Ez hatalmas mértékben átalakítaná a kutatási rendszert, és bár visszaszoríthatná a csalást, a mennyiségi problémát nem oldaná meg. Az MI használata a peer review segítésére, amit egyesek javasolnak, és amit néhány bíráló már most is alkalmaz, újabb kockázatokat hoz. A kutatások szerint a modellek gyakran továbbra is érvényesnek tekintenek visszavont tanulmányokat, és felszínesen jó bírálatokat írnak, miközben nem veszik észre a módszertani hibákat. Az MI bírálók ráadásul hajlamosak előnyben részesíteni az MI által írt szövegeket. „Ez nem igazán megoldható probléma” - véli Reese Richardson, a Northwestern Egyetem posztdoktori kutatója, aki a tömegesen gyártott tanulmányokat vizsgálja. „Szerintem az egyetlen kiút az, ha megváltoztatjuk, miért jár presztízs és tudományos erőforrás. Amíg egy hiperkompetitív, egyenlőtlen versenyfutásban mérjük a tudósok értékét a publikációk és idézetek számával, addig ez a viselkedés ösztönözve lesz.”
Vincent Larivière, a Quantitative Science Studies főszerkesztője hasonló következtetésre jutott. Folyóirata idén 40 százalékos növekedést tapasztalt a beküldésekben. „Reformra van szükség abban, hogy mi számít a tudományban” - mondta Larivière. A publikációs számokkal mérhető tudományos termelékenység torzító hatással van a rendszerre, és a kutatást kis, könnyen publikálható problémák felé tereli. Az MI nagy dolgokra is képes lehetne, például rákgyógyításra vagy fúziós energia fejlesztésére, de jelenleg arra használják, hogy önéletrajzokat "tömjenek ki". Természetesen több tudományra van szükség” - szögezte le, „de szükségünk van több cikkre is?”