SG.hu·
Közeleg az idő, amikor a mesterséges intelligencia emberi segítség nélkül fejlődik tovább
Az MI rendszerek már ma is egyre nagyobb szerepet vállalnak saját maguk fejlesztésében és egyes kutatók szerint néhány éven belül elérkezhet az a pont amikor teljesen önállóvá válhat ez a folyamat.
Amikor az Anthropic, egy mesterséges intelligenciával foglalkozó kutatólabor még az idén megjelenik a tőzsdén, várhatóan a történelem egyik legnagyobb nyilvános részvénykibocsátását hajtja végre. Ennek egyik fő oka, hogy a vállalat Claude nevű chatbotja rendkívül népszerű a programozók körében, akik jelentős összegeket hajlandók fizetni a hozzáférésért. A Claude Code nevű szoftverfejlesztő ügynök 2025 februári indulása óta világszerte nélkülözhetetlen eszközzé vált a fejlesztők számára. Ez alól maga az Anthropic sem kivétel: a vállalat állítása szerint a májusban közzétett programkódjának több mint négyötödét Claude írta. A Claude Code megjelenése előtt ez az arány mindössze "alacsony egy számjegyű" volt.
A rendszerek nemcsak a létrehozott tartalom mennyiségében, hanem annak minőségében is jelentősen fejlődtek. A METR nevű agytröszt egyik meghatározó mérőszáma szerint 2025 elején az Anthropic modelljei olyan feladatokat tudtak elvégezni, amelyek egy emberi szoftvermérnöknek valamivel kevesebb mint egy órát vettek volna igénybe. A vállalat legújabb rendszerei már olyan munkákat is képesek megoldani, amelyek egy ember számára több mint egy teljes munkanapot igényelnének. Éppen ezért sokakból cinikus reakciót válthat ki, amikor az iparág egyik éllovasa, amely jelenleg felülmúlja versenytársait, azt szorgalmazza, hogy a világnak legyen "lehetősége lassítani vagy ideiglenesen szüneteltetni a fejlett MI fejlesztését". Melyik piacvezető ne szeretné, ha a riválisai abbahagynák a felzárkózási kísérleteket?
Mégis úgy tűnik, hogy az Anthropic vezetői őszintén aggódnak. Évek óta figyelmeztetnek arra a lehetőségre, hogy az emberi ellenőrzés alól kicsúszó MI súlyos károkat okozhat. A mesterséges intelligencia legújabb generációi annyira kompetens programozókká, mérnökökké és hamarosan tudósokká válhatnak, hogy sokan attól tartanak, ezek lehetnek az utolsó olyan rendszerek, amelyeket még emberek alkottak. Jack Clark, az Anthropic egyik társalapítója szerint 60 százalék az esélye annak, hogy 2028 végére létrejön egy olyan MI rendszer, amely képes lesz teljes egészében emberi közreműködés nélkül megalkotni saját utódját.
Ez a pillanat egy úgynevezett "rekurzív önfejlesztésnek" nevezett folyamat kezdetét jelentené. Ez egy zárt körfolyamat. A modell első változata létrehozza a másodikat, amely gyorsabb és fejlettebb. A második elkészíti a harmadikat, amely még fejlettebb lesz. A folyamat tovább folytatódik, és minden újabb iterációval növekednek a képességek. Ha sikerül egy ilyen MI rendszert megalkotni, az emberi mérnököknek többé nem kell új rendszereket építeniük. Clark szerint "ami sokak számára csupán fantáziadús történetnek tűnhet, az valójában egy létező trend lehet".
Senki sem tudja biztosan, milyen következményekkel járna a rekurzív önfejlesztés. Mivel az MI az emberekkel ellentétben fáradhatatlanul és folyamatosan dolgozhat, egyesek úgy vélik, hogy rövid időn belül szuperintelligens rendszerek kialakulásához vezetne. Ezt gyakran "gyors felszállásnak" (fast take-off) nevezik. Megjelent egy játékosabb elnevezés is, a "foom", amely azt a hangot idézi fel, amelyet egy intelligenciarobbanás okozhatna. Az MI veszélyeire figyelmeztetők attól tartanak, hogy az így létrejövő szuperintelligencia az emberi ellenőrzésen kívül kerülne, és a rekurzív önfejlesztés kezdetével az emberiség sorsa a gépek kezébe kerülne. Ugyanakkor egy önmagát fejlesztő MI valószínűleg kezdetben sebességkorlátokba ütközne.
Egy ilyen rendszer létrehozásához automatizálni kellene számos olyan speciális feladatot, amelyeket jelenleg emberek végeznek. Ma adattudósok dolgoznak az MI elméleti alapjain, míg programozók valósítják meg azokat a gyakorlatban. Rendszermérnökök építik ki azokat az alapokat, amelyek révén a kísérleti modellek ipari méretű rendszerekké válhatnak. Más szakemberek új tanítási adatforrásokat keresnek, vagy azok előállításának új módjait kutatják. A biztonsági és összehangolási csapatok pedig ellenőrzik, hogy a tanítási folyamat eredménye ne okozzon szándékos vagy véletlen károkat.
Nem minden ilyen feladat automatizálható egyforma könnyedséggel, és minden szakterületen vannak olyan részfeladatok, amelyek könnyebben átadhatók a gépeknek, mint mások. Nem valószínű, hogy sok időnek kell eltelnie addig, amíg egy emberi programozó úgy végezheti a munkáját, hogy egyetlen sornyi kódot sem ír saját kezűleg. Az azonban elképzelhető, hogy még hosszabb ideig tart majd, mire egy MI önállóan tárgyalhat egy korábban nem digitalizált tudományos dokumentumgyűjtemény megszerzéséről.
Nem mindig egyértelmű, hogyan halad előre ez az úgynevezett "egyenetlen határvonal". Sokáig úgy tűnt, hogy az új algoritmusok tervezése az egyik legbiztonságosabb emberi feladat marad. Ezt a feltételezést azonban megingatta a Google DeepMind AlphaEvolve nevű rendszere, amely 2025 májusában algoritmusfejlesztési feladatokat kezdett ellátni. Javaslatot tett arra, hogyan ossza el hatékonyabban a Google a terhelést adatközpontjai között, amivel a vállalat teljes számítási kapacitásának 0,7 százalékát sikerült megtakarítani. Emellett jobb módszereket talált a mátrixszorzás végrehajtására, ami 1 százalékkal gyorsította fel a Gemini nevű nagy nyelvi modell tanítását.
A teljes rekurzív önfejlesztéshez a folyamat minden egyes elemének automatizálttá kell válnia. Az MI által támogatott kutatás és fejlesztés felgyorsulása azonban már ezt megelőzően is érezhető lehet. A Georgetown Egyetemhez tartozó Centre for Security and Emerging Technology januárban közzétett jelentése szerint "ahogy az MI kutatás és fejlesztés egyre nagyobb részét MI rendszerek végzik, az emberi kutatásra épülő fejlesztésekhez képest tízszeres, százszoros, majd ezerszeres termelékenységnövekedés következhet be". A jelentés arra is figyelmeztet, hogy még ha a kutatás egyes területei kezdetben nehezen automatizálhatók is, "a fejlődés felgyorsult üteme miatt ezek a szűk keresztmetszetek hamar megszűnhetnek".
Jelenleg egyetlen MI modell sem képes önállóan megalkotni saját utódját. A nagy rendszerek azonban már képesek kisebb modelleket létrehozni. Emberi segítséggel pedig más nagy MI rendszereket is meg tudnak alkotni. Az év elején Andrej Karpathy, aki akkor még független kutatóként dolgozott, ma pedig az Anthropic munkatársa, olyan chatbotot tanított be, amely nagyjából a 2019-ben bemutatott GPT-2 képességeivel rendelkezett. Akkoriban ennek a modellnek az elkészítése 168 órányi tanítást igényelt 32 korszerű processzoron. Karpathy ugyanazt az eredményt egyetlen számítógéppel, nyolc GPU segítségével, mindössze három óra alatt érte el. Néhány hónap további munkával a Nanochat nevű modell tanítási idejét valamivel több mint két órára csökkentette.
Márciusban a tanítási folyamat további gyorsítását egy Autoresearch nevű MI ügynökre bízta. Két nap alatt az időtartam egy óra negyvennyolc percre csökkent, majd öt nappal később már csak egy óra harminckilenc percet vett igénybe. Karpathy szerint: "Semmihez sem nyúltam." A 18 százalékos javulás azért figyelemre méltó, mert Karpathy kiemelkedően tehetséges szakember. Az OpenAI kutatócsapatának alapító tagja volt, majd öt éven keresztül a Tesla MI részlegének vezetőjeként dolgozott. A fejlesztések önmagukban nem voltak különösebben látványosak. Az MI ügynök jobb kezdőértékeket választott a tanításhoz, kiszélesítette a modell figyelmi ablakát, és felismerte, hogy a rendszer fókusza időnként elkalandozik. Karpathy szerint ezek közül egyik sem számított különösen újszerű ötletnek. Egyszerűen ő maga nem vette őket észre. "Ezek összeadódtak, és valóban jobbá tették a Nanochatet" - mondta.
Az ehhez hasonló gyorsulás szinte elkerülhetetlen, ahogy a modellek egyre fejlettebbé válnak. A több terabájtos fejlett rendszerek építése gyakran jóval kevésbé látványos munka, mint amit az iparág magas fizetései és elegáns irodái sugallnak. Sokszor külső szolgáltatóktól származó infrastruktúraelemek összekapcsolásából, hardveres és szoftveres hibák javításából, valamint a tanítási folyamat kezdeti paramétereinek finomhangolásából áll. E feladatok jelentős részét az MI már ma is képes elvégezni viszonylag kevés emberi felügyelet mellett.
Joe Spisak, a Reflection AI kutatója szerint azonban még az összetettebb szellemi feladatok automatizálása is egyre közelebb kerül. Ha egy fejlett rendszernek bemutatnak egy vázlatos elképzelést arról, hogyan lehetne hatékonyabbá tenni egy folyamatot, egyre inkább képes önállóan megtervezni a kísérletet, lefuttatni azt egy kisebb modellen, elemezni az eredményeket, majd olyan megoldási tervvel előállni, amely már nagyobb léptékben is alkalmazható.
Az ilyen feladatokat, amelyek az embereknek órákba telnek, az MI rendszerek körülbelül harminc perc alatt képesek elvégezni. Az emberek szerepe fokozatosan a kutatási igazgatóéhoz válik hasonlóvá: meghatározzák az irányokat és kijelölik a kísérleteket, miközben az MI maga írja meg a kódot, javítja a hibákat, optimalizálja és figyeli a folyamatokat. Ez a termelékenységnövekedés egyszerre vonzó és nyugtalanító. Ahogy az emberek szerepe zsugorodik, fennáll a veszélye annak, hogy elveszítik az ellenőrzést. A végső eredmény olyan modellek világa lehet, amelyeket más modellek tanítanak, olyan célok érdekében, amelyeket szintén modellek határoznak meg, miközben biztonságukat kizárólag más modellek ellenőrzik.
Egyesek katasztrófától tartanak. Max Tegmark, a Massachusettsi Műszaki Egyetem fizikusa és gépi tanulással foglalkozó kutatója szerint ez olyan lenne, mintha valaki lehunyt szemmel teljes gázzal száguldana az autópályán. Az eredmény szerinte biztos végzet lenne, amennyiben a sofőr nem nyitja ki a szemét. Tegmark úgy véli, hogy a nagy teljesítményű MI rendszerek kiszoríthatják az embereket a kormányzati és gazdasági döntéshozatalból, példátlan hatalmat adhatnak azok kezébe, akik először hozzák létre őket, vagy egyszerűen közömbössé válhatnak az emberiség iránt, és fokozatosan háttérbe szoríthatják az embereket az adatközpontok és az energiatermelés bővítése érdekében. Három évvel ezelőtt Tegmark globális szünetet sürgetett az MI fejlesztésében, mivel úgy vélte, hogy a GPT-4 létrehozása már akkor is egy ilyen vakmerő utazás kezdetét jelentette. Az idei CSET jelentés szerint a rekurzív önfejlesztés révén létrejövő rendszerek "szélsőséges kockázatokat hordoznak. Ez már most előkészítő intézkedéseket tesz szükségessé." Úgy tűnik, hogy az Anthropic is egyre inkább osztja ezt a nézetet.
Jelenleg több fizikai korlát is akadályozza az önfejlesztés felgyorsulását. Ezek közül a legfontosabb a számítási kapacitáshoz való hozzáférés. Az újabb modellek a hatékonyság javulása ellenére is több számítási teljesítményt igényelnek tanításuk során, mint elődeik, ezért a fejlődés ütemét nagyrészt az adatközpontok építésének sebessége határozza meg. Az MI fogyasztói használata szintén lassíthatja a kutatási és fejlesztési folyamatokat. Helen Toner, a CSET ideiglenes ügyvezető igazgatója szerint az adatközpontok korlátozott kapacitását meg kell osztani a fizető ügyfelek kiszolgálása, a jövőbeli modellek tanítása és a nyitott kutatási projektek között. Minél nagyobb az első kategória iránti kereslet, annál kevesebb erőforrás marad rövid távon a másik kettőre.
További kérdéseket vet fel a tanító adatok problémája. Az MI fejlődésének jelentős része olyan területeken történt, ahol a rendszerek ellenőrizhető jutalmazás révén saját maguk is képesek tanulni. Egy program vagy működik, vagy nem. Egy matematikai bizonyítás vagy helyes, vagy hibás. Ilyen esetekben a modellek által előállított szintetikus adatok ellenőrizhetők, és biztonságosan felhasználhatók újabb modellek tanításához. Sokkal nehezebb azonban javítani egy rendszer kreatív írási képességeit vagy jogi ítélőképességét. Ha ezekben a területekben továbbra is a valós világból származó tapasztalatokra lesz szükség, az korlátozhatja az önfejlesztés lehetőségeit.
A körfolyamat bezárása fontos állomás lehet a szuperintelligencia felé vezető úton, és világnézettől függően jelentheti akár az utópiát, akár a végzetet. Ugyanakkor nem ez az egyetlen feltétele annak, hogy a mesterséges intelligencia képességei exponenciális növekedésnek induljanak.
Amikor az Anthropic, egy mesterséges intelligenciával foglalkozó kutatólabor még az idén megjelenik a tőzsdén, várhatóan a történelem egyik legnagyobb nyilvános részvénykibocsátását hajtja végre. Ennek egyik fő oka, hogy a vállalat Claude nevű chatbotja rendkívül népszerű a programozók körében, akik jelentős összegeket hajlandók fizetni a hozzáférésért. A Claude Code nevű szoftverfejlesztő ügynök 2025 februári indulása óta világszerte nélkülözhetetlen eszközzé vált a fejlesztők számára. Ez alól maga az Anthropic sem kivétel: a vállalat állítása szerint a májusban közzétett programkódjának több mint négyötödét Claude írta. A Claude Code megjelenése előtt ez az arány mindössze "alacsony egy számjegyű" volt.
A rendszerek nemcsak a létrehozott tartalom mennyiségében, hanem annak minőségében is jelentősen fejlődtek. A METR nevű agytröszt egyik meghatározó mérőszáma szerint 2025 elején az Anthropic modelljei olyan feladatokat tudtak elvégezni, amelyek egy emberi szoftvermérnöknek valamivel kevesebb mint egy órát vettek volna igénybe. A vállalat legújabb rendszerei már olyan munkákat is képesek megoldani, amelyek egy ember számára több mint egy teljes munkanapot igényelnének. Éppen ezért sokakból cinikus reakciót válthat ki, amikor az iparág egyik éllovasa, amely jelenleg felülmúlja versenytársait, azt szorgalmazza, hogy a világnak legyen "lehetősége lassítani vagy ideiglenesen szüneteltetni a fejlett MI fejlesztését". Melyik piacvezető ne szeretné, ha a riválisai abbahagynák a felzárkózási kísérleteket?
Mégis úgy tűnik, hogy az Anthropic vezetői őszintén aggódnak. Évek óta figyelmeztetnek arra a lehetőségre, hogy az emberi ellenőrzés alól kicsúszó MI súlyos károkat okozhat. A mesterséges intelligencia legújabb generációi annyira kompetens programozókká, mérnökökké és hamarosan tudósokká válhatnak, hogy sokan attól tartanak, ezek lehetnek az utolsó olyan rendszerek, amelyeket még emberek alkottak. Jack Clark, az Anthropic egyik társalapítója szerint 60 százalék az esélye annak, hogy 2028 végére létrejön egy olyan MI rendszer, amely képes lesz teljes egészében emberi közreműködés nélkül megalkotni saját utódját.
Ez a pillanat egy úgynevezett "rekurzív önfejlesztésnek" nevezett folyamat kezdetét jelentené. Ez egy zárt körfolyamat. A modell első változata létrehozza a másodikat, amely gyorsabb és fejlettebb. A második elkészíti a harmadikat, amely még fejlettebb lesz. A folyamat tovább folytatódik, és minden újabb iterációval növekednek a képességek. Ha sikerül egy ilyen MI rendszert megalkotni, az emberi mérnököknek többé nem kell új rendszereket építeniük. Clark szerint "ami sokak számára csupán fantáziadús történetnek tűnhet, az valójában egy létező trend lehet".
Senki sem tudja biztosan, milyen következményekkel járna a rekurzív önfejlesztés. Mivel az MI az emberekkel ellentétben fáradhatatlanul és folyamatosan dolgozhat, egyesek úgy vélik, hogy rövid időn belül szuperintelligens rendszerek kialakulásához vezetne. Ezt gyakran "gyors felszállásnak" (fast take-off) nevezik. Megjelent egy játékosabb elnevezés is, a "foom", amely azt a hangot idézi fel, amelyet egy intelligenciarobbanás okozhatna. Az MI veszélyeire figyelmeztetők attól tartanak, hogy az így létrejövő szuperintelligencia az emberi ellenőrzésen kívül kerülne, és a rekurzív önfejlesztés kezdetével az emberiség sorsa a gépek kezébe kerülne. Ugyanakkor egy önmagát fejlesztő MI valószínűleg kezdetben sebességkorlátokba ütközne.
Egy ilyen rendszer létrehozásához automatizálni kellene számos olyan speciális feladatot, amelyeket jelenleg emberek végeznek. Ma adattudósok dolgoznak az MI elméleti alapjain, míg programozók valósítják meg azokat a gyakorlatban. Rendszermérnökök építik ki azokat az alapokat, amelyek révén a kísérleti modellek ipari méretű rendszerekké válhatnak. Más szakemberek új tanítási adatforrásokat keresnek, vagy azok előállításának új módjait kutatják. A biztonsági és összehangolási csapatok pedig ellenőrzik, hogy a tanítási folyamat eredménye ne okozzon szándékos vagy véletlen károkat.
Nem minden ilyen feladat automatizálható egyforma könnyedséggel, és minden szakterületen vannak olyan részfeladatok, amelyek könnyebben átadhatók a gépeknek, mint mások. Nem valószínű, hogy sok időnek kell eltelnie addig, amíg egy emberi programozó úgy végezheti a munkáját, hogy egyetlen sornyi kódot sem ír saját kezűleg. Az azonban elképzelhető, hogy még hosszabb ideig tart majd, mire egy MI önállóan tárgyalhat egy korábban nem digitalizált tudományos dokumentumgyűjtemény megszerzéséről.
Nem mindig egyértelmű, hogyan halad előre ez az úgynevezett "egyenetlen határvonal". Sokáig úgy tűnt, hogy az új algoritmusok tervezése az egyik legbiztonságosabb emberi feladat marad. Ezt a feltételezést azonban megingatta a Google DeepMind AlphaEvolve nevű rendszere, amely 2025 májusában algoritmusfejlesztési feladatokat kezdett ellátni. Javaslatot tett arra, hogyan ossza el hatékonyabban a Google a terhelést adatközpontjai között, amivel a vállalat teljes számítási kapacitásának 0,7 százalékát sikerült megtakarítani. Emellett jobb módszereket talált a mátrixszorzás végrehajtására, ami 1 százalékkal gyorsította fel a Gemini nevű nagy nyelvi modell tanítását.
A teljes rekurzív önfejlesztéshez a folyamat minden egyes elemének automatizálttá kell válnia. Az MI által támogatott kutatás és fejlesztés felgyorsulása azonban már ezt megelőzően is érezhető lehet. A Georgetown Egyetemhez tartozó Centre for Security and Emerging Technology januárban közzétett jelentése szerint "ahogy az MI kutatás és fejlesztés egyre nagyobb részét MI rendszerek végzik, az emberi kutatásra épülő fejlesztésekhez képest tízszeres, százszoros, majd ezerszeres termelékenységnövekedés következhet be". A jelentés arra is figyelmeztet, hogy még ha a kutatás egyes területei kezdetben nehezen automatizálhatók is, "a fejlődés felgyorsult üteme miatt ezek a szűk keresztmetszetek hamar megszűnhetnek".
Jelenleg egyetlen MI modell sem képes önállóan megalkotni saját utódját. A nagy rendszerek azonban már képesek kisebb modelleket létrehozni. Emberi segítséggel pedig más nagy MI rendszereket is meg tudnak alkotni. Az év elején Andrej Karpathy, aki akkor még független kutatóként dolgozott, ma pedig az Anthropic munkatársa, olyan chatbotot tanított be, amely nagyjából a 2019-ben bemutatott GPT-2 képességeivel rendelkezett. Akkoriban ennek a modellnek az elkészítése 168 órányi tanítást igényelt 32 korszerű processzoron. Karpathy ugyanazt az eredményt egyetlen számítógéppel, nyolc GPU segítségével, mindössze három óra alatt érte el. Néhány hónap további munkával a Nanochat nevű modell tanítási idejét valamivel több mint két órára csökkentette.
Márciusban a tanítási folyamat további gyorsítását egy Autoresearch nevű MI ügynökre bízta. Két nap alatt az időtartam egy óra negyvennyolc percre csökkent, majd öt nappal később már csak egy óra harminckilenc percet vett igénybe. Karpathy szerint: "Semmihez sem nyúltam." A 18 százalékos javulás azért figyelemre méltó, mert Karpathy kiemelkedően tehetséges szakember. Az OpenAI kutatócsapatának alapító tagja volt, majd öt éven keresztül a Tesla MI részlegének vezetőjeként dolgozott. A fejlesztések önmagukban nem voltak különösebben látványosak. Az MI ügynök jobb kezdőértékeket választott a tanításhoz, kiszélesítette a modell figyelmi ablakát, és felismerte, hogy a rendszer fókusza időnként elkalandozik. Karpathy szerint ezek közül egyik sem számított különösen újszerű ötletnek. Egyszerűen ő maga nem vette őket észre. "Ezek összeadódtak, és valóban jobbá tették a Nanochatet" - mondta.
Az ehhez hasonló gyorsulás szinte elkerülhetetlen, ahogy a modellek egyre fejlettebbé válnak. A több terabájtos fejlett rendszerek építése gyakran jóval kevésbé látványos munka, mint amit az iparág magas fizetései és elegáns irodái sugallnak. Sokszor külső szolgáltatóktól származó infrastruktúraelemek összekapcsolásából, hardveres és szoftveres hibák javításából, valamint a tanítási folyamat kezdeti paramétereinek finomhangolásából áll. E feladatok jelentős részét az MI már ma is képes elvégezni viszonylag kevés emberi felügyelet mellett.
Joe Spisak, a Reflection AI kutatója szerint azonban még az összetettebb szellemi feladatok automatizálása is egyre közelebb kerül. Ha egy fejlett rendszernek bemutatnak egy vázlatos elképzelést arról, hogyan lehetne hatékonyabbá tenni egy folyamatot, egyre inkább képes önállóan megtervezni a kísérletet, lefuttatni azt egy kisebb modellen, elemezni az eredményeket, majd olyan megoldási tervvel előállni, amely már nagyobb léptékben is alkalmazható.
Az ilyen feladatokat, amelyek az embereknek órákba telnek, az MI rendszerek körülbelül harminc perc alatt képesek elvégezni. Az emberek szerepe fokozatosan a kutatási igazgatóéhoz válik hasonlóvá: meghatározzák az irányokat és kijelölik a kísérleteket, miközben az MI maga írja meg a kódot, javítja a hibákat, optimalizálja és figyeli a folyamatokat. Ez a termelékenységnövekedés egyszerre vonzó és nyugtalanító. Ahogy az emberek szerepe zsugorodik, fennáll a veszélye annak, hogy elveszítik az ellenőrzést. A végső eredmény olyan modellek világa lehet, amelyeket más modellek tanítanak, olyan célok érdekében, amelyeket szintén modellek határoznak meg, miközben biztonságukat kizárólag más modellek ellenőrzik.
Egyesek katasztrófától tartanak. Max Tegmark, a Massachusettsi Műszaki Egyetem fizikusa és gépi tanulással foglalkozó kutatója szerint ez olyan lenne, mintha valaki lehunyt szemmel teljes gázzal száguldana az autópályán. Az eredmény szerinte biztos végzet lenne, amennyiben a sofőr nem nyitja ki a szemét. Tegmark úgy véli, hogy a nagy teljesítményű MI rendszerek kiszoríthatják az embereket a kormányzati és gazdasági döntéshozatalból, példátlan hatalmat adhatnak azok kezébe, akik először hozzák létre őket, vagy egyszerűen közömbössé válhatnak az emberiség iránt, és fokozatosan háttérbe szoríthatják az embereket az adatközpontok és az energiatermelés bővítése érdekében. Három évvel ezelőtt Tegmark globális szünetet sürgetett az MI fejlesztésében, mivel úgy vélte, hogy a GPT-4 létrehozása már akkor is egy ilyen vakmerő utazás kezdetét jelentette. Az idei CSET jelentés szerint a rekurzív önfejlesztés révén létrejövő rendszerek "szélsőséges kockázatokat hordoznak. Ez már most előkészítő intézkedéseket tesz szükségessé." Úgy tűnik, hogy az Anthropic is egyre inkább osztja ezt a nézetet.
Jelenleg több fizikai korlát is akadályozza az önfejlesztés felgyorsulását. Ezek közül a legfontosabb a számítási kapacitáshoz való hozzáférés. Az újabb modellek a hatékonyság javulása ellenére is több számítási teljesítményt igényelnek tanításuk során, mint elődeik, ezért a fejlődés ütemét nagyrészt az adatközpontok építésének sebessége határozza meg. Az MI fogyasztói használata szintén lassíthatja a kutatási és fejlesztési folyamatokat. Helen Toner, a CSET ideiglenes ügyvezető igazgatója szerint az adatközpontok korlátozott kapacitását meg kell osztani a fizető ügyfelek kiszolgálása, a jövőbeli modellek tanítása és a nyitott kutatási projektek között. Minél nagyobb az első kategória iránti kereslet, annál kevesebb erőforrás marad rövid távon a másik kettőre.
További kérdéseket vet fel a tanító adatok problémája. Az MI fejlődésének jelentős része olyan területeken történt, ahol a rendszerek ellenőrizhető jutalmazás révén saját maguk is képesek tanulni. Egy program vagy működik, vagy nem. Egy matematikai bizonyítás vagy helyes, vagy hibás. Ilyen esetekben a modellek által előállított szintetikus adatok ellenőrizhetők, és biztonságosan felhasználhatók újabb modellek tanításához. Sokkal nehezebb azonban javítani egy rendszer kreatív írási képességeit vagy jogi ítélőképességét. Ha ezekben a területekben továbbra is a valós világból származó tapasztalatokra lesz szükség, az korlátozhatja az önfejlesztés lehetőségeit.
A körfolyamat bezárása fontos állomás lehet a szuperintelligencia felé vezető úton, és világnézettől függően jelentheti akár az utópiát, akár a végzetet. Ugyanakkor nem ez az egyetlen feltétele annak, hogy a mesterséges intelligencia képességei exponenciális növekedésnek induljanak.