SG.hu·
Elveszítheti az emberiség az irányítást a mesterséges intelligencia felett?
Szakértők szerint néhány éven belül létrejöhetnek olyan mesterséges intelligenciák, amelyek emberi közreműködés nélkül képesek lesznek saját utódaik megalkotására és folyamatos fejlesztésére.
Az Anthropic mesterségesintelligencia-laboratórium nemsokára megjelenik a tőzsdéken, és várhatóan a történelem egyik legnagyobb nyilvános részvénykibocsátását hajtja majd végre. Ennek oka, hogy a vállalat Claude nevű chatbotját a programozók rajongva szeretik, és hajlandók jelentős összegeket fizetni a hozzáférésért. Amióta 2025 februárjában elindult a Claude Code nevű szoftverfejlesztő ügynök, a világ számos programozója számára nélkülözhetetlenné vált. Ez az Anthropic saját munkatársaira is igaz: a vállalat állítása szerint a májusban közzétett kód több mint négyötödét a Claude írta. A Claude Code indulása előtt ez az arány „alacsony egy számjegyű százalék” volt.
A rendszerek nemcsak a kibocsátott munka mennyiségében, hanem annak minőségében is javultak. A METR nevű kutatóintézet egyik mérőszáma szerint 2025 elején az Anthropic modelljei csak olyan feladatokat tudtak elvégezni, amelyek egy emberi mérnöknek valamivel kevesebb, mint egy órájába teltek volna. A vállalat legújabb rendszerei már olyan feladatokat is képesek végrehajtani, amelyek egy teljes munkanapnál is több időt vennének igénybe. Ezért könnyű cinikusan fogadni, amikor a csúcson lévő, versenytársait maga mögé utasító vállalat azt sürgeti, hogy a világnak legyen „lehetősége lassítani vagy ideiglenesen szüneteltetni a határterületi MI fejlesztését”, ahogyan azt június 5-én tette. Melyik piacvezető ne szeretné, ha a versenytársai felhagynának a felzárkózási kísérletekkel?
Az Anthropic vezetői azonban, akik évek óta aggódnak a kontrollálhatatlanná váló MI által okozott pusztítás lehetősége miatt, őszintének tűnnek. A mesterséges intelligencia legújabb generációja olyan kiváló programozó, mérnök és hamarosan tudós is, hogy sokan attól tartanak, ezek lehetnek az utolsó olyan rendszerek, amelyeket még emberek készítettek. Jack Clark, az Anthropic egyik társalapítója úgy véli, 60 százalék az esélye annak, hogy 2028 végére egy MI-rendszer képes lesz emberi közreműködés nélkül létrehozni saját utódját.
Ez a pillanat a „rekurzív önfejlesztésnek” (recursive self-improvement, RSI) nevezett folyamat kezdetét jelentené, amely egy zárt hurkot alkot. Egy modell első verziója létrehozza a második verziót, amely gyorsabb és többre képes. A második verzió elkészíti a harmadikat, amely még fejlettebb. A ciklus folytatódik, és minden egyes iterációval nő a fejlődés mértéke. Ha sikerül egy erre képes MI-rendszert építeni, az emberi mérnököknek többé nem kell új rendszert alkotniuk. „Ami sokak számára puszta fantáziának tűnhet, valójában valós trend lehet” - mondja Clark.
Senki sem tudja biztosan, milyen következményei lennének az RSI-nek. Mivel a mesterséges intelligencia - az emberektől eltérően - fáradhatatlanul és szünet nélkül képes dolgozni, egyesek úgy vélik, hogy ez rövid időn belül egy szuperintelligens mesterséges intelligenciához vezetne. Az MI-katasztrófát jósolók attól tartanak, hogy a szuperintelligencia kikerülne az emberi ellenőrzés alól, és hogy az RSI kezdete az a pillanat, amikor az emberiség sorsa a gépek kezébe kerül. Egy önfejlesztő MI azonban valószínűleg sebességkorlátokba ütközne, legalábbis kezdetben.
Egy RSI-re képes modell létrehozásához számos olyan speciális feladat automatizálására lenne szükség, amelyeket jelenleg emberek végeznek. Jelenleg adattudósok dolgoznak az MI elméletén, a programozók pedig a gyakorlatba ültetik azt. Rendszermérnökök építik fel azokat az alapokat, amelyekre a kísérleti modelleket termelési méretű rendszerekké lehet fejleszteni. Más szakemberek új tanítási adatforrásokat kutatnak fel, vagy azok előállításának új módjaival kísérleteznek. Az összehangolási és biztonsági csapatok pedig ellenőrzik, hogy a tanítási folyamat eredménye ne okozzon kárt, akár szándékosan, akár véletlenül.
Nem minden ilyen csapat munkája egyformán alkalmas arra, hogy MI segítse, és minden szakterületen vannak olyan feladatok, amelyeket könnyebb automatizálni, mint másokat. Nem kell sok időnek eltelnie ahhoz, hogy egy emberi programozó úgy végezhesse a munkáját, hogy egyetlen sor kódot sem ír saját kezűleg, de lehet, hogy még sokáig tart, amíg egy MI képes lesz tárgyalásokat folytatni egy korábban nem digitalizált tudományos tanulmánygyűjtemény megszerzéséről. Nem mindig nyilvánvaló, hogyan halad előre ez a folyamat. Az új algoritmusok tervezése például sokáig az egyik biztonságosabbnak vélt feladat volt, mígnem a Google DeepMind egyik modellje, az AlphaEvolve 2025 májusában el nem kezdte azt is elvégezni. A rendszer javasolt egy módosítást arra vonatkozóan, hogyan ossza el a Google a terhelést adatközpontjai között, amellyel a vállalat globális számítási kapacitásának 0,7 százalékát sikerült megtakarítani. Emellett jobb módszereket talált a mátrixszorzás végrehajtására is, ami 1 százalékkal gyorsította a Gemini, a vállalat zászlóshajó nagy nyelvi modelljének tanítását.
A teljes RSI megvalósulásához ennek a folyamatláncnak minden feladatát automatizálni kellene. Az MI által hajtott kutatás-fejlesztési gyorsulás azonban már ezt megelőzően is érezhető lehet. A Georgetown Egyetemhez tartozó Centre for Security and Emerging Technology (CSET) nevű kutatóintézet januárban közzétett jelentése szerint „ahogy az MI-kutatás és fejlesztés MI-rendszerek által végzett részaránya növekszik, az emberi kutatás-fejlesztéshez viszonyított termelékenységi többlet” először tízszeresére, majd százszorosára, végül ezerszeresére nőhet. A jelentés arra figyelmeztet, hogy még ha az MI-kutatás és fejlesztés bizonyos elemei kezdetben nehezen automatizálhatók is, „a felgyorsult fejlődési ütem miatt ezek a szűk keresztmetszetek hamar leküzdhetők”.
Ma még egyetlen MI-modell sem képes saját utódját létrehozni, a nagy MI-modellek azonban már önállóan is képesek kisebb modelleket építeni. Emberi segítséggel pedig más nagy MI-modelleket is képesek létrehozni. Az év elején Andrej Karpathy - aki akkor még független kutató volt, ma pedig az Anthropic munkatársa - betanított egy olyan chatbotot, amely nagyjából a GPT-2 képességeivel rendelkezik, vagyis az OpenAI által 2019-ben létrehozott nagy nyelvi modell szintjén áll. Akkoriban a modell felépítéséhez 168 órányi tanításra volt szükség 32 csúcskategóriás chip használatával. Karpathy ugyanezt az eredményt mindössze három óra alatt elérte egyetlen számítógéppel és nyolc GPU-val. Néhány további hónapnyi munkával a Nanochat nevű modell tanítási idejét valamivel több mint két órára csökkentette.
Márciusban a tanítási folyamat gyorsításának feladatát egy Autoresearch nevű MI-ügynökre bízta. Két nap alatt a tanítási idő 1 óra 48 percre csökkent, öt nappal később pedig már csak 1 óra 39 perc volt. „Én semmihez sem nyúltam hozzá” - mondja Karpathy. Az emberi munkához képest elért 18 százalékos javulás különösen figyelemre méltó, mivel Karpathy kivételesen tehetséges szakember: alapító tagja volt az OpenAI kutatócsapatának, és öt éven át a Tesla MI-részlegének vezetőjeként dolgozott. Maguk a fejlesztések meglehetősen hétköznapiak voltak. Az MI-ügynök jobb kezdőértékeket választott a tanítási futtatáshoz, kibővítette a nagy nyelvi modell „figyelmi” ablakát, és észrevette, hogy a modell fókusza elkalandozik. Karpathy szerint egyik megoldás sem különösebben újszerű, ő maga azonban nem vette észre ezeket. „Összeadódnak, és valóban jobbá tették a Nanochatet” - mondja.
Az ilyen jellegű gyorsulás elkerülhetetlen, ahogy a modellek egyre erősebbé válnak. A több terabájtos határterületi modellek építésével kapcsolatos munka jelentős része jóval kevésbé látványos, mint amit az MI-ipar hatalmas fizetései és elegáns irodái sugallnak. A feladatok közé tartozik a külső beszállítóktól vásárolt infrastruktúraelemek összekapcsolása, a hardveres és szoftveres rendszerek hibakeresése, valamint a „hiperparaméterek”, vagyis a tanítási folyamat kezdeti beállításainak finomhangolása addig, amíg az eredmény megfelelő nem lesz. Egy MI-rendszer ma már ennek jelentős részét minimális felügyelet mellett képes elvégezni.
Joe Spisak, a New York-i székhelyű Reflection AI kutatója szerint azonban még az összetettebb szellemi munka is közel áll az automatizáláshoz. A laboratórium olyan nyílt súlyú határterületi modelleket fejleszt, amelyek paraméterei nyilvánosan hozzáférhetők. Ha egy modern rendszert ellátnak egy nagyjábóli ötlettel arról, hogyan lehetne javítani a hatékonyságot, egyre inkább képes önállóan megtervezni a kísérletet, teszteket futtatni egy egyszerű modellen, kiértékelni az eredményeket, majd egy olyan tervvel előállni, amely már nagy léptékben is bevezethető.
Az MI-modellek az ilyen, emberek számára órákig tartó feladatokat körülbelül 30 perc alatt képesek elvégezni. Az emberek szerepe egyre inkább a kutatási igazgató szerepére korlátozódik: ők irányítják, hogy az MI milyen kísérleteket futtasson, miközben a modellek maguk írják a kódot, hibát keresnek, optimalizálnak és felügyelik a folyamatokat. A termelékenységnövekedés rendkívül csábító, de egyben riasztó is. Ahogy az emberek szerepe zsugorodik a termelési folyamatban, elveszíthetik az ellenőrzést. A végeredmény olyan modellek világa lehet, amelyeket modellek tanítanak, modellek által kitűzött célok elérése érdekében, és amelyek biztonságát kizárólag más modellek ellenőrzik.
Vannak, akik katasztrófától tartanak. Max Tegmark, aki a Massachusetts Institute of Technology gépi tanulással foglalkozó kutatója, és az elmúlt évtized nagy részét az MI-biztonság melletti kampányolással töltötte ezt ahhoz hasonlítja, mintha valaki csukott szemmel tövig nyomná a gázpedált az autópályán. Az eredmény biztos pusztulás lenne - mondta -, amennyiben a sofőr továbbra sem hajlandó kinyitni a szemét. Tegmark professzor több forgatókönyvet is felvázol arra, hogyan romolhatnak el a dolgok. A nagy teljesítményű MI-rendszerek kiszoríthatják az embereket a kormányzati és üzleti döntéshozatalból, megfosztva az emberiséget a befolyásától. Korlátlan hatalmat adhatnak annak, aki elsőként hozza létre őket, ezzel globális totalitarizmust teremtve. Vagy egyszerűen teljesen érdektelenné válhat számukra az emberiség, és fokozatosan kiszoríthatják az embereket, hogy helyet csináljanak további adatközpontoknak és energiatermelő létesítményeknek.
Három évvel ezelőtt Tegmark professzor egy globális MI-fejlesztési szünet mellett érvelt, mondván, hogy az akkor élvonalbeli GPT-4 létrehozása gyakorlatilag egyenértékű ezzel a bekötött szemű kalanddal. Az idei CSET-jelentés arra figyelmeztetett, hogy az RSI által létrehozott rendszerek „szélsőséges kockázatokat hordoznak. Ez már most előkészítő intézkedéseket indokol.” Úgy tűnik, az Anthropic ma már közel áll ahhoz, hogy egyetértsen ezzel az állásponttal.
Számos fizikai korlát is létezik, amely egyelőre határt szab annak a sebességnek, amellyel a modellek képesek önmagukat fejleszteni. Ezek közül a legfontosabb a számítási kapacitáshoz való hozzáférés. A hatékonyságnövekedés ellenére az újabb modellek tanítása továbbra is több számítási erőforrást igényel, mint elődeiké, így a fejlődés ütemét végső soron az adatközpontok építésének tempója határozza meg. Helen Toner, a CSET ügyvezető igazgatója és a jelentés egyik vezető szerzője szerint az MI fogyasztói felhasználása szintén lassíthatja az MI által hajtott kutatás-fejlesztést. Az MI-adatközpontok korlátozott kapacitását gondosan kell megosztani a fizető ügyfelek kiszolgálása, a jövőbeni modellek tanítása és a nyílt végű kutatás-fejlesztés között. Minél nagyobb a kereslet az első kategóriában, annál kevesebb kapacitás marad rövid távon a másik kettőre.
Ott van továbbá a tanítási adatok kérdése is. Az MI közelmúltbeli fejlődésének jelentős része olyan területeken történt, ahol a modellek az úgynevezett „ellenőrizhető jutalmak” segítségével saját magukat tudják megtanítani a sikerre. Egy szoftver vagy működik, vagy nem. Egy matematikai bizonyítás vagy helyes, vagy nem. Ilyen esetekben a szintetikus adatokat, amelyeket modellek kizárólag más modellek tanítására generálnak, ellenőrizni lehet pontosság szempontjából, majd hozzá lehet adni a tanítási adathalmazhoz anélkül, hogy fennállna annak a torzulásnak a veszélye, amely általában akkor jelentkezik, amikor egy MI-t saját kimenetén tanítanak. Sokkal nehezebb azonban egy modellt jobbá tenni kreatív írásban vagy jogi ítéletalkotásban. Ha a modelleknek a valós világból kell tanulniuk, az szintén korlátozhatja az önfejlesztés lehetőségeit.
A „hurok bezárása” a szuperintelligencia felé vezető út egyik lépése lehet, és vérmérséklettől függően akár utópiához, akár végzethez vezethet. De ez nem az egyetlen lépés, amely szükséges a mesterséges intelligencia képességeinek exponenciális növekedéséhez.
Az Anthropic mesterségesintelligencia-laboratórium nemsokára megjelenik a tőzsdéken, és várhatóan a történelem egyik legnagyobb nyilvános részvénykibocsátását hajtja majd végre. Ennek oka, hogy a vállalat Claude nevű chatbotját a programozók rajongva szeretik, és hajlandók jelentős összegeket fizetni a hozzáférésért. Amióta 2025 februárjában elindult a Claude Code nevű szoftverfejlesztő ügynök, a világ számos programozója számára nélkülözhetetlenné vált. Ez az Anthropic saját munkatársaira is igaz: a vállalat állítása szerint a májusban közzétett kód több mint négyötödét a Claude írta. A Claude Code indulása előtt ez az arány „alacsony egy számjegyű százalék” volt.
A rendszerek nemcsak a kibocsátott munka mennyiségében, hanem annak minőségében is javultak. A METR nevű kutatóintézet egyik mérőszáma szerint 2025 elején az Anthropic modelljei csak olyan feladatokat tudtak elvégezni, amelyek egy emberi mérnöknek valamivel kevesebb, mint egy órájába teltek volna. A vállalat legújabb rendszerei már olyan feladatokat is képesek végrehajtani, amelyek egy teljes munkanapnál is több időt vennének igénybe. Ezért könnyű cinikusan fogadni, amikor a csúcson lévő, versenytársait maga mögé utasító vállalat azt sürgeti, hogy a világnak legyen „lehetősége lassítani vagy ideiglenesen szüneteltetni a határterületi MI fejlesztését”, ahogyan azt június 5-én tette. Melyik piacvezető ne szeretné, ha a versenytársai felhagynának a felzárkózási kísérletekkel?
Az Anthropic vezetői azonban, akik évek óta aggódnak a kontrollálhatatlanná váló MI által okozott pusztítás lehetősége miatt, őszintének tűnnek. A mesterséges intelligencia legújabb generációja olyan kiváló programozó, mérnök és hamarosan tudós is, hogy sokan attól tartanak, ezek lehetnek az utolsó olyan rendszerek, amelyeket még emberek készítettek. Jack Clark, az Anthropic egyik társalapítója úgy véli, 60 százalék az esélye annak, hogy 2028 végére egy MI-rendszer képes lesz emberi közreműködés nélkül létrehozni saját utódját.
Ez a pillanat a „rekurzív önfejlesztésnek” (recursive self-improvement, RSI) nevezett folyamat kezdetét jelentené, amely egy zárt hurkot alkot. Egy modell első verziója létrehozza a második verziót, amely gyorsabb és többre képes. A második verzió elkészíti a harmadikat, amely még fejlettebb. A ciklus folytatódik, és minden egyes iterációval nő a fejlődés mértéke. Ha sikerül egy erre képes MI-rendszert építeni, az emberi mérnököknek többé nem kell új rendszert alkotniuk. „Ami sokak számára puszta fantáziának tűnhet, valójában valós trend lehet” - mondja Clark.
Senki sem tudja biztosan, milyen következményei lennének az RSI-nek. Mivel a mesterséges intelligencia - az emberektől eltérően - fáradhatatlanul és szünet nélkül képes dolgozni, egyesek úgy vélik, hogy ez rövid időn belül egy szuperintelligens mesterséges intelligenciához vezetne. Az MI-katasztrófát jósolók attól tartanak, hogy a szuperintelligencia kikerülne az emberi ellenőrzés alól, és hogy az RSI kezdete az a pillanat, amikor az emberiség sorsa a gépek kezébe kerül. Egy önfejlesztő MI azonban valószínűleg sebességkorlátokba ütközne, legalábbis kezdetben.
Egy RSI-re képes modell létrehozásához számos olyan speciális feladat automatizálására lenne szükség, amelyeket jelenleg emberek végeznek. Jelenleg adattudósok dolgoznak az MI elméletén, a programozók pedig a gyakorlatba ültetik azt. Rendszermérnökök építik fel azokat az alapokat, amelyekre a kísérleti modelleket termelési méretű rendszerekké lehet fejleszteni. Más szakemberek új tanítási adatforrásokat kutatnak fel, vagy azok előállításának új módjaival kísérleteznek. Az összehangolási és biztonsági csapatok pedig ellenőrzik, hogy a tanítási folyamat eredménye ne okozzon kárt, akár szándékosan, akár véletlenül.
Nem minden ilyen csapat munkája egyformán alkalmas arra, hogy MI segítse, és minden szakterületen vannak olyan feladatok, amelyeket könnyebb automatizálni, mint másokat. Nem kell sok időnek eltelnie ahhoz, hogy egy emberi programozó úgy végezhesse a munkáját, hogy egyetlen sor kódot sem ír saját kezűleg, de lehet, hogy még sokáig tart, amíg egy MI képes lesz tárgyalásokat folytatni egy korábban nem digitalizált tudományos tanulmánygyűjtemény megszerzéséről. Nem mindig nyilvánvaló, hogyan halad előre ez a folyamat. Az új algoritmusok tervezése például sokáig az egyik biztonságosabbnak vélt feladat volt, mígnem a Google DeepMind egyik modellje, az AlphaEvolve 2025 májusában el nem kezdte azt is elvégezni. A rendszer javasolt egy módosítást arra vonatkozóan, hogyan ossza el a Google a terhelést adatközpontjai között, amellyel a vállalat globális számítási kapacitásának 0,7 százalékát sikerült megtakarítani. Emellett jobb módszereket talált a mátrixszorzás végrehajtására is, ami 1 százalékkal gyorsította a Gemini, a vállalat zászlóshajó nagy nyelvi modelljének tanítását.
A teljes RSI megvalósulásához ennek a folyamatláncnak minden feladatát automatizálni kellene. Az MI által hajtott kutatás-fejlesztési gyorsulás azonban már ezt megelőzően is érezhető lehet. A Georgetown Egyetemhez tartozó Centre for Security and Emerging Technology (CSET) nevű kutatóintézet januárban közzétett jelentése szerint „ahogy az MI-kutatás és fejlesztés MI-rendszerek által végzett részaránya növekszik, az emberi kutatás-fejlesztéshez viszonyított termelékenységi többlet” először tízszeresére, majd százszorosára, végül ezerszeresére nőhet. A jelentés arra figyelmeztet, hogy még ha az MI-kutatás és fejlesztés bizonyos elemei kezdetben nehezen automatizálhatók is, „a felgyorsult fejlődési ütem miatt ezek a szűk keresztmetszetek hamar leküzdhetők”.
Ma még egyetlen MI-modell sem képes saját utódját létrehozni, a nagy MI-modellek azonban már önállóan is képesek kisebb modelleket építeni. Emberi segítséggel pedig más nagy MI-modelleket is képesek létrehozni. Az év elején Andrej Karpathy - aki akkor még független kutató volt, ma pedig az Anthropic munkatársa - betanított egy olyan chatbotot, amely nagyjából a GPT-2 képességeivel rendelkezik, vagyis az OpenAI által 2019-ben létrehozott nagy nyelvi modell szintjén áll. Akkoriban a modell felépítéséhez 168 órányi tanításra volt szükség 32 csúcskategóriás chip használatával. Karpathy ugyanezt az eredményt mindössze három óra alatt elérte egyetlen számítógéppel és nyolc GPU-val. Néhány további hónapnyi munkával a Nanochat nevű modell tanítási idejét valamivel több mint két órára csökkentette.
Márciusban a tanítási folyamat gyorsításának feladatát egy Autoresearch nevű MI-ügynökre bízta. Két nap alatt a tanítási idő 1 óra 48 percre csökkent, öt nappal később pedig már csak 1 óra 39 perc volt. „Én semmihez sem nyúltam hozzá” - mondja Karpathy. Az emberi munkához képest elért 18 százalékos javulás különösen figyelemre méltó, mivel Karpathy kivételesen tehetséges szakember: alapító tagja volt az OpenAI kutatócsapatának, és öt éven át a Tesla MI-részlegének vezetőjeként dolgozott. Maguk a fejlesztések meglehetősen hétköznapiak voltak. Az MI-ügynök jobb kezdőértékeket választott a tanítási futtatáshoz, kibővítette a nagy nyelvi modell „figyelmi” ablakát, és észrevette, hogy a modell fókusza elkalandozik. Karpathy szerint egyik megoldás sem különösebben újszerű, ő maga azonban nem vette észre ezeket. „Összeadódnak, és valóban jobbá tették a Nanochatet” - mondja.
Az ilyen jellegű gyorsulás elkerülhetetlen, ahogy a modellek egyre erősebbé válnak. A több terabájtos határterületi modellek építésével kapcsolatos munka jelentős része jóval kevésbé látványos, mint amit az MI-ipar hatalmas fizetései és elegáns irodái sugallnak. A feladatok közé tartozik a külső beszállítóktól vásárolt infrastruktúraelemek összekapcsolása, a hardveres és szoftveres rendszerek hibakeresése, valamint a „hiperparaméterek”, vagyis a tanítási folyamat kezdeti beállításainak finomhangolása addig, amíg az eredmény megfelelő nem lesz. Egy MI-rendszer ma már ennek jelentős részét minimális felügyelet mellett képes elvégezni.
Joe Spisak, a New York-i székhelyű Reflection AI kutatója szerint azonban még az összetettebb szellemi munka is közel áll az automatizáláshoz. A laboratórium olyan nyílt súlyú határterületi modelleket fejleszt, amelyek paraméterei nyilvánosan hozzáférhetők. Ha egy modern rendszert ellátnak egy nagyjábóli ötlettel arról, hogyan lehetne javítani a hatékonyságot, egyre inkább képes önállóan megtervezni a kísérletet, teszteket futtatni egy egyszerű modellen, kiértékelni az eredményeket, majd egy olyan tervvel előállni, amely már nagy léptékben is bevezethető.
Az MI-modellek az ilyen, emberek számára órákig tartó feladatokat körülbelül 30 perc alatt képesek elvégezni. Az emberek szerepe egyre inkább a kutatási igazgató szerepére korlátozódik: ők irányítják, hogy az MI milyen kísérleteket futtasson, miközben a modellek maguk írják a kódot, hibát keresnek, optimalizálnak és felügyelik a folyamatokat. A termelékenységnövekedés rendkívül csábító, de egyben riasztó is. Ahogy az emberek szerepe zsugorodik a termelési folyamatban, elveszíthetik az ellenőrzést. A végeredmény olyan modellek világa lehet, amelyeket modellek tanítanak, modellek által kitűzött célok elérése érdekében, és amelyek biztonságát kizárólag más modellek ellenőrzik.
Vannak, akik katasztrófától tartanak. Max Tegmark, aki a Massachusetts Institute of Technology gépi tanulással foglalkozó kutatója, és az elmúlt évtized nagy részét az MI-biztonság melletti kampányolással töltötte ezt ahhoz hasonlítja, mintha valaki csukott szemmel tövig nyomná a gázpedált az autópályán. Az eredmény biztos pusztulás lenne - mondta -, amennyiben a sofőr továbbra sem hajlandó kinyitni a szemét. Tegmark professzor több forgatókönyvet is felvázol arra, hogyan romolhatnak el a dolgok. A nagy teljesítményű MI-rendszerek kiszoríthatják az embereket a kormányzati és üzleti döntéshozatalból, megfosztva az emberiséget a befolyásától. Korlátlan hatalmat adhatnak annak, aki elsőként hozza létre őket, ezzel globális totalitarizmust teremtve. Vagy egyszerűen teljesen érdektelenné válhat számukra az emberiség, és fokozatosan kiszoríthatják az embereket, hogy helyet csináljanak további adatközpontoknak és energiatermelő létesítményeknek.
Három évvel ezelőtt Tegmark professzor egy globális MI-fejlesztési szünet mellett érvelt, mondván, hogy az akkor élvonalbeli GPT-4 létrehozása gyakorlatilag egyenértékű ezzel a bekötött szemű kalanddal. Az idei CSET-jelentés arra figyelmeztetett, hogy az RSI által létrehozott rendszerek „szélsőséges kockázatokat hordoznak. Ez már most előkészítő intézkedéseket indokol.” Úgy tűnik, az Anthropic ma már közel áll ahhoz, hogy egyetértsen ezzel az állásponttal.
Számos fizikai korlát is létezik, amely egyelőre határt szab annak a sebességnek, amellyel a modellek képesek önmagukat fejleszteni. Ezek közül a legfontosabb a számítási kapacitáshoz való hozzáférés. A hatékonyságnövekedés ellenére az újabb modellek tanítása továbbra is több számítási erőforrást igényel, mint elődeiké, így a fejlődés ütemét végső soron az adatközpontok építésének tempója határozza meg. Helen Toner, a CSET ügyvezető igazgatója és a jelentés egyik vezető szerzője szerint az MI fogyasztói felhasználása szintén lassíthatja az MI által hajtott kutatás-fejlesztést. Az MI-adatközpontok korlátozott kapacitását gondosan kell megosztani a fizető ügyfelek kiszolgálása, a jövőbeni modellek tanítása és a nyílt végű kutatás-fejlesztés között. Minél nagyobb a kereslet az első kategóriában, annál kevesebb kapacitás marad rövid távon a másik kettőre.
Ott van továbbá a tanítási adatok kérdése is. Az MI közelmúltbeli fejlődésének jelentős része olyan területeken történt, ahol a modellek az úgynevezett „ellenőrizhető jutalmak” segítségével saját magukat tudják megtanítani a sikerre. Egy szoftver vagy működik, vagy nem. Egy matematikai bizonyítás vagy helyes, vagy nem. Ilyen esetekben a szintetikus adatokat, amelyeket modellek kizárólag más modellek tanítására generálnak, ellenőrizni lehet pontosság szempontjából, majd hozzá lehet adni a tanítási adathalmazhoz anélkül, hogy fennállna annak a torzulásnak a veszélye, amely általában akkor jelentkezik, amikor egy MI-t saját kimenetén tanítanak. Sokkal nehezebb azonban egy modellt jobbá tenni kreatív írásban vagy jogi ítéletalkotásban. Ha a modelleknek a valós világból kell tanulniuk, az szintén korlátozhatja az önfejlesztés lehetőségeit.
A „hurok bezárása” a szuperintelligencia felé vezető út egyik lépése lehet, és vérmérséklettől függően akár utópiához, akár végzethez vezethet. De ez nem az egyetlen lépés, amely szükséges a mesterséges intelligencia képességeinek exponenciális növekedéséhez.