SG.hu·
Az OpenAI szökött modellje új korszakot nyit a MI biztonsági kockázataiban
Az OpenAI egyik fejlesztés alatt álló modellje egy ismeretlen sérülékenységet kihasználva kijutott az elszigetelt tesztkörnyezetből, majd önálló támadást indított a Hugging Face rendszerei ellen.
Úgy hangzik, mintha egy tudományos-fantasztikus filmből származna. Július 16-án a Hugging Face, egy mesterséges intelligenciával foglalkozó platform bejelentette, hogy értesítette a bűnüldöző szerveket, miután egy támadó egy MI ügynök segítségével betört a rendszereibe. Július 21-én azonban kiderült, hogy egyetlen ember sem vett részt a támadásban. Maga az MI ügynök volt a támadó.
Az OpenAI GPT-5.6 Sol nevű modelljének, amelyet a vállalat július elején adott ki, valamint egy még nagyobb teljesítményű, egyelőre nyilvánosan nem elérhető modellnek a kombinációja kiszabadult a laboratóriumi környezetből, majd feltörte a Hugging Face rendszereit. A hibrid MI modell egy olyan értékelési feladatra keresett megoldást, amelyet készítői adtak neki. "Ez a helyzet példa nélküli" - mondta Stephan Llerena, az amerikai Institute for Law and AI agytröszt kutatója.
Az MI laborok még a modellek nyilvános megjelenése előtt tesztelik azokat, hogy felmérjék, rendelkeznek-e potenciálisan veszélyes képességekkel. Az OpenAI azt akarta megtudni, hogyan teljesítenek legújabb modelljei az ExploitGym tesztrendszerben. Ez szabványos feladatok gyűjteménye, amely azt vizsgálja, hogy az MI rendszerek mennyire képesek ismert biztonsági sérülékenységeket kihasználni több népszerű alkalmazásban, köztük a Google Chrome böngészőben.
Az OpenAI a nyilvánosan elérhető modelljeire olyan biztonsági korlátozásokat alkalmaz, amelyek megakadályozzák, hogy azok nem kívánt műveleteket hajtsanak végre. Ha például valaki a kereskedelmi forgalomban elérhető ChatGPT-t arra kéri, hogy segítsen feltörni egy weboldalt, a rendszer ezt megtagadja. Ahhoz azonban, hogy megfelelően felmérjék a még ki nem adott modell képességeit, a vállalat ideiglenesen kikapcsolta ezeket a korlátozásokat. Egy rendkívül fejlett kibertámadót egyszerűen kiengedni a nyílt internetre túl kockázatos lett volna, ezért az OpenAI egy úgynevezett sandbox környezetbe helyezte a modellt. Ez egy elszigetelt számítógépes környezet volt internetkapcsolat nélkül, egyetlen kivétellel. A rendszer hozzáférhetett egy belső hálózaton futó külső szolgáltatáshoz, amely lehetővé tette számára, hogy letöltse a tesztek elvégzéséhez szükséges kisebb szoftvercsomagokat.
A vállalat azonban többet kapott annál, mint amire számított. Ahelyett, hogy közvetlenül megoldották volna az értékelési feladatokat, az OpenAI modelljei egy addig ismeretlen sérülékenységet kihasználva hozzáférést szereztek a nyílt internethez a szoftvercsomagokat kiszolgáló szolgáltatáson keresztül. Miután elérték az internetet, az MI modellek helyesen arra a következtetésre jutottak, hogy a számukra kijelölt feladatok megoldásai a Hugging Face rendszereiben találhatók. A Hugging Face az egyik legismertebb nyílt forráskódú MI modelleket és adatkészleteket tároló platform.
A modellek ezt követően egy több lépésből álló támadást hajtottak végre. Először feltöltöttek egy adatkészletet a Hugging Face rendszerébe, amelyet a platform automatikusan feldolgozott. A hétvége során ez az adatkészlet, amelyet a Hugging Face "rosszindulatúnak" nevezett, lehetővé tette a modellek számára, hogy bejelentkezési adatokat gyűjtsenek, majd hozzáférjenek olyan belső szerverekhez, amelyek normál esetben nem érhetők el a nyilvánosság számára. A Hugging Face és az OpenAI egymástól függetlenül észlelte a behatolást, és közölték, hogy együttműködnek az incidens kivizsgálásában.
Július 21-én az OpenAI egy blogbejegyzésben közölte, hogy válaszul szigorúbb ellenőrzéseket vezetett be saját infrastruktúrájában, még annak árán is, hogy ez lassítja a "kutatás ütemét". A vállalat emellett nyilvánosságra hozta a modell által felfedezett sérülékenységeket a szoftveres átjáró fejlesztője számára. A Hugging Face-et egyúttal felvette a "trusted access", vagyis megbízható hozzáférési programjába is, amely lehetővé teszi a platform számára, hogy megerősített kiberképességekkel rendelkező modelleket használjon, például azt is, amely korábban feltörte saját rendszereit, hogy javítsa védelmét.
Blogbejegyzésében az OpenAI azt is hangsúlyozta, hogy modelljei "rendkívül erősen a fókuszáltak" az ExploitGym értékelési feladatainak megoldására. Ugyanakkor nem ismert, mi történt volna, ha az MI modellnek más céljai is lettek volna. A Hugging Face ráadásul számítógépes biztonsági szempontból egyáltalán nem számít gyenge szereplőnek. A vállalat értéke 4,5 milliárd dollár, több száz alkalmazottja van, valamint külön kiberbiztonsági csapattal is rendelkezik. Egy jóval szerényebb erőforrásokkal rendelkező szervezet esetében az események sokkal súlyosabb következményekkel járhattak volna.
Nem ez az első jele annak, hogy az MI modellek képességei kezdenek túlnőni az emberek ellenőrzési lehetőségein. Áprilisban az Anthropic egyik kutatója arról írt az interneten, hogy meglepte, amikor a Mythos nevű, akkor még kiadatlan MI modell e-mailt küldött neki. Az üzenetben arról tájékoztatta, hogy saját kiberképességeinek értékelése során sikeresen megszökött a sandbox környezetből, miközben kutatója éppen egy parkban ült és szendvicset evett. Az OpenAI kiadatlan modelljéhez hasonlóan a Mythos sem rendelkezhetett volna korlátozás nélküli interneteléréssel. Ebben az esetben azonban a modell nem támadta meg más vállalatok szervereit.
Az MI modellek meglepő képességei ráadásul nem korlátozódnak a hackelésre. Májusban az OpenAI egyik még kiadatlan modellje megcáfolta a síkbeli egységtávolság-sejtést, amely a kombinatorikus geometria egyik központi problémája volt, és amelyet Erdős Pál matematikus vetett fel még 1946-ban. Július 20-án Levent Alpöge, a Harvard Egyetem matematikusa azt írta, hogy az Anthropic júliusban kiadott Claude Fable 5 modelljét használta fel a Jacobi-sejtés cáfolatához, amely szintén több mint nyolcvan éven keresztül foglalkoztatta a matematikusokat.
Az OpenAI nyilvánosan nem ismertette, hogy kiadatlan modellje pontosan hogyan tudott kitörni az elszigetelt környezetből. Még ha ezt meg is tette volna, az a tény, hogy az MI rendszerek egyre inkább felülmúlják az embereket a kiberbiztonsági feladatokban, azt jelenti, hogy "a világon csak nagyon-nagyon kevés kiberbiztonsági szakértő" lenne képes teljes mértékben megérteni, hogyan történt a behatolás - mondta Alex Meinke, a londoni Apollo Research MI biztonsági kutatócsoport munkatársa.
Az amerikai kormány az utóbbi időben folyamatosan, menet közben alakítja az MI modellek kiadására vonatkozó szabályozást. Ez az eset azonban azt mutatja, hogy még a fejlesztés alatt álló, nyilvánosságra sem hozott MI modellek is komoly kockázatot jelenthetnek. "Sem állami, sem szövetségi törvény nem írja elő, hogy a vállalatoknak nyilvánosságra kell hozniuk olyan nagy képességű MI modellek belső alkalmazását, mint amilyen a Hugging Face elleni támadásban szerepet játszó modell volt" - mondta Nathan Calvin, az MI szabályozásáért kampányoló amerikai nonprofit szervezet, az Encode AI jogi igazgatója.
Bár az Egyesült Államok egyes tagállamaiban léteznek olyan törvények, amelyek előírják a kiberbiztonsági incidensek bejelentését, ezek hatálya meglehetősen szűk. Egy tavaly Kaliforniában elfogadott törvény például előírja, hogy a legfejlettebb MI modelleket fejlesztő laboratóriumoknak a felfedezéstől számított 15 napon belül jelenteniük kell minden "kritikus biztonsági incidenst". Ide tartozik az is, ha egy modell "megtévesztő technikákat" alkalmaz a felügyelet kijátszására "az értékelési környezeten kívül". Nathan Calvin szerint azonban nem egyértelmű, hogy a Hugging Face elleni behatolás ebbe a kategóriába tartozott volna-e.
Ez egy másik kényes kérdést is felvet. Ha a behatolás következményei sokkal súlyosabbak lettek volna, kit terhelt volna a jogi felelősség? Az amerikai szövetségi hackelés elleni törvények elsősorban a számítógépes rendszerekhez történő szándékos jogosulatlan hozzáférést büntetik. Az OpenAI nem akarta, hogy modellje önálló útra keljen egyfajta "puskát" keresve saját vizsgafeladataihoz. "Ezeknek a jogi kérdéseknek a nagy része a szándékon múlik. Mit tudott az OpenAI, és mit láthatott előre?" - mondta Stephan Llerena. Ez a konkrét hackertámadás mindenkit meglepett. Legközelebb azonban sokkal nehezebb lesz arra hivatkozni, hogy senki sem számított rá.
Úgy hangzik, mintha egy tudományos-fantasztikus filmből származna. Július 16-án a Hugging Face, egy mesterséges intelligenciával foglalkozó platform bejelentette, hogy értesítette a bűnüldöző szerveket, miután egy támadó egy MI ügynök segítségével betört a rendszereibe. Július 21-én azonban kiderült, hogy egyetlen ember sem vett részt a támadásban. Maga az MI ügynök volt a támadó.
Az OpenAI GPT-5.6 Sol nevű modelljének, amelyet a vállalat július elején adott ki, valamint egy még nagyobb teljesítményű, egyelőre nyilvánosan nem elérhető modellnek a kombinációja kiszabadult a laboratóriumi környezetből, majd feltörte a Hugging Face rendszereit. A hibrid MI modell egy olyan értékelési feladatra keresett megoldást, amelyet készítői adtak neki. "Ez a helyzet példa nélküli" - mondta Stephan Llerena, az amerikai Institute for Law and AI agytröszt kutatója.
Az MI laborok még a modellek nyilvános megjelenése előtt tesztelik azokat, hogy felmérjék, rendelkeznek-e potenciálisan veszélyes képességekkel. Az OpenAI azt akarta megtudni, hogyan teljesítenek legújabb modelljei az ExploitGym tesztrendszerben. Ez szabványos feladatok gyűjteménye, amely azt vizsgálja, hogy az MI rendszerek mennyire képesek ismert biztonsági sérülékenységeket kihasználni több népszerű alkalmazásban, köztük a Google Chrome böngészőben.
Az OpenAI a nyilvánosan elérhető modelljeire olyan biztonsági korlátozásokat alkalmaz, amelyek megakadályozzák, hogy azok nem kívánt műveleteket hajtsanak végre. Ha például valaki a kereskedelmi forgalomban elérhető ChatGPT-t arra kéri, hogy segítsen feltörni egy weboldalt, a rendszer ezt megtagadja. Ahhoz azonban, hogy megfelelően felmérjék a még ki nem adott modell képességeit, a vállalat ideiglenesen kikapcsolta ezeket a korlátozásokat. Egy rendkívül fejlett kibertámadót egyszerűen kiengedni a nyílt internetre túl kockázatos lett volna, ezért az OpenAI egy úgynevezett sandbox környezetbe helyezte a modellt. Ez egy elszigetelt számítógépes környezet volt internetkapcsolat nélkül, egyetlen kivétellel. A rendszer hozzáférhetett egy belső hálózaton futó külső szolgáltatáshoz, amely lehetővé tette számára, hogy letöltse a tesztek elvégzéséhez szükséges kisebb szoftvercsomagokat.
A vállalat azonban többet kapott annál, mint amire számított. Ahelyett, hogy közvetlenül megoldották volna az értékelési feladatokat, az OpenAI modelljei egy addig ismeretlen sérülékenységet kihasználva hozzáférést szereztek a nyílt internethez a szoftvercsomagokat kiszolgáló szolgáltatáson keresztül. Miután elérték az internetet, az MI modellek helyesen arra a következtetésre jutottak, hogy a számukra kijelölt feladatok megoldásai a Hugging Face rendszereiben találhatók. A Hugging Face az egyik legismertebb nyílt forráskódú MI modelleket és adatkészleteket tároló platform.
A modellek ezt követően egy több lépésből álló támadást hajtottak végre. Először feltöltöttek egy adatkészletet a Hugging Face rendszerébe, amelyet a platform automatikusan feldolgozott. A hétvége során ez az adatkészlet, amelyet a Hugging Face "rosszindulatúnak" nevezett, lehetővé tette a modellek számára, hogy bejelentkezési adatokat gyűjtsenek, majd hozzáférjenek olyan belső szerverekhez, amelyek normál esetben nem érhetők el a nyilvánosság számára. A Hugging Face és az OpenAI egymástól függetlenül észlelte a behatolást, és közölték, hogy együttműködnek az incidens kivizsgálásában.
Július 21-én az OpenAI egy blogbejegyzésben közölte, hogy válaszul szigorúbb ellenőrzéseket vezetett be saját infrastruktúrájában, még annak árán is, hogy ez lassítja a "kutatás ütemét". A vállalat emellett nyilvánosságra hozta a modell által felfedezett sérülékenységeket a szoftveres átjáró fejlesztője számára. A Hugging Face-et egyúttal felvette a "trusted access", vagyis megbízható hozzáférési programjába is, amely lehetővé teszi a platform számára, hogy megerősített kiberképességekkel rendelkező modelleket használjon, például azt is, amely korábban feltörte saját rendszereit, hogy javítsa védelmét.
Blogbejegyzésében az OpenAI azt is hangsúlyozta, hogy modelljei "rendkívül erősen a fókuszáltak" az ExploitGym értékelési feladatainak megoldására. Ugyanakkor nem ismert, mi történt volna, ha az MI modellnek más céljai is lettek volna. A Hugging Face ráadásul számítógépes biztonsági szempontból egyáltalán nem számít gyenge szereplőnek. A vállalat értéke 4,5 milliárd dollár, több száz alkalmazottja van, valamint külön kiberbiztonsági csapattal is rendelkezik. Egy jóval szerényebb erőforrásokkal rendelkező szervezet esetében az események sokkal súlyosabb következményekkel járhattak volna.
Nem ez az első jele annak, hogy az MI modellek képességei kezdenek túlnőni az emberek ellenőrzési lehetőségein. Áprilisban az Anthropic egyik kutatója arról írt az interneten, hogy meglepte, amikor a Mythos nevű, akkor még kiadatlan MI modell e-mailt küldött neki. Az üzenetben arról tájékoztatta, hogy saját kiberképességeinek értékelése során sikeresen megszökött a sandbox környezetből, miközben kutatója éppen egy parkban ült és szendvicset evett. Az OpenAI kiadatlan modelljéhez hasonlóan a Mythos sem rendelkezhetett volna korlátozás nélküli interneteléréssel. Ebben az esetben azonban a modell nem támadta meg más vállalatok szervereit.
Az MI modellek meglepő képességei ráadásul nem korlátozódnak a hackelésre. Májusban az OpenAI egyik még kiadatlan modellje megcáfolta a síkbeli egységtávolság-sejtést, amely a kombinatorikus geometria egyik központi problémája volt, és amelyet Erdős Pál matematikus vetett fel még 1946-ban. Július 20-án Levent Alpöge, a Harvard Egyetem matematikusa azt írta, hogy az Anthropic júliusban kiadott Claude Fable 5 modelljét használta fel a Jacobi-sejtés cáfolatához, amely szintén több mint nyolcvan éven keresztül foglalkoztatta a matematikusokat.
Az OpenAI nyilvánosan nem ismertette, hogy kiadatlan modellje pontosan hogyan tudott kitörni az elszigetelt környezetből. Még ha ezt meg is tette volna, az a tény, hogy az MI rendszerek egyre inkább felülmúlják az embereket a kiberbiztonsági feladatokban, azt jelenti, hogy "a világon csak nagyon-nagyon kevés kiberbiztonsági szakértő" lenne képes teljes mértékben megérteni, hogyan történt a behatolás - mondta Alex Meinke, a londoni Apollo Research MI biztonsági kutatócsoport munkatársa.
Az amerikai kormány az utóbbi időben folyamatosan, menet közben alakítja az MI modellek kiadására vonatkozó szabályozást. Ez az eset azonban azt mutatja, hogy még a fejlesztés alatt álló, nyilvánosságra sem hozott MI modellek is komoly kockázatot jelenthetnek. "Sem állami, sem szövetségi törvény nem írja elő, hogy a vállalatoknak nyilvánosságra kell hozniuk olyan nagy képességű MI modellek belső alkalmazását, mint amilyen a Hugging Face elleni támadásban szerepet játszó modell volt" - mondta Nathan Calvin, az MI szabályozásáért kampányoló amerikai nonprofit szervezet, az Encode AI jogi igazgatója.
Bár az Egyesült Államok egyes tagállamaiban léteznek olyan törvények, amelyek előírják a kiberbiztonsági incidensek bejelentését, ezek hatálya meglehetősen szűk. Egy tavaly Kaliforniában elfogadott törvény például előírja, hogy a legfejlettebb MI modelleket fejlesztő laboratóriumoknak a felfedezéstől számított 15 napon belül jelenteniük kell minden "kritikus biztonsági incidenst". Ide tartozik az is, ha egy modell "megtévesztő technikákat" alkalmaz a felügyelet kijátszására "az értékelési környezeten kívül". Nathan Calvin szerint azonban nem egyértelmű, hogy a Hugging Face elleni behatolás ebbe a kategóriába tartozott volna-e.
Ez egy másik kényes kérdést is felvet. Ha a behatolás következményei sokkal súlyosabbak lettek volna, kit terhelt volna a jogi felelősség? Az amerikai szövetségi hackelés elleni törvények elsősorban a számítógépes rendszerekhez történő szándékos jogosulatlan hozzáférést büntetik. Az OpenAI nem akarta, hogy modellje önálló útra keljen egyfajta "puskát" keresve saját vizsgafeladataihoz. "Ezeknek a jogi kérdéseknek a nagy része a szándékon múlik. Mit tudott az OpenAI, és mit láthatott előre?" - mondta Stephan Llerena. Ez a konkrét hackertámadás mindenkit meglepett. Legközelebb azonban sokkal nehezebb lesz arra hivatkozni, hogy senki sem számított rá.