SG.hu·
Napokig szabadon garázdálkodott az OpenMI elszabadult MI ügynöke
Napokon át tartó hackelési akciót hajtott végre az OpenAI azon MI ügynöke, amely betört a Hugging Face technológiai vállalathoz. Az OpenAI csak jóval azután vette észre az egészet, hogy a fenyegetést már sikerült megfékezni, és az FBI-t is értesítették.
Az ügynök - vagyis egy olyan program, amely emberi felügyelet nélkül vagy minimális emberi beavatkozással képes döntéseket hozni és összetett feladatokat végrehajtani - július 9. körül próbált kitörni az OpenAI elkülönített tesztkörnyezetéből. A Hugging Face elleni behatolás - amely a MI eszközök és modellek egyik legfontosabb tárhelyét üzemelteti - két nappal később, július 11-én kezdődött, és július 13-ig tartott - mondta Thomas Wolf, a Hugging Face társalapítója. Wolf szerint még több napnak kellett eltelnie, mire az OpenAI rájött, hogy saját ügynöke áll a támadás mögött. A két vállalat először csak július 20. körül lépett kapcsolatba egymással az ügyben.
Az OpenAI július 21-én ismerte el nyilvánosan, hogy egyik MI ügynöke kicsúszott az irányítása alól, és végrehajtotta a Hugging Face elleni betörést. Ez világszerte nagy figyelmet keltett. A támadás számos részlete azonban, köztük az, hogy az ügynök mennyi ideig működött önállóan, illetve hogy az OpenAI milyen későn szerzett tudomást erről, most kerül először nyilvánosságra. Wolf elmondta, hogy a Hugging Face nyilvános időrendi összefoglalót készít a támadásról, ugyanakkor hozzátette, hogy az OpenAI-nél történtekről nem tud nyilatkozni. Az OpenAI közleményében azt írta, hogy a támadás példátlan volt, és "fontos mérföldkövet jelent a MI biztonsága szempontjából". A vállalat hozzátette, hogy külső tanácsadók bevonásával vizsgálja az esetet, és később részletes technikai jelentést is közzétesz.
Az incidens a tudományos-fantasztikus történeteket idéző forgatókönyveket juttatta eszébe sokaknak arról, hogy az emberek elveszíthetik az irányítást a veszélyes MI rendszerek felett, és különösen érzékeny időszakban érte a ChatGPT mögött álló OpenAI-t. A vállalat vezetői egy lehetséges tőzsdei bevezetésre készülnek, amely akár még az idén megvalósulhat annak érdekében, hogy finanszírozni tudják a következő évek növekedéséhez szükséges több milliárd dolláros beruházásokat. Az, hogy az OpenAI elveszítette az irányítást saját MI ügynöke felett, új kérdéseket vet fel a vállalat biztonsági eljárásaival kapcsolatban - mondta három kiberbiztonsági szakértő. "Ez azt jelenti, hogy felügyelet nélkül hagyták, és nem vették észre, mit csinál? Vagy esetleg látták, de nem tudták megfékezni? Mindkét lehetőség egyformán veszélyes és aggasztó" - mondta Marley Smith, a World Ethical Data Foundation nonprofit szervezet vezető hírszerzési szakértője.
Az eset akkor kezdődött, amikor az OpenAI egy olyan MI ügynök kiberbiztonsági képességeit tesztelte, amelyet a vállalat két legfejlettebb modellje, a GPT 5.6 Sol és egy még be nem jelentett, az OpenAI által "még nagyobb képességűnek" nevezett modell hajtott. Ekkorra már voltak jelei annak, hogy a technológia szokatlanul viselkedik. Egy alkalommal egy ügynök üzeneteket hagyott hátra saját jövőbeli változatainak. Az OpenAI infrastruktúrájának egyik részében talált feljegyzések útmutatást tartalmaztak arra vonatkozóan, hogyan szabadíthatják fel magukat az ügynökök az OpenAI belső korlátozásai alól. A modellek korábbi tesztjei során olyan esetek is előfordultak, amikor a felügyeleti rendszereket egyszerűen lekapcsolták.
Csak július 16-a, csütörtök után, amikor a Hugging Face blogbejegyzésben közölte, hogy egy "autonóm MI ügynökrendszer" törte fel a rendszerét, döbbent rá az OpenAI arra, hogy a támadást saját ügynöke hajtotta végre. Ez azt jelenti, hogy legalább egy hét telt el az első aggasztó jelek megjelenése és aközött, hogy az OpenAI felismerte saját felelősségét a támadásban. A július 18-19-i hétvégén az OpenAI munkatársai belső naplófájlokban - vagyis azokban a feljegyzésekben, amelyek rögzítik a vállalat rendszereinek működését - olyan nyomokra bukkantak, amelyek azt mutatták, hogy az ügynök kitört a tesztelés során rá vonatkozó korlátozások közül.
Az OpenAI modellfejlesztési gyakorlatát ismerő négy személy szerint a vállalat gyakran több különböző modell értékelését futtatja egyszerre. Ezek rendkívül nagy sebességgel működnek, és akkora mennyiségű adatot termelnek, hogy az alkalmazottaknak időnként nehéz lépést tartani velük. Mire az OpenAI értesítette a Hugging Face-et, a MI modellek könyvtárát üzemeltető vállalat már bejelentést tett az FBI-nál a támadás miatt.
Az autonóm ügynökök a MI iparág egyik legtöbbet emlegetett fejlesztési irányát jelentik. Támogatóik olyan virtuális alkalmazottak egész hadseregét vizionálják, amelyek napi 24 órában dolgoznak, és drámai mértékben növelik a termelékenységet. A nagyobb önállóság azonban a váratlan viselkedés nagyobb kockázatával is együtt jár. Az ezeket működtető nagy teljesítményű modellek ráadásul hajlamosak arra, hogy feladataik elvégzése vagy a tesztek sikeres teljesítése érdekében kerülőutakat keressenek.
"A modellek hazudnak, csalnak és feltörnek rendszereket" - mondta Jeffrey Ladish, a MI ügynökök képességeit és motivációit kutató Palisade Research szervezet vezetője. Ladish szerint bár a Hugging Face elleni támadás kedvezőtlen fényt vet az OpenAI-re, az esetnek sokkal szélesebb körű kérdéseket kellene felvetnie azzal kapcsolatban, hogy a vezető MI vállalatok valójában mennyit hajlandók áldozni a költséges biztonsági intézkedésekre, miközben egymással versenyeznek azért, hogy ki tudja a legjobb és leggyorsabb modelleket piacra dobni. "Szükség van állami felügyeletre" - mondta Ladish. "Mert enélkül ez nem fog megtörténni."
Az ügynök - vagyis egy olyan program, amely emberi felügyelet nélkül vagy minimális emberi beavatkozással képes döntéseket hozni és összetett feladatokat végrehajtani - július 9. körül próbált kitörni az OpenAI elkülönített tesztkörnyezetéből. A Hugging Face elleni behatolás - amely a MI eszközök és modellek egyik legfontosabb tárhelyét üzemelteti - két nappal később, július 11-én kezdődött, és július 13-ig tartott - mondta Thomas Wolf, a Hugging Face társalapítója. Wolf szerint még több napnak kellett eltelnie, mire az OpenAI rájött, hogy saját ügynöke áll a támadás mögött. A két vállalat először csak július 20. körül lépett kapcsolatba egymással az ügyben.
Az OpenAI július 21-én ismerte el nyilvánosan, hogy egyik MI ügynöke kicsúszott az irányítása alól, és végrehajtotta a Hugging Face elleni betörést. Ez világszerte nagy figyelmet keltett. A támadás számos részlete azonban, köztük az, hogy az ügynök mennyi ideig működött önállóan, illetve hogy az OpenAI milyen későn szerzett tudomást erről, most kerül először nyilvánosságra. Wolf elmondta, hogy a Hugging Face nyilvános időrendi összefoglalót készít a támadásról, ugyanakkor hozzátette, hogy az OpenAI-nél történtekről nem tud nyilatkozni. Az OpenAI közleményében azt írta, hogy a támadás példátlan volt, és "fontos mérföldkövet jelent a MI biztonsága szempontjából". A vállalat hozzátette, hogy külső tanácsadók bevonásával vizsgálja az esetet, és később részletes technikai jelentést is közzétesz.
Az incidens a tudományos-fantasztikus történeteket idéző forgatókönyveket juttatta eszébe sokaknak arról, hogy az emberek elveszíthetik az irányítást a veszélyes MI rendszerek felett, és különösen érzékeny időszakban érte a ChatGPT mögött álló OpenAI-t. A vállalat vezetői egy lehetséges tőzsdei bevezetésre készülnek, amely akár még az idén megvalósulhat annak érdekében, hogy finanszírozni tudják a következő évek növekedéséhez szükséges több milliárd dolláros beruházásokat. Az, hogy az OpenAI elveszítette az irányítást saját MI ügynöke felett, új kérdéseket vet fel a vállalat biztonsági eljárásaival kapcsolatban - mondta három kiberbiztonsági szakértő. "Ez azt jelenti, hogy felügyelet nélkül hagyták, és nem vették észre, mit csinál? Vagy esetleg látták, de nem tudták megfékezni? Mindkét lehetőség egyformán veszélyes és aggasztó" - mondta Marley Smith, a World Ethical Data Foundation nonprofit szervezet vezető hírszerzési szakértője.
Az eset akkor kezdődött, amikor az OpenAI egy olyan MI ügynök kiberbiztonsági képességeit tesztelte, amelyet a vállalat két legfejlettebb modellje, a GPT 5.6 Sol és egy még be nem jelentett, az OpenAI által "még nagyobb képességűnek" nevezett modell hajtott. Ekkorra már voltak jelei annak, hogy a technológia szokatlanul viselkedik. Egy alkalommal egy ügynök üzeneteket hagyott hátra saját jövőbeli változatainak. Az OpenAI infrastruktúrájának egyik részében talált feljegyzések útmutatást tartalmaztak arra vonatkozóan, hogyan szabadíthatják fel magukat az ügynökök az OpenAI belső korlátozásai alól. A modellek korábbi tesztjei során olyan esetek is előfordultak, amikor a felügyeleti rendszereket egyszerűen lekapcsolták.
Csak július 16-a, csütörtök után, amikor a Hugging Face blogbejegyzésben közölte, hogy egy "autonóm MI ügynökrendszer" törte fel a rendszerét, döbbent rá az OpenAI arra, hogy a támadást saját ügynöke hajtotta végre. Ez azt jelenti, hogy legalább egy hét telt el az első aggasztó jelek megjelenése és aközött, hogy az OpenAI felismerte saját felelősségét a támadásban. A július 18-19-i hétvégén az OpenAI munkatársai belső naplófájlokban - vagyis azokban a feljegyzésekben, amelyek rögzítik a vállalat rendszereinek működését - olyan nyomokra bukkantak, amelyek azt mutatták, hogy az ügynök kitört a tesztelés során rá vonatkozó korlátozások közül.
Az OpenAI modellfejlesztési gyakorlatát ismerő négy személy szerint a vállalat gyakran több különböző modell értékelését futtatja egyszerre. Ezek rendkívül nagy sebességgel működnek, és akkora mennyiségű adatot termelnek, hogy az alkalmazottaknak időnként nehéz lépést tartani velük. Mire az OpenAI értesítette a Hugging Face-et, a MI modellek könyvtárát üzemeltető vállalat már bejelentést tett az FBI-nál a támadás miatt.
Az autonóm ügynökök a MI iparág egyik legtöbbet emlegetett fejlesztési irányát jelentik. Támogatóik olyan virtuális alkalmazottak egész hadseregét vizionálják, amelyek napi 24 órában dolgoznak, és drámai mértékben növelik a termelékenységet. A nagyobb önállóság azonban a váratlan viselkedés nagyobb kockázatával is együtt jár. Az ezeket működtető nagy teljesítményű modellek ráadásul hajlamosak arra, hogy feladataik elvégzése vagy a tesztek sikeres teljesítése érdekében kerülőutakat keressenek.
"A modellek hazudnak, csalnak és feltörnek rendszereket" - mondta Jeffrey Ladish, a MI ügynökök képességeit és motivációit kutató Palisade Research szervezet vezetője. Ladish szerint bár a Hugging Face elleni támadás kedvezőtlen fényt vet az OpenAI-re, az esetnek sokkal szélesebb körű kérdéseket kellene felvetnie azzal kapcsolatban, hogy a vezető MI vállalatok valójában mennyit hajlandók áldozni a költséges biztonsági intézkedésekre, miközben egymással versenyeznek azért, hogy ki tudja a legjobb és leggyorsabb modelleket piacra dobni. "Szükség van állami felügyeletre" - mondta Ladish. "Mert enélkül ez nem fog megtörténni."