SG.hu·
A "vibe-hacking” ma már az egyik legnagyobb MI-fenyegetés
Az Anthropic új jelentése bemutatja, hogyan használják a rosszindulatú szereplők Claude-ot - és valószínűleg más AI-ügynököket is.
"Az ügynöki MI-rendszereket fegyverként használják.” Ez az egyik első mondata az Anthropic új, ma megjelent Threat Intelligence jelentésének, amely részletesen bemutatja azokat a sokféle eseteket, amikor Claude-ot - és valószínűleg sok más vezető AI-ügynököt és chatbotot - visszaélésszerűen használnak. Az Anthropic szerint egy kifinomult kiberbűnözői csoport, amelyet nemrég felszámoltak, a társaság mesterséges intelligencia kódoló ügynökét, a Claude Code-ot használta, hogy egy hónap alatt világszerte legalább 17 különböző szervezetből jusson adatokhoz. A feltört szervezetek között voltak egészségügyi szervezetek, sürgősségi szolgálatok, vallási intézmények és még kormányzati szervek is.
"Ami korábban egy kifinomult szereplőkből álló csapatot igényelt volna, addig ügynöki rendszerek segítségével, a vibe-hacking felhasználásával most egyetlen személy is elvégezheti” - mondta Jacob Klein, az Anthropic fenyegetés-információs csapatának vezetője. Az Anthropic a jelentésében azt írta, hogy ilyen esetekben az MI „technikai tanácsadóként és aktív operátorként is szolgál, lehetővé téve olyan támadásokat, amelyek egyéni szereplők számára manuálisan nehezebben és időigényesebben lennének végrehajthatók”.
A jelentésben az Anthropic maga is elismeri, hogy bár a vállalat „kifinomult biztonsági intézkedéseket fejlesztett ki az MI visszaélések megelőzésére”, és bár ezek az intézkedések „általában hatékonyak”, a rosszindulatú szereplők néha mégis megtalálják a módját, hogy kijátsszák őket. Az Anthropic szerint az MI csökkentette a kifinomult kiberbűnözés korlátait, és a rosszindulatú szereplők a technológiát arra használják, hogy profilozzák az áldozatokat, automatizálják tevékenységüket, hamis identitásokat hozzanak létre, ellopott adatokat elemezzenek, hitelkártya-adatokat lopjanak és így tovább.
Például Claude-ot "pszichológiailag célzott zsarolási követelések” megírására használták. Ezután a kiberbűnözők kiszámították, hogy az adatok - amelyek között egészségügyi adatok, pénzügyi információk, kormányzati hitelesítő adatok és egyebek is szerepeltek - mennyit érnének a sötét weben, és az Anthropic szerint 500 000 dollár feletti váltságdíjat követeltek. "Ez a kiberbűnözési célú a legkifinomultabb felhasználása az ügynököknek, amit valaha láttam.” - mondta Klein.
Egy másik esettanulmányban Claude segített észak-koreai informatikusoknak csalárd módon állást szerezni az Egyesült Államok legnagyobb cégeinél, hogy finanszírozzák az ország fegyverprogramját. Klein szerint ilyen esetekben Észak-Korea általában olyan embereket próbál használni, akik egyetemet végeztek, IT-tapasztalattal rendelkeznek, vagy valamennyire tudnak angolul kommunikálni, de az MI segítségével az észak-koreaiak számára sokkal könnyebb átmenni a nagy technológiai cégek technikai interjúin, és utána megtartani az állásukat. Klein szerint Claude segítségével „olyan embereket látunk, akik nem tudnak programozni, nem tudnak szakmailag kommunikálni, alig ismerik az angol nyelvet vagy kultúrát, és csak arra kérik Claude-ot, hogy mindent csináljon meg nekik. És miután megkapták az állást, a Claude-dal végzett munkájuk nagy része az állás megtartása.”
Egy másik esettanulmány egy romantikus csalással foglalkozott. Egy havi több mint 10 000 felhasználóval rendelkező Telegram-bot Claude-ot „magas érzelmi intelligenciájú modellként” hirdette, amely segít intelligens üzenetek generálásában, látszólag csalások céljából. Ez lehetővé tette a nem angol anyanyelvűek számára, hogy meggyőző, dicsérő üzeneteket írjanak, hogy elnyerjék az áldozatok bizalmát az Egyesült Államokban, Japánban és Koreában, és pénzt kérjenek tőlük. A jelentés egyik példája egy felhasználót ismertet, aki egy nyakkendős férfi képét töltötte fel, és megkérdezte, hogyan lehetne a legjobban dicsérni őt.
A jelentés minden egyes esettanulmánya tovább növeli azoknak a bizonyítékoknak a számát, amelyek szerint az MI-vállalatok, bármennyire is igyekeznek, nem tudnak lépést tartani az általuk létrehozott technológiával kapcsolatos társadalmi kockázatokkal. "Bár ezek konkrétan Claude-ra vonatkoznak, az alábbi esettanulmányok valószínűleg minden újszerű MI-modellre jellemző viselkedési mintákat tükröznek” - áll a jelentésben.
Az Anthropic minden esettanulmány esetében letiltotta a kapcsolódó fiókokat, új osztályozókat vagy más felderítési intézkedéseket hozott létre, és megosztotta az információkat a megfelelő kormányzati szervekkel, például a hírszerző ügynökségekkel vagy a bűnüldöző szervekkel – erősítette meg Klein. Azt is elmondta, hogy a csapata által vizsgált esettanulmányok az MI-kockázatok szélesebb körű változásának részét képezik. "Olyan változás zajlik, hogy az MI-rendszerek már nem csak chatbotok, mert most már több lépést is meg tudnak tenni” - mondta Klein, hozzátéve: „Képesek ténylegesen végrehajtani olyan cselekvéseket vagy tevékenységeket, mint amiket itt látunk.”
"Az ügynöki MI-rendszereket fegyverként használják.” Ez az egyik első mondata az Anthropic új, ma megjelent Threat Intelligence jelentésének, amely részletesen bemutatja azokat a sokféle eseteket, amikor Claude-ot - és valószínűleg sok más vezető AI-ügynököt és chatbotot - visszaélésszerűen használnak. Az Anthropic szerint egy kifinomult kiberbűnözői csoport, amelyet nemrég felszámoltak, a társaság mesterséges intelligencia kódoló ügynökét, a Claude Code-ot használta, hogy egy hónap alatt világszerte legalább 17 különböző szervezetből jusson adatokhoz. A feltört szervezetek között voltak egészségügyi szervezetek, sürgősségi szolgálatok, vallási intézmények és még kormányzati szervek is.
"Ami korábban egy kifinomult szereplőkből álló csapatot igényelt volna, addig ügynöki rendszerek segítségével, a vibe-hacking felhasználásával most egyetlen személy is elvégezheti” - mondta Jacob Klein, az Anthropic fenyegetés-információs csapatának vezetője. Az Anthropic a jelentésében azt írta, hogy ilyen esetekben az MI „technikai tanácsadóként és aktív operátorként is szolgál, lehetővé téve olyan támadásokat, amelyek egyéni szereplők számára manuálisan nehezebben és időigényesebben lennének végrehajthatók”.
A jelentésben az Anthropic maga is elismeri, hogy bár a vállalat „kifinomult biztonsági intézkedéseket fejlesztett ki az MI visszaélések megelőzésére”, és bár ezek az intézkedések „általában hatékonyak”, a rosszindulatú szereplők néha mégis megtalálják a módját, hogy kijátsszák őket. Az Anthropic szerint az MI csökkentette a kifinomult kiberbűnözés korlátait, és a rosszindulatú szereplők a technológiát arra használják, hogy profilozzák az áldozatokat, automatizálják tevékenységüket, hamis identitásokat hozzanak létre, ellopott adatokat elemezzenek, hitelkártya-adatokat lopjanak és így tovább.
Például Claude-ot "pszichológiailag célzott zsarolási követelések” megírására használták. Ezután a kiberbűnözők kiszámították, hogy az adatok - amelyek között egészségügyi adatok, pénzügyi információk, kormányzati hitelesítő adatok és egyebek is szerepeltek - mennyit érnének a sötét weben, és az Anthropic szerint 500 000 dollár feletti váltságdíjat követeltek. "Ez a kiberbűnözési célú a legkifinomultabb felhasználása az ügynököknek, amit valaha láttam.” - mondta Klein.
Egy másik esettanulmányban Claude segített észak-koreai informatikusoknak csalárd módon állást szerezni az Egyesült Államok legnagyobb cégeinél, hogy finanszírozzák az ország fegyverprogramját. Klein szerint ilyen esetekben Észak-Korea általában olyan embereket próbál használni, akik egyetemet végeztek, IT-tapasztalattal rendelkeznek, vagy valamennyire tudnak angolul kommunikálni, de az MI segítségével az észak-koreaiak számára sokkal könnyebb átmenni a nagy technológiai cégek technikai interjúin, és utána megtartani az állásukat. Klein szerint Claude segítségével „olyan embereket látunk, akik nem tudnak programozni, nem tudnak szakmailag kommunikálni, alig ismerik az angol nyelvet vagy kultúrát, és csak arra kérik Claude-ot, hogy mindent csináljon meg nekik. És miután megkapták az állást, a Claude-dal végzett munkájuk nagy része az állás megtartása.”
Egy másik esettanulmány egy romantikus csalással foglalkozott. Egy havi több mint 10 000 felhasználóval rendelkező Telegram-bot Claude-ot „magas érzelmi intelligenciájú modellként” hirdette, amely segít intelligens üzenetek generálásában, látszólag csalások céljából. Ez lehetővé tette a nem angol anyanyelvűek számára, hogy meggyőző, dicsérő üzeneteket írjanak, hogy elnyerjék az áldozatok bizalmát az Egyesült Államokban, Japánban és Koreában, és pénzt kérjenek tőlük. A jelentés egyik példája egy felhasználót ismertet, aki egy nyakkendős férfi képét töltötte fel, és megkérdezte, hogyan lehetne a legjobban dicsérni őt.
A jelentés minden egyes esettanulmánya tovább növeli azoknak a bizonyítékoknak a számát, amelyek szerint az MI-vállalatok, bármennyire is igyekeznek, nem tudnak lépést tartani az általuk létrehozott technológiával kapcsolatos társadalmi kockázatokkal. "Bár ezek konkrétan Claude-ra vonatkoznak, az alábbi esettanulmányok valószínűleg minden újszerű MI-modellre jellemző viselkedési mintákat tükröznek” - áll a jelentésben.
Az Anthropic minden esettanulmány esetében letiltotta a kapcsolódó fiókokat, új osztályozókat vagy más felderítési intézkedéseket hozott létre, és megosztotta az információkat a megfelelő kormányzati szervekkel, például a hírszerző ügynökségekkel vagy a bűnüldöző szervekkel – erősítette meg Klein. Azt is elmondta, hogy a csapata által vizsgált esettanulmányok az MI-kockázatok szélesebb körű változásának részét képezik. "Olyan változás zajlik, hogy az MI-rendszerek már nem csak chatbotok, mert most már több lépést is meg tudnak tenni” - mondta Klein, hozzátéve: „Képesek ténylegesen végrehajtani olyan cselekvéseket vagy tevékenységeket, mint amiket itt látunk.”