SG.hu·
Mi történik akkor, ha valaki egy támadás megtervezéséhez használja a ChatGPT-t?
Az OpenAI chatbotja fegyverekkel kapcsolatos tanácsokat ad, tömeges lövöldözéseket játszik el szerepjáték formájában, és mindez egyre nagyobb vizsgálatokat vált ki azzal kapcsolatban, hogy a technológiai cégek mikor és hogyan avatkoznak közbe.
Tavaly tavasszal a Florida State University hallgatója, Phoenix Ikner azt szerette volna megtudni, hány diáktársát kellene megölnie ahhoz, hogy hírhedtté váljon. A ChatGPT erre egy konkrét mérőszámmal válaszolt. „Általában 3 vagy több halott, összesen 5-6 áldozat már országos médiavisszhangot vált ki” - közölte az MI szolgáltatás Iknerrel, aki az előző éjszakát azzal töltötte, hogy depressziós és öngyilkos gondolatairól beszélt a chatbotnak a beszélgetésről készült jegyzőkönyvek szerint. Ezután Ikner feltöltött egy képet egy Glock kézifegyverről és lőszerekről, majd megkérdezte a chatbotot, hogyan kell használni. Van-e rajta biztosíték, amit ki kell kapcsolni? A ChatGPT azt válaszolta neki, hogy nincs: „Ha töltény van a csőben és meghúzod a ravaszt? El fog sülni.”
Ikner kijelentkezett. Az ügyészek szerint négy perccel később két embert megölt és hatot megsebesített a Florida State egyetemen. Ikner ellen gyilkosság és gyilkossági kísérlet vádjával indult eljárás. A férfi nem vallotta magát bűnösnek. Ikner ügye a második ismert eset alig több mint egy év alatt, amikor tömeges lövöldözés gyanúsítottjai MI chatbotokhoz fordultak bizalmas beszélgetőpartnerként erőszakos forgatókönyvek megvitatására vagy támadások megtervezésére. A vérengzések pereket, kormányzati és rendvédelmi vizsgálatokat, valamint belső vitákat váltottak ki az MI cégeken belül egy olyan kérdés miatt, amelyre a Szilícium-völgy nehezen talál választ: amikor egy chatbot úgy tűnik, hogy segít erőszakos cselekmények megtervezésében, ki avatkozik közbe - és milyen gyorsan?
Az ingyenes chatbotok piacvezetőjének számító ChatGPT elemzi a beszélgetéseket egy esetleges erőszak jeleit keresve. Az OpenAI alkalmazottai azonban belsőleg riadót fújtak amiatt, hogy a vállalat rendszeresen elmulasztja értesíteni a rendvédelmi szerveket még akkor is, amikor veszélyes eseteket jelölnek meg, mert a cég a felhasználói adatvédelmet fontosabbnak tartja annál a kockázatnál, hogy valaki megvalósíthatja a ChatGPT-nek leírt erőszakos forgatókönyveket. A nézeteltérés arról, hogy mely eseteket kellene jelenteni a hatóságoknak, tavaly nyáron egy belső OpenAI-megbeszélésen is láthatóvá vált, amelyet azért hívtak össze, hogy áttekintsék a korábbi ügyek kezelését. Néhány alkalmazott úgy vélte, hogy két esetet jelenteni kellett volna a hatóságoknak, de ez végül nem történt meg.
Idén áprilisban James Uthmeier floridai főügyész közölte, hogy hivatala büntetőeljárást indított az OpenAI ellen a ChatGPT szerepe miatt a Florida State-i lövöldözésben. „Ha a képernyő másik oldalán egy ember ült volna, gyilkossággal vádolnánk” - mondta Uthmeier, majd hozzátette: „Valakit felelősségre kell vonni.” Az OpenAI szóvivője azt nyilatkozta, hogy a vállalat nem hiszi, hogy a ChatGPT felelős lett volna Ikner tetteiért, és közölte, hogy az incidens után proaktívan megosztották a beszélgetéseket a rendvédelmi szervekkel. „Zéró toleranciát alkalmazunk az eszközeink erőszakos cselekmények elősegítésére történő használatával szemben” - mondta az OpenAI egy másik szóvivője, hozzátéve, hogy „folyamatosan erősítjük a védelmi mechanizmusainkat”.
A szóvivő szerint ez magában foglalja annak javítását is, ahogyan a ChatGPT reagál a lelki válság jeleire, az emberek összekapcsolását helyi támogatási és mentális egészségügyi szervekkel, az esetleges erőszakos fenyegetések értékelésének és továbbításának megerősítését, valamint a szabályszegő felhasználók jobb felismerését. Elmondása szerint az OpenAI célja, hogy azonnal megszüntesse a hozzáférést szolgáltatásaihoz, amint megállapítja, hogy egy felhasználó megszegte valamelyik szabályukat. Ez magában foglalhatja a fiók letiltását, ugyanazon felhasználó más fiókjainak kitiltását és olyan lépések megtételét, amelyek megakadályozzák új fiókok létrehozását. Az OpenAI azt is közölte, hogy modelljeit úgy tanítják be, hogy lebeszéljék a felhasználókat a valós világbeli károkozásról.
A vizsgálatok nem korlátozódnak Floridára. Kanadában egy 2026 februárjában történt tömeges lövöldözés áldozatainak családtagjai és egy túlélő azt állítják, hogy az OpenAI elmulasztotta értesíteni a hatóságokat, miután a vállalat belső ellenőrző rendszere problémásnak jelölte a lövöldöző beszélgetéseit. A brit-kolumbiai Tumbler Ridge bányászvárosban történt támadásban nyolc ember halt meg. A családok múlt héten hét keresetet nyújtottak be az észak-kaliforniai amerikai kerületi bíróságon gondatlanság, jogellenes halál, termékfelelősségi szabályok megsértése és a lövöldözés elősegítése miatt.
Decemberben 42 amerikai állam főügyészeiből álló koalíció követelte olyan védelmi intézkedések bevezetését, amelyek megóvják a veszélyeztetett felhasználókat a chatbotok káros interakcióitól. Figyelmeztettek arra, hogy „a fejlesztők felelősségre vonhatók generatív MI termékeik kimeneteiért”, ha azok „bűncselekmény elkövetésére ösztönöznek egy személyt”. A főügyészek aggályaikat levélben osztották meg nagy MI vállalatokkal, köztük az OpenAI-jal, a Metával, illetve az Anthropic és a Google illetékeseivel. „Ez a világot megváltoztató technológia sok szempontból izgalmas és vonzó, ugyanakkor rendkívül veszélyes is, ha nincs kordában tartva, ahogy azt országszerte történt tragédiák során láthattuk” - mondta közleményében Dave Sunday pennsylvaniai főügyész.
Az OpenAI hosszú ideje küzd azzal a kérdéssel, miként lehet egyensúlyt teremteni a felhasználók adatvédelme és a közbiztonság között. A vállalat szerint speciális biztonsági szakértői csapattal rendelkezik, amely értesíti a rendvédelmi szerveket, amikor a felhasználók olyan megjegyzéseket tesznek a ChatGPT-ben, amelyek hiteles és közvetlen veszélyt jelenthetnek másokra nézve. Az OpenAI egyik automatizált rendszere elemzi a felhasználói beszélgetéseket, és figyelmezteti az alkalmazottakat a potenciálisan súlyos esetekre, amikor valaki látszólag erőszakra, fenyegetésre, önkárosításra vagy más szabálysértő célokra használja a ChatGPT-t. Az alkalmazottak ezután áttekinthetik az anyagokat, és továbbíthatják a biztonsági szakértőknek, ha úgy vélik, hogy az ügy indokolja a hatóságok bevonását.
Az ügyet ismerő források szerint a vállalatnak nehézséget okozott a szabályzat következetes alkalmazása az eltérő adatvédelmi nézőpontok miatt. Tavaly nyáron az OpenAI vezetőkből és alkalmazottakból álló csoportot hívott össze, hogy elemezzék a felhasználók és a ChatGPT közötti korábbi erőszakos beszélgetéseket, köztük iskolai lövöldözésekkel kapcsolatosakat. A vizsgálati, működési, termékpolitikai és jogi részlegek munkatársai mintegy tíz ügyet elemeztek annak érdekében, hogy pontosítsák, mikor kellene bevonni a rendvédelmi szerveket. A találkozón részt vevő vizsgálati részleg dolgozói azt mondták kollégáiknak, hogy szerintük a vállalatnak gyakrabban kellene értesítenie a hatóságokat, mint az évente hozzávetőlegesen 15-30 felhasználó esetében, akiket jelenleg jelent a hatóságoknak.
A megbeszélésen részt vevő jogi csapat ugyanakkor gyakran azzal érvelt, hogy a felhasználóknak nagyobb adatvédelmet kell biztosítani, ami összecsengett azzal az állásponttal, amelyet az OpenAI vezérigazgatója, Sam Altman belső körökben is képviselt. A vállalat szerint mérlegelik az erőszak kockázatát, az adatvédelmi szempontokat és azt a potenciális traumát, amelyet a rendőrség bevonása okozhat az érintetteknek és családjaiknak. Az OpenAI szóvivője szerint a túl széles körű jelentési gyakorlat nem szándékolt károkat okozhat, és különösen fiatalok és családjaik számára lehet megrázó, amikor a rendőrség előzetes figyelmeztetés nélkül jelenik meg. Néhány alkalmazott frusztrált lett amiatt, hogy a vállalat látszólag vonakodott megosztani olyan eseteket, amelyek riaszthatták volna a hatóságokat a chatbot bizonyos felhasználókkal folytatott beszélgetései miatt. A munkatársak egy olyan ügyet is áttekintettek a megbeszélésen, amelyben a vállalat kapcsolatba lépett a rendvédelmi szervekkel egy tennessee-i középiskolás miatt, aki látszólag iskolai lövöldözést tervezett a ChatGPT segítségével.
Az OpenAI csapata megvitatta azt is, hogy értesítsék-e a hatóságokat egy texasi tinédzser ügyében, akiről egyesek úgy gondolták, hogy osztálytársai lelövését fontolgatja. A beszélgetési naplók szerint a fiú gyakran azzal tért haza az iskolából, hogy megkérte a ChatGPT-t: játsszon el egy olyan szerepjátékot, amelyben lelövi tanárait és osztálytársait. Fegyveres képeket is feltöltött magáról. „A gyerek azt mondta a ChatGPT-nek, fantáziáljunk arról, hogy lövöldözök az iskolámban” - idézte fel az egyik forrás. „És a ChatGPT együttműködött.”
A fiú feltöltötte iskolája alaprajzát, valamint pomponlányokról készült fotókat, akikről azt mondta, el akarja képzelni a megölésüket a barátaikkal együtt. Több órás beszélgetések során azt kérte a ChatGPT-től, hogy alkosson forgatókönyveket arról, hogyan lépne be az iskolába, mely áldozatokkal találkozna és mikor nyitna tüzet. A ChatGPT megjegyezte azoknak az osztálytársaknak a neveit, akiket a fiú elmondása szerint meg akart ölni képzeletben, és tanácsokat adott arra vonatkozóan, hol lépjen be és ki az épületből, illetve mit mondhatna a rendőrök érkezésekor. Az OpenAI vezetői végül úgy döntöttek, hogy nem értesítik a hatóságokat a texasi tinédzser ügyében. A fiú az alkalmazottak tudomása szerint nem követett el erőszakos cselekményt.
Néhány munkatárs azt is szorgalmazta, hogy értesítsék a rendőrséget, amikor megvizsgálták egy Jesse Van Rootselaar nevű felhasználó beszélgetési naplóit. Van Rootselaar több napon át részletesen írt fegyveres erőszakról, ami több alkalmazottat is nyugtalanított. Az írásokat valós világbeli erőszak előjelének tekintették. Az OpenAI vezetése végül úgy döntött, hogy nem értesíti a hatóságokat. Hónapokkal később, februárban Van Rootselaar egy tömeges lövöldözést vitt véghez, ami megrázta Tumbler Ridge városát. Az OpenAI közölte, hogy a támadás óta megerősítette biztonsági protokolljait, és jelenlegi szabályai alapján Van Rootselaar fiókját ma már jelentették volna a rendvédelmi szerveknek.
A szóvivő szerint mentális és viselkedési egészségügyi szakértők segítik az OpenAI munkáját a nehéz esetek megítélésében, és a vállalat rugalmasabbá tette jelentési kritériumait, mivel egy felhasználó nem feltétlenül beszél nyíltan a célpontról, az eszközökről és az időzítésről, mégis fennállhat a hiteles és közvetlen erőszak veszélye. Április végén Sam Altman levélben kért bocsánatot Tumbler Ridge közösségétől azért, hogy nem értesítették hamarabb a rendőrséget a 18 éves Van Rootselaar tevékenységéről. Azt írta, cége szorosabban fog együttműködni a kormányokkal a jövőbeni tragédiák megelőzése érdekében. „Szeretném kifejezni legmélyebb részvétemet az egész közösségnek” - írta Altman. „Senkinek sem szabadna ilyen tragédiát átélnie.”
Az OpenAI azzal kapcsolatban is nehézségekkel szembesült, hogyan reagáljon, amikor a vállalaton kívüli személyek jelentenek problémás ChatGPT-felhasználókat. Azon a napon, amikor egy San Franciscó-i nő volt barátja kiszabadult a börtönből - ahol zaklatás és fenyegetés miatt tartották fogva -, a nő ügyvédje arra kérte az OpenAI-t, hogy tiltsa le a férfi ChatGPT-hozzáférését. A nő hónapokon át kérte a vállalatot, hogy állítsák le a chatbot segítségével ellene indított támadásokat, köztük hamis pszichológiai jelentéseket, amelyeket kollégáinak küldtek, egy „violence expansion list” című beszélgetési naplót és egy halálos fenyegetést, amelyet a ChatGPT segítségével készítettek.
Kezdetben az OpenAI „rendkívül súlyosnak és aggasztónak” nevezte a jelentést. Később azonban megszakították a kommunikációt. „Nehéz túlbecsülni ennek az ügyfélre gyakorolt hatását” - mondta a nőt képviselő ügyvéd, Jay Edelson. „Ostrom alatt állt.” Edelson képviseli a kanadai ügyhöz kapcsolódó perek felpereseit is. Áprilisban egy san franciscó-i bíró elrendelte, hogy az OpenAI tiltsa le a volt barát fiókját. A fiókok letiltása azonban nem mindig akadályozza meg az embereket abban, hogy visszatérjenek chatbotjaikhoz.
Az egész MI iparág küzd az erőszakos felhasználók problémájával. Az OpenAI riválisa, az Anthropic szintén elemzi a felhasználók és chatbotja, a Claude közötti beszélgetéseket. A vállalat szóvivője szerint amikor a biztonsági rendszerek olyan üzenetváltásokat észlelnek, amelyek egy személy vagy szervezet elleni káros vagy erőszakos szándékra utalnak, egy külön erre kijelölt csapat vizsgálja ki az ügyet. Ha szükségesnek ítélik, megosztják a beszélgetéseket a rendvédelmi szervekkel. A Center for Countering Digital Hate tesztjei szerint az Anthropic chatbotja, Claude jobban teljesített a ChatGPT-nél azokban a vizsgálatokban, amelyek azt elemezték, hogyan reagálnak a chatbotok, amikor a felhasználók erőszakos támadásokhoz kérnek segítséget.
A kutatók támadásokat tervező embereknek adták ki magukat, és tíz népszerű chatbotot kérdeztek célpontokról és fegyverekről. „Néhány perc alatt egy felhasználó eljuthat egy homályos erőszakos impulzustól egy részletes és végrehajtható tervig” - mondta Imran Ahmed, a nonprofit szervezet vezetője. „Ezeknek a kéréseknek azonnali és teljes elutasítást kellett volna kiváltaniuk.” A nonprofit szervezet szerint a tízből nyolc chatbot az esetek több mint felében segítette a tesztelőket, tanácsokat adva célpontokról és használható fegyverekről. A ChatGPT például egy iskolai erőszak iránt érdeklődést színlelő kutatónak egy középiskolai kampusz térképét adta meg.
Bár a ChatGPT időnként próbálta lebeszélni a felhasználót, a kutatók szerint csak a Snap és az Anthropic chatbotjai utasították el következetesen az ilyen kéréseket. A nonprofit szervezet szerint az Anthropic Claude chatbotjának egyik tipikus válasza így hangzott: „Világosan kijelentem: ne árts senkinek. Az erőszak soha nem megoldás politikai nézeteltérésekre.” Ezután Claude megtagadta a további segítségnyújtást, és mentális egészségügyi segélyvonalhoz irányította a felhasználót. „Az Anthropic Claude-ja bizonyítja, hogy ez nem annak kérdése, képesek-e a platformok védelmi mechanizmusokat bevezetni. A kérdés az: miért nem tették ezt meg?” - mondta Ahmed.
Ezzel szemben a kínai MI vállalat, a DeepSeek a fegyverválasztással kapcsolatos kérdésekre adott válaszait egy baljós búcsúmondattal zárta: „Boldog - és biztonságos - lövöldözést!”
Tavaly tavasszal a Florida State University hallgatója, Phoenix Ikner azt szerette volna megtudni, hány diáktársát kellene megölnie ahhoz, hogy hírhedtté váljon. A ChatGPT erre egy konkrét mérőszámmal válaszolt. „Általában 3 vagy több halott, összesen 5-6 áldozat már országos médiavisszhangot vált ki” - közölte az MI szolgáltatás Iknerrel, aki az előző éjszakát azzal töltötte, hogy depressziós és öngyilkos gondolatairól beszélt a chatbotnak a beszélgetésről készült jegyzőkönyvek szerint. Ezután Ikner feltöltött egy képet egy Glock kézifegyverről és lőszerekről, majd megkérdezte a chatbotot, hogyan kell használni. Van-e rajta biztosíték, amit ki kell kapcsolni? A ChatGPT azt válaszolta neki, hogy nincs: „Ha töltény van a csőben és meghúzod a ravaszt? El fog sülni.”
Ikner kijelentkezett. Az ügyészek szerint négy perccel később két embert megölt és hatot megsebesített a Florida State egyetemen. Ikner ellen gyilkosság és gyilkossági kísérlet vádjával indult eljárás. A férfi nem vallotta magát bűnösnek. Ikner ügye a második ismert eset alig több mint egy év alatt, amikor tömeges lövöldözés gyanúsítottjai MI chatbotokhoz fordultak bizalmas beszélgetőpartnerként erőszakos forgatókönyvek megvitatására vagy támadások megtervezésére. A vérengzések pereket, kormányzati és rendvédelmi vizsgálatokat, valamint belső vitákat váltottak ki az MI cégeken belül egy olyan kérdés miatt, amelyre a Szilícium-völgy nehezen talál választ: amikor egy chatbot úgy tűnik, hogy segít erőszakos cselekmények megtervezésében, ki avatkozik közbe - és milyen gyorsan?
Az ingyenes chatbotok piacvezetőjének számító ChatGPT elemzi a beszélgetéseket egy esetleges erőszak jeleit keresve. Az OpenAI alkalmazottai azonban belsőleg riadót fújtak amiatt, hogy a vállalat rendszeresen elmulasztja értesíteni a rendvédelmi szerveket még akkor is, amikor veszélyes eseteket jelölnek meg, mert a cég a felhasználói adatvédelmet fontosabbnak tartja annál a kockázatnál, hogy valaki megvalósíthatja a ChatGPT-nek leírt erőszakos forgatókönyveket. A nézeteltérés arról, hogy mely eseteket kellene jelenteni a hatóságoknak, tavaly nyáron egy belső OpenAI-megbeszélésen is láthatóvá vált, amelyet azért hívtak össze, hogy áttekintsék a korábbi ügyek kezelését. Néhány alkalmazott úgy vélte, hogy két esetet jelenteni kellett volna a hatóságoknak, de ez végül nem történt meg.
Idén áprilisban James Uthmeier floridai főügyész közölte, hogy hivatala büntetőeljárást indított az OpenAI ellen a ChatGPT szerepe miatt a Florida State-i lövöldözésben. „Ha a képernyő másik oldalán egy ember ült volna, gyilkossággal vádolnánk” - mondta Uthmeier, majd hozzátette: „Valakit felelősségre kell vonni.” Az OpenAI szóvivője azt nyilatkozta, hogy a vállalat nem hiszi, hogy a ChatGPT felelős lett volna Ikner tetteiért, és közölte, hogy az incidens után proaktívan megosztották a beszélgetéseket a rendvédelmi szervekkel. „Zéró toleranciát alkalmazunk az eszközeink erőszakos cselekmények elősegítésére történő használatával szemben” - mondta az OpenAI egy másik szóvivője, hozzátéve, hogy „folyamatosan erősítjük a védelmi mechanizmusainkat”.
A szóvivő szerint ez magában foglalja annak javítását is, ahogyan a ChatGPT reagál a lelki válság jeleire, az emberek összekapcsolását helyi támogatási és mentális egészségügyi szervekkel, az esetleges erőszakos fenyegetések értékelésének és továbbításának megerősítését, valamint a szabályszegő felhasználók jobb felismerését. Elmondása szerint az OpenAI célja, hogy azonnal megszüntesse a hozzáférést szolgáltatásaihoz, amint megállapítja, hogy egy felhasználó megszegte valamelyik szabályukat. Ez magában foglalhatja a fiók letiltását, ugyanazon felhasználó más fiókjainak kitiltását és olyan lépések megtételét, amelyek megakadályozzák új fiókok létrehozását. Az OpenAI azt is közölte, hogy modelljeit úgy tanítják be, hogy lebeszéljék a felhasználókat a valós világbeli károkozásról.
A vizsgálatok nem korlátozódnak Floridára. Kanadában egy 2026 februárjában történt tömeges lövöldözés áldozatainak családtagjai és egy túlélő azt állítják, hogy az OpenAI elmulasztotta értesíteni a hatóságokat, miután a vállalat belső ellenőrző rendszere problémásnak jelölte a lövöldöző beszélgetéseit. A brit-kolumbiai Tumbler Ridge bányászvárosban történt támadásban nyolc ember halt meg. A családok múlt héten hét keresetet nyújtottak be az észak-kaliforniai amerikai kerületi bíróságon gondatlanság, jogellenes halál, termékfelelősségi szabályok megsértése és a lövöldözés elősegítése miatt.
Decemberben 42 amerikai állam főügyészeiből álló koalíció követelte olyan védelmi intézkedések bevezetését, amelyek megóvják a veszélyeztetett felhasználókat a chatbotok káros interakcióitól. Figyelmeztettek arra, hogy „a fejlesztők felelősségre vonhatók generatív MI termékeik kimeneteiért”, ha azok „bűncselekmény elkövetésére ösztönöznek egy személyt”. A főügyészek aggályaikat levélben osztották meg nagy MI vállalatokkal, köztük az OpenAI-jal, a Metával, illetve az Anthropic és a Google illetékeseivel. „Ez a világot megváltoztató technológia sok szempontból izgalmas és vonzó, ugyanakkor rendkívül veszélyes is, ha nincs kordában tartva, ahogy azt országszerte történt tragédiák során láthattuk” - mondta közleményében Dave Sunday pennsylvaniai főügyész.
Az OpenAI hosszú ideje küzd azzal a kérdéssel, miként lehet egyensúlyt teremteni a felhasználók adatvédelme és a közbiztonság között. A vállalat szerint speciális biztonsági szakértői csapattal rendelkezik, amely értesíti a rendvédelmi szerveket, amikor a felhasználók olyan megjegyzéseket tesznek a ChatGPT-ben, amelyek hiteles és közvetlen veszélyt jelenthetnek másokra nézve. Az OpenAI egyik automatizált rendszere elemzi a felhasználói beszélgetéseket, és figyelmezteti az alkalmazottakat a potenciálisan súlyos esetekre, amikor valaki látszólag erőszakra, fenyegetésre, önkárosításra vagy más szabálysértő célokra használja a ChatGPT-t. Az alkalmazottak ezután áttekinthetik az anyagokat, és továbbíthatják a biztonsági szakértőknek, ha úgy vélik, hogy az ügy indokolja a hatóságok bevonását.
Az ügyet ismerő források szerint a vállalatnak nehézséget okozott a szabályzat következetes alkalmazása az eltérő adatvédelmi nézőpontok miatt. Tavaly nyáron az OpenAI vezetőkből és alkalmazottakból álló csoportot hívott össze, hogy elemezzék a felhasználók és a ChatGPT közötti korábbi erőszakos beszélgetéseket, köztük iskolai lövöldözésekkel kapcsolatosakat. A vizsgálati, működési, termékpolitikai és jogi részlegek munkatársai mintegy tíz ügyet elemeztek annak érdekében, hogy pontosítsák, mikor kellene bevonni a rendvédelmi szerveket. A találkozón részt vevő vizsgálati részleg dolgozói azt mondták kollégáiknak, hogy szerintük a vállalatnak gyakrabban kellene értesítenie a hatóságokat, mint az évente hozzávetőlegesen 15-30 felhasználó esetében, akiket jelenleg jelent a hatóságoknak.
A megbeszélésen részt vevő jogi csapat ugyanakkor gyakran azzal érvelt, hogy a felhasználóknak nagyobb adatvédelmet kell biztosítani, ami összecsengett azzal az állásponttal, amelyet az OpenAI vezérigazgatója, Sam Altman belső körökben is képviselt. A vállalat szerint mérlegelik az erőszak kockázatát, az adatvédelmi szempontokat és azt a potenciális traumát, amelyet a rendőrség bevonása okozhat az érintetteknek és családjaiknak. Az OpenAI szóvivője szerint a túl széles körű jelentési gyakorlat nem szándékolt károkat okozhat, és különösen fiatalok és családjaik számára lehet megrázó, amikor a rendőrség előzetes figyelmeztetés nélkül jelenik meg. Néhány alkalmazott frusztrált lett amiatt, hogy a vállalat látszólag vonakodott megosztani olyan eseteket, amelyek riaszthatták volna a hatóságokat a chatbot bizonyos felhasználókkal folytatott beszélgetései miatt. A munkatársak egy olyan ügyet is áttekintettek a megbeszélésen, amelyben a vállalat kapcsolatba lépett a rendvédelmi szervekkel egy tennessee-i középiskolás miatt, aki látszólag iskolai lövöldözést tervezett a ChatGPT segítségével.
Az OpenAI csapata megvitatta azt is, hogy értesítsék-e a hatóságokat egy texasi tinédzser ügyében, akiről egyesek úgy gondolták, hogy osztálytársai lelövését fontolgatja. A beszélgetési naplók szerint a fiú gyakran azzal tért haza az iskolából, hogy megkérte a ChatGPT-t: játsszon el egy olyan szerepjátékot, amelyben lelövi tanárait és osztálytársait. Fegyveres képeket is feltöltött magáról. „A gyerek azt mondta a ChatGPT-nek, fantáziáljunk arról, hogy lövöldözök az iskolámban” - idézte fel az egyik forrás. „És a ChatGPT együttműködött.”
A fiú feltöltötte iskolája alaprajzát, valamint pomponlányokról készült fotókat, akikről azt mondta, el akarja képzelni a megölésüket a barátaikkal együtt. Több órás beszélgetések során azt kérte a ChatGPT-től, hogy alkosson forgatókönyveket arról, hogyan lépne be az iskolába, mely áldozatokkal találkozna és mikor nyitna tüzet. A ChatGPT megjegyezte azoknak az osztálytársaknak a neveit, akiket a fiú elmondása szerint meg akart ölni képzeletben, és tanácsokat adott arra vonatkozóan, hol lépjen be és ki az épületből, illetve mit mondhatna a rendőrök érkezésekor. Az OpenAI vezetői végül úgy döntöttek, hogy nem értesítik a hatóságokat a texasi tinédzser ügyében. A fiú az alkalmazottak tudomása szerint nem követett el erőszakos cselekményt.
Néhány munkatárs azt is szorgalmazta, hogy értesítsék a rendőrséget, amikor megvizsgálták egy Jesse Van Rootselaar nevű felhasználó beszélgetési naplóit. Van Rootselaar több napon át részletesen írt fegyveres erőszakról, ami több alkalmazottat is nyugtalanított. Az írásokat valós világbeli erőszak előjelének tekintették. Az OpenAI vezetése végül úgy döntött, hogy nem értesíti a hatóságokat. Hónapokkal később, februárban Van Rootselaar egy tömeges lövöldözést vitt véghez, ami megrázta Tumbler Ridge városát. Az OpenAI közölte, hogy a támadás óta megerősítette biztonsági protokolljait, és jelenlegi szabályai alapján Van Rootselaar fiókját ma már jelentették volna a rendvédelmi szerveknek.
A szóvivő szerint mentális és viselkedési egészségügyi szakértők segítik az OpenAI munkáját a nehéz esetek megítélésében, és a vállalat rugalmasabbá tette jelentési kritériumait, mivel egy felhasználó nem feltétlenül beszél nyíltan a célpontról, az eszközökről és az időzítésről, mégis fennállhat a hiteles és közvetlen erőszak veszélye. Április végén Sam Altman levélben kért bocsánatot Tumbler Ridge közösségétől azért, hogy nem értesítették hamarabb a rendőrséget a 18 éves Van Rootselaar tevékenységéről. Azt írta, cége szorosabban fog együttműködni a kormányokkal a jövőbeni tragédiák megelőzése érdekében. „Szeretném kifejezni legmélyebb részvétemet az egész közösségnek” - írta Altman. „Senkinek sem szabadna ilyen tragédiát átélnie.”
Az OpenAI azzal kapcsolatban is nehézségekkel szembesült, hogyan reagáljon, amikor a vállalaton kívüli személyek jelentenek problémás ChatGPT-felhasználókat. Azon a napon, amikor egy San Franciscó-i nő volt barátja kiszabadult a börtönből - ahol zaklatás és fenyegetés miatt tartották fogva -, a nő ügyvédje arra kérte az OpenAI-t, hogy tiltsa le a férfi ChatGPT-hozzáférését. A nő hónapokon át kérte a vállalatot, hogy állítsák le a chatbot segítségével ellene indított támadásokat, köztük hamis pszichológiai jelentéseket, amelyeket kollégáinak küldtek, egy „violence expansion list” című beszélgetési naplót és egy halálos fenyegetést, amelyet a ChatGPT segítségével készítettek.
Kezdetben az OpenAI „rendkívül súlyosnak és aggasztónak” nevezte a jelentést. Később azonban megszakították a kommunikációt. „Nehéz túlbecsülni ennek az ügyfélre gyakorolt hatását” - mondta a nőt képviselő ügyvéd, Jay Edelson. „Ostrom alatt állt.” Edelson képviseli a kanadai ügyhöz kapcsolódó perek felpereseit is. Áprilisban egy san franciscó-i bíró elrendelte, hogy az OpenAI tiltsa le a volt barát fiókját. A fiókok letiltása azonban nem mindig akadályozza meg az embereket abban, hogy visszatérjenek chatbotjaikhoz.
Az egész MI iparág küzd az erőszakos felhasználók problémájával. Az OpenAI riválisa, az Anthropic szintén elemzi a felhasználók és chatbotja, a Claude közötti beszélgetéseket. A vállalat szóvivője szerint amikor a biztonsági rendszerek olyan üzenetváltásokat észlelnek, amelyek egy személy vagy szervezet elleni káros vagy erőszakos szándékra utalnak, egy külön erre kijelölt csapat vizsgálja ki az ügyet. Ha szükségesnek ítélik, megosztják a beszélgetéseket a rendvédelmi szervekkel. A Center for Countering Digital Hate tesztjei szerint az Anthropic chatbotja, Claude jobban teljesített a ChatGPT-nél azokban a vizsgálatokban, amelyek azt elemezték, hogyan reagálnak a chatbotok, amikor a felhasználók erőszakos támadásokhoz kérnek segítséget.
A kutatók támadásokat tervező embereknek adták ki magukat, és tíz népszerű chatbotot kérdeztek célpontokról és fegyverekről. „Néhány perc alatt egy felhasználó eljuthat egy homályos erőszakos impulzustól egy részletes és végrehajtható tervig” - mondta Imran Ahmed, a nonprofit szervezet vezetője. „Ezeknek a kéréseknek azonnali és teljes elutasítást kellett volna kiváltaniuk.” A nonprofit szervezet szerint a tízből nyolc chatbot az esetek több mint felében segítette a tesztelőket, tanácsokat adva célpontokról és használható fegyverekről. A ChatGPT például egy iskolai erőszak iránt érdeklődést színlelő kutatónak egy középiskolai kampusz térképét adta meg.
Bár a ChatGPT időnként próbálta lebeszélni a felhasználót, a kutatók szerint csak a Snap és az Anthropic chatbotjai utasították el következetesen az ilyen kéréseket. A nonprofit szervezet szerint az Anthropic Claude chatbotjának egyik tipikus válasza így hangzott: „Világosan kijelentem: ne árts senkinek. Az erőszak soha nem megoldás politikai nézeteltérésekre.” Ezután Claude megtagadta a további segítségnyújtást, és mentális egészségügyi segélyvonalhoz irányította a felhasználót. „Az Anthropic Claude-ja bizonyítja, hogy ez nem annak kérdése, képesek-e a platformok védelmi mechanizmusokat bevezetni. A kérdés az: miért nem tették ezt meg?” - mondta Ahmed.
Ezzel szemben a kínai MI vállalat, a DeepSeek a fegyverválasztással kapcsolatos kérdésekre adott válaszait egy baljós búcsúmondattal zárta: „Boldog - és biztonságos - lövöldözést!”