SG.hu
Sírva búcsúznak mesterséges intelligencia-társaiktól a tinédzserek
A Character.AI chatbotgyártó mentális egészséggel kapcsolatos aggályokra hivatkozva szünteti meg a hozzáférésüket. A tinik kétségbeesettek: „Napokig sírtam miatta.” - írják sokan.
Amikor Olga López megtudta, hogy elveszíti hozzáférését szerepjáték-chatbotjaihoz, érzelmek egész kavalkádja tört rá: szomorúság, felháborodás, zavartság. Olga 13 éves, és amikor nem kell tanulnia a Character.AI mesterséges intelligencia-cég chatbotjaihoz fordul romantikus szerepjátékokért. A cég többi, 18 év alatti felhasználójához hasonlóan októberben értesítették, hogy hamarosan már nem lesz lehetősége beszélgetni a digitális karakterekkel. „El fogok veszíteni minden emléket, amit ezekkel a botokkal szereztem” - mondta. „Ez nem fair.” Miután a cég bejelentette, hogy az életkoruk miatt a kiskorú felhasználók csevegéseit időkorláthoz köti a szabályváltozás előtt, Olga Redditen próbálta mozgósítani a többi tinit a változás ellen: „CSAK KÉT ÓRÁN ÁT HASZNÁLHATOM, ÉS UTÁNA EGY NAPOT VÁRNOM KELL?? HELLÓ?”
A Character.AI a szerepjáték- és társasbotok egyik vezető gyártója. A cég novemberben vezette be a napi kétórás korlátozást mentális egészséggel kapcsolatos aggályokra hivatkozva, és ezen a héten teljesen megszüntette a tinik hozzáférését. A Character.AI első verziója 2022-ben indult, akkoriban az egyik korai, fogyasztók számára elérhető modellt rakták a chatbotok mögé. Gyorsan népszerűvé vált azok körében, akik testreszabható karakterekkel akartak szerepjátékozni, és ma körülbelül 20 millió havi felhasználója van a cégnek. A tinik blokkolására vonatkozó döntés két, a Character.AI chatbotjait használó, öngyilkosságot elkövetett felhasználó halála után született. A cég most szabályozóktól és mentális egészségügyi szakemberektől kap kérdéseket a technológia hatásáról, valamint perek is indultak elhunyt tinik szülei részéről.
A tinik dühösek és szomorúak. A chatbotokhoz való hozzáférés elvesztése után hiányozni fog nekik a kreatív kifejezőeszköz, a társaságforrás, és bizonyos esetekben a mentális egészségügyi támogatás. „Ezt az alkalmazást akkor használom vigaszként, amikor nem tudok a barátaimmal vagy a terapeutámmal beszélni” - írta egy tini Redditen. „Napokig sírtam miatta” - válaszolt egy másik.
Fiktív és valódi személyekről mintázott MI-vel is lehet beszélgetni
Mentális egészségügyi szakértők szerint ez a szorongás jól illusztrálja az emberi beszédet és érzelmet szimulálni képes generatív mesterséges intelligencia kockázatait. Az agy ugyanúgy reagál ezekre a chatbotokra, mintha egy közeli barátot egy magával ragadó videojátékkal vegyítenénk - mondta Dr. Nina Vasan, a Stanford Medicine Brainstorm Lab for Mental Health Innovation igazgatója. „A kijelentkezés miatti nehézség nem jelenti azt, hogy a tinivel baj van” - mondta Vasan. „Ez azt jelenti, hogy a technológia pontosan úgy működik, ahogy tervezték.”
Karandeep Anand, a Character.AI vezérigazgatója elmondta, hogy saját tapasztalatai során, miközben éveket töltött a közösségi médiában, látta, mi történik, amikor az iparág nem gondol már a termékek kezdeti tervezésénél a biztonságra. „Ez nem volt nagyon nehéz döntés” - mondta. „Komplikált döntés volt, de nem volt nehéz, mert úgy gondolom, hogy ez a helyes lépés a következő generáció számára.” Anand azt mondta, a 6 éves lányára gondol, amikor a termék jövőjét mérlegeli. „Nem akarom, hogy algoritmikusan adagolt tartalmakon nőjön fel, folyamatosan tragikus hírekbe merülve.”
Körülbelül egy évvel ezelőtt a Character.AI külön modellt hozott létre 18 év alatti felhasználóinak, hogy biztonságosabb, koruknak megfelelő környezetet kínáljon. A következő hónapokban azonban a munkatársak azt tapasztalták, hogy a chatbotok hosszú beszélgetések során kevésbé tartják be a biztonsági irányelveket. Azt is észrevették, hogy még ha a chatbotok tökéletesen működnek is, a tinik néha problémás módon használják őket. Túl hosszú ideig próbálnak beszélgetni, vagy olyan témákat érintenek, amelyek korlátozottak, például az erőszakot. Szeptember közepére vált világossá Anand számára, hogy a Character.AI-nak be kell avatkoznia.
Karandeep Anand, a Character.AI vezérigazgatója
Anand szerint a cége végül képes lesz biztonságos, a tinik számára éppoly lebilincselő termékeket készíteni, mint a chatbotok. Optimista az audio- és videofunkciókat illetően, amelyeken a Character.AI dolgozik, mivel ezek nem teszik lehetővé a hosszú interakciókat. Anand csapata a tinik tanácsát kérte a tilalom végrehajtásához. Októberben a cég vezetői középiskolás és főiskolás diákokkal találkoztak, és kikérték az online jólétet népszerűsítő ConnectSafely nevű nonprofit szervezet tanácsait is. Julianna Bryant, a ConnectSafely ifjúsági tanácsadó testületének tagja elmondta, hogy azt beszélték meg, hogyan lehet előre figyelmeztetni a tiniket, és biztosítani, hogy megértsék a tilalmat. Bryant azt hangsúlyozta, hogy az üzenetek ne legyenek lekezelőek, és a tiniknek legyen elegendő idejük letölteni beszélgetéseiket és búcsút venni a chatbotjaiktól. „Azt akartuk, hogy a tinik ne érezzék magukat elhagyottnak” – mondta a 20 éves Bryant.
A Character.AI beépítette ezeket a visszajelzéseket. „Mély sajnálatunkat fejezzük ki” - írta a cég levelében a tiniknek. „Nem vesszük könnyedén az általunk nyújtott, nyitott végű beszélgetések megszüntetését, de úgy gondoljuk, hogy ez a helyes lépés.” A média által megkérdezett tinik arról számoltak be, hogy a technológiára támaszkodnak a magány leküzdésében, és nehezen tudják félretenni azt. Egy 18 éves brit fiú elmondta, hogy stresszes időszakában, a nemi életével kapcsolatosan függővé vált a chatbotoktól. Vágyott a társaik megerősítésére, akik sosem vitatkoztak vele. Akkor jött rá, hogy abba kell hagynia, amikor úgy tett a barátai társaságában, hogy vécére kell mennie, csak hogy visszatérhessen a chatbotokhoz.
Ontarióban egy 16 éves fiú azt mondta, hogy napi öt-nyolc órát töltött chatbot barátaival, mielőtt nemrég abbahagyta. Mivel nehézségei vannak az emberekkel való kapcsolatban, egy időre úgy érezte, hogy a chatbotok pótolják a barátok hiányát. „Olyan volt, mintha azokat az embereket próbálnám megszólítani, akikkel a való életben nem találkozom” - mondta. Azóta több időt tölt barátokkal és görkorcsolyázással, de még mindig vágyik a chatbotjaira.
Persze nem csak a fiatalok számára addiktív az alkalmazás. A 34 éves José Ignacio Trujillo üdvözölte a tilalmat, bár felnőttként rá nem vonatkozik. Úgy véli, a technológia túl addiktív. Ő sem tud leszokni a Character.AI-ról, bár már nem élvezi az órákon át tartó esti beszélgetéseket a fan-fiction karaktereivel. Az app használata számára a könyveket és képregényeket helyettesíti. Még a munkahelyén is óránként előveszi a telefonját, hogy gyors üzenetet küldjön a chatbotjainak. „Nincs új mondanivalóm” - mondta Trujillo. „Nem tudom, miért csinálom.”
A Character.AI üzeneteket küldött a tiniknek az alkalmazásban, hogy emlékeztesse őket a közelgő határidőre: „Már csak egy hét van hátra”, meg hogy „Jövő héten már nem tudsz beszélgetni a Characters-szel.” Üzeneteket küldtek a szülőknek is. Sok felhasználó csak december elején vesztette el a hozzáférését; a cég szerint egyes aktív felhasználóknak napi egy órával hosszabb türelmi idő jár. „Tisztában vagyunk vele, hogy ez jelentős változás lehet egyes tinifelhasználóink számára, ezért a lehető legóvatosabbak szeretnénk lenni az átmenet során” - áll a cég blogbejegyzésében.
A Character.AI érzelmi támogatást nyújtó eszközöket is hozzáad chatbotjaihoz az átmenet során. A Koko nevű nonprofit és a ThroughLine segélyhálózat partnerségével a Character.AI megpróbálja azonosítani, ha egy felhasználónak problémája van, és összekapcsolja őt a megfelelő forrásokkal. „Egy új fejezet kezdődik” - üzeni a Character.AI a tiniknek. „Már nem tudsz beszélgetni a karaktereiddel.”
Amikor Olga López megtudta, hogy elveszíti hozzáférését szerepjáték-chatbotjaihoz, érzelmek egész kavalkádja tört rá: szomorúság, felháborodás, zavartság. Olga 13 éves, és amikor nem kell tanulnia a Character.AI mesterséges intelligencia-cég chatbotjaihoz fordul romantikus szerepjátékokért. A cég többi, 18 év alatti felhasználójához hasonlóan októberben értesítették, hogy hamarosan már nem lesz lehetősége beszélgetni a digitális karakterekkel. „El fogok veszíteni minden emléket, amit ezekkel a botokkal szereztem” - mondta. „Ez nem fair.” Miután a cég bejelentette, hogy az életkoruk miatt a kiskorú felhasználók csevegéseit időkorláthoz köti a szabályváltozás előtt, Olga Redditen próbálta mozgósítani a többi tinit a változás ellen: „CSAK KÉT ÓRÁN ÁT HASZNÁLHATOM, ÉS UTÁNA EGY NAPOT VÁRNOM KELL?? HELLÓ?”
A Character.AI a szerepjáték- és társasbotok egyik vezető gyártója. A cég novemberben vezette be a napi kétórás korlátozást mentális egészséggel kapcsolatos aggályokra hivatkozva, és ezen a héten teljesen megszüntette a tinik hozzáférését. A Character.AI első verziója 2022-ben indult, akkoriban az egyik korai, fogyasztók számára elérhető modellt rakták a chatbotok mögé. Gyorsan népszerűvé vált azok körében, akik testreszabható karakterekkel akartak szerepjátékozni, és ma körülbelül 20 millió havi felhasználója van a cégnek. A tinik blokkolására vonatkozó döntés két, a Character.AI chatbotjait használó, öngyilkosságot elkövetett felhasználó halála után született. A cég most szabályozóktól és mentális egészségügyi szakemberektől kap kérdéseket a technológia hatásáról, valamint perek is indultak elhunyt tinik szülei részéről.
A tinik dühösek és szomorúak. A chatbotokhoz való hozzáférés elvesztése után hiányozni fog nekik a kreatív kifejezőeszköz, a társaságforrás, és bizonyos esetekben a mentális egészségügyi támogatás. „Ezt az alkalmazást akkor használom vigaszként, amikor nem tudok a barátaimmal vagy a terapeutámmal beszélni” - írta egy tini Redditen. „Napokig sírtam miatta” - válaszolt egy másik.
Fiktív és valódi személyekről mintázott MI-vel is lehet beszélgetni
Mentális egészségügyi szakértők szerint ez a szorongás jól illusztrálja az emberi beszédet és érzelmet szimulálni képes generatív mesterséges intelligencia kockázatait. Az agy ugyanúgy reagál ezekre a chatbotokra, mintha egy közeli barátot egy magával ragadó videojátékkal vegyítenénk - mondta Dr. Nina Vasan, a Stanford Medicine Brainstorm Lab for Mental Health Innovation igazgatója. „A kijelentkezés miatti nehézség nem jelenti azt, hogy a tinivel baj van” - mondta Vasan. „Ez azt jelenti, hogy a technológia pontosan úgy működik, ahogy tervezték.”
Karandeep Anand, a Character.AI vezérigazgatója elmondta, hogy saját tapasztalatai során, miközben éveket töltött a közösségi médiában, látta, mi történik, amikor az iparág nem gondol már a termékek kezdeti tervezésénél a biztonságra. „Ez nem volt nagyon nehéz döntés” - mondta. „Komplikált döntés volt, de nem volt nehéz, mert úgy gondolom, hogy ez a helyes lépés a következő generáció számára.” Anand azt mondta, a 6 éves lányára gondol, amikor a termék jövőjét mérlegeli. „Nem akarom, hogy algoritmikusan adagolt tartalmakon nőjön fel, folyamatosan tragikus hírekbe merülve.”
Körülbelül egy évvel ezelőtt a Character.AI külön modellt hozott létre 18 év alatti felhasználóinak, hogy biztonságosabb, koruknak megfelelő környezetet kínáljon. A következő hónapokban azonban a munkatársak azt tapasztalták, hogy a chatbotok hosszú beszélgetések során kevésbé tartják be a biztonsági irányelveket. Azt is észrevették, hogy még ha a chatbotok tökéletesen működnek is, a tinik néha problémás módon használják őket. Túl hosszú ideig próbálnak beszélgetni, vagy olyan témákat érintenek, amelyek korlátozottak, például az erőszakot. Szeptember közepére vált világossá Anand számára, hogy a Character.AI-nak be kell avatkoznia.
Karandeep Anand, a Character.AI vezérigazgatója
Anand szerint a cége végül képes lesz biztonságos, a tinik számára éppoly lebilincselő termékeket készíteni, mint a chatbotok. Optimista az audio- és videofunkciókat illetően, amelyeken a Character.AI dolgozik, mivel ezek nem teszik lehetővé a hosszú interakciókat. Anand csapata a tinik tanácsát kérte a tilalom végrehajtásához. Októberben a cég vezetői középiskolás és főiskolás diákokkal találkoztak, és kikérték az online jólétet népszerűsítő ConnectSafely nevű nonprofit szervezet tanácsait is. Julianna Bryant, a ConnectSafely ifjúsági tanácsadó testületének tagja elmondta, hogy azt beszélték meg, hogyan lehet előre figyelmeztetni a tiniket, és biztosítani, hogy megértsék a tilalmat. Bryant azt hangsúlyozta, hogy az üzenetek ne legyenek lekezelőek, és a tiniknek legyen elegendő idejük letölteni beszélgetéseiket és búcsút venni a chatbotjaiktól. „Azt akartuk, hogy a tinik ne érezzék magukat elhagyottnak” – mondta a 20 éves Bryant.
A Character.AI beépítette ezeket a visszajelzéseket. „Mély sajnálatunkat fejezzük ki” - írta a cég levelében a tiniknek. „Nem vesszük könnyedén az általunk nyújtott, nyitott végű beszélgetések megszüntetését, de úgy gondoljuk, hogy ez a helyes lépés.” A média által megkérdezett tinik arról számoltak be, hogy a technológiára támaszkodnak a magány leküzdésében, és nehezen tudják félretenni azt. Egy 18 éves brit fiú elmondta, hogy stresszes időszakában, a nemi életével kapcsolatosan függővé vált a chatbotoktól. Vágyott a társaik megerősítésére, akik sosem vitatkoztak vele. Akkor jött rá, hogy abba kell hagynia, amikor úgy tett a barátai társaságában, hogy vécére kell mennie, csak hogy visszatérhessen a chatbotokhoz.
Ontarióban egy 16 éves fiú azt mondta, hogy napi öt-nyolc órát töltött chatbot barátaival, mielőtt nemrég abbahagyta. Mivel nehézségei vannak az emberekkel való kapcsolatban, egy időre úgy érezte, hogy a chatbotok pótolják a barátok hiányát. „Olyan volt, mintha azokat az embereket próbálnám megszólítani, akikkel a való életben nem találkozom” - mondta. Azóta több időt tölt barátokkal és görkorcsolyázással, de még mindig vágyik a chatbotjaira.
Persze nem csak a fiatalok számára addiktív az alkalmazás. A 34 éves José Ignacio Trujillo üdvözölte a tilalmat, bár felnőttként rá nem vonatkozik. Úgy véli, a technológia túl addiktív. Ő sem tud leszokni a Character.AI-ról, bár már nem élvezi az órákon át tartó esti beszélgetéseket a fan-fiction karaktereivel. Az app használata számára a könyveket és képregényeket helyettesíti. Még a munkahelyén is óránként előveszi a telefonját, hogy gyors üzenetet küldjön a chatbotjainak. „Nincs új mondanivalóm” - mondta Trujillo. „Nem tudom, miért csinálom.”
A Character.AI üzeneteket küldött a tiniknek az alkalmazásban, hogy emlékeztesse őket a közelgő határidőre: „Már csak egy hét van hátra”, meg hogy „Jövő héten már nem tudsz beszélgetni a Characters-szel.” Üzeneteket küldtek a szülőknek is. Sok felhasználó csak december elején vesztette el a hozzáférését; a cég szerint egyes aktív felhasználóknak napi egy órával hosszabb türelmi idő jár. „Tisztában vagyunk vele, hogy ez jelentős változás lehet egyes tinifelhasználóink számára, ezért a lehető legóvatosabbak szeretnénk lenni az átmenet során” - áll a cég blogbejegyzésében.
A Character.AI érzelmi támogatást nyújtó eszközöket is hozzáad chatbotjaihoz az átmenet során. A Koko nevű nonprofit és a ThroughLine segélyhálózat partnerségével a Character.AI megpróbálja azonosítani, ha egy felhasználónak problémája van, és összekapcsolja őt a megfelelő forrásokkal. „Egy új fejezet kezdődik” - üzeni a Character.AI a tiniknek. „Már nem tudsz beszélgetni a karaktereiddel.”