SG.hu
A Character.AI kitiltja a 18 év alattiakat a szolgáltatásából
Az MI-csevegőpartnereket fejlesztő cég peres eljárásokkal szembesül azoknak a családoknak a részéről, akik a Character.AI-t azzal vádolják, hogy a botjai késztették a tinédzsereket öngyilkosságra.
A Character.AI bejelentette, hogy a gyermekek biztonságával kapcsolatos aggályok miatt a jövő hónap végétől tiltja a 18 év alattiakat számára csevegőbotjai használatát. A szabály november 25-én lép hatályba, közölte a vállalat. A Character.AI szerint a szabály érvényesítése érdekében a következő hónapban a vállalat azonosítja a kiskorú felhasználókat, és időkorlátot szab az alkalmazás használatára. A szabály életbe lépése után ezek a felhasználók nem tudnak majd beszélgetni a vállalat chatbotjaival.
"Nagyon merész lépést teszünk azzal, hogy kijelentjük: a tizenéves felhasználók számára a chatbotok nem szórakoztató eszközök, hanem sokkal jobb módszerek állnak rendelkezésükre” - mondta Karandeep Anand, a Character.AI vezérigazgatója egy interjúban. Elmondta, hogy a vállalat egy mesterséges intelligencia biztonsági laboratórium létrehozását is tervezi. A lépésekre azután került sor, hogy egyre nagyobb figyelmet kapott, hogy a mesterséges intelligencia társak hogyan befolyásolhatják a felhasználók mentális egészségét. Tavaly a Character.AI-t beperelte Sewell Setzer családja; a 14 éves floridai fiú azután lett öngyilkos, miután folyamatosan üzeneteket váltott és beszélgetett a Character.AI egyik chatbotjával. Családja a vállalatot tette felelőssé a fiú haláláért.
Az eset felhívta a figyelmet arra, hogy az emberek hogyan alakíthatnak ki érzelmi kötődést a chatbotokhoz, ami potenciálisan veszélyes következményekkel járhat. A Character.AI azóta más, gyermekek biztonságával kapcsolatos perekkel is szembesült. Az MI-vállalatok, köztük a ChatGPT gyártója, az OpenAI is vizsgálat alá került a chatbotjaik emberekre - különösen a fiatalokra - gyakorolt hatása miatt, ha azok szexuálisan explicit vagy mérgező beszélgetéseket folytatnak. Szeptemberben az OpenAI bejelentette, hogy olyan funkciókat tervez bevezetni - többek között szülői felügyeletet -, amelyek biztonságosabbá teszik a csevegőrobotját. Ebben a hónapban Sam Altman, az OpenAI vezérigazgatója a közösségi médiában közzétette, hogy a vállalatnak „sikerült enyhítenie a súlyos mentális egészségügyi problémákat”, és enyhíteni fogja néhány biztonsági intézkedését.
Ezeknek az eseteknek a nyomán az amerikai törvényhozók és más tisztviselők vizsgálatokat indítottak, és olyan törvényeket javasoltak vagy fogadtak el, amelyek célja a gyermekek védelme az MI-alapú chatbotoktól. Kedden Josh Hawley, Missouri republikánus szenátor, és Richard Blumenthal, Connecticut demokrata szenátor olyan biztonsági intézkedéseket tartalmazó törvényjavaslatot terjesztettek elő, amely megtiltaná az MI-alapú botok használatát a kiskorúak számára. Gavin Newsom kormányzó ebben a hónapban írt alá egy olyan kaliforniai törvényt, amely előírja, hogy az MI-vállalatoknak biztonsági korlátokat kell bevezetniük a chatbotokra. A törvény január 1-jén lép hatályba. "Egyre több történet lát napvilágot arról, hogy mi minden sülhet el rosszul” - mondta Steve Padilla, a kaliforniai állami szenátus demokrata tagja, aki benyújtotta a biztonsági törvényjavaslatot. "Fontos, hogy ésszerű korlátokat vezessünk be, hogy megvédjük a legsebezhetőbb embereket.”
A Character.AI képviselője nem tért ki a vállalatát érintő perekre. Anand elmondta, hogy a startup példát akart mutatni a biztonság terén az iparág számára, „hogy sokkal többet tegyen, mint amit a szabályozás előírhat”. A Character.AI-t 2021-ben alapította Noam Shazeer és Daniel De Freitas, két volt Google-mérnök, és közel 200 millió dollárt gyűjtött befektetőktől. Tavaly a Google beleegyezett, hogy körülbelül 3 milliárd dollárt fizet a Character.AI technológiájának licencéért, és Shazeer és De Freitas visszatért a Google-hoz.
A két alapító, Noam Shazeer és Daniel De Freitas
A Character.AI lehetővé teszi az embereknek, hogy saját mesterséges intelligencia karaktereket, például egyedi anime avatárokat hozzanak létre és osszanak meg. A cég az alkalmazást mesterséges intelligencia szórakoztatásként forgalmazza. Néhány karakter úgy is megtervezhető, hogy barátnőket, barátokat vagy más intim kapcsolatokat szimuláljon. A felhasználók havi előfizetési díjat fizetnek, amely körülbelül 8 dollártól kezdődik, hogy cseveghessenek a társaikkal. A Character.AI a kiskorú felhasználókkal kapcsolatos legutóbbi aggodalmakig nem ellenőrizte a felhasználók életkorát a regisztrációkor.
Tavaly az Illinois-i Egyetem Urbana-Champaign kutatói több ezer bejegyzést és kommentet elemeztek, amelyeket fiatalok hagytak hátra a mesterséges intelligencia chatbotokkal foglalkozó Reddit közösségekben, és interjút készítettek a Character.AI-t használó tinédzserekkel, valamint szüleikkel. A kutatók arra a következtetésre jutottak, hogy az MI-platformok nem rendelkeznek megfelelő gyermekbiztonsági védelemmel, és hogy a szülők nem értik teljesen a technológiát és annak kockázatait. "Ugyanakkora figyelmet kell szentelnünk ennek, mintha idegenekkel csevegnének” - mondta Yang Wang, az egyetem informatikai professzora. "Nem szabad lebecsülnünk a kockázatokat csak azért, mert ezek nem emberek.”
A Character.AI havi felhasználói száma körülbelül 20 millió, akiknek kevesebb mint 10 százaléka jelenti magát 18 év alattiaknak - mondta Anand. A Character.AI új irányelvei szerint a vállalat azonnal napi kétórás korlátozást vezet be a 18 év alatti felhasználók számára. November 25-től ezek a felhasználók nem hozhatnak létre chatbotokat és nem beszélgethetnek velük, de továbbra is olvashatják a korábbi beszélgetéseket. Bizonyos biztonsági korlátok között egy strukturált menü segítségével mesterséges intelligencia által generált videókat és képeket is létrehozhatnak.
Elmondta, hogy a vállalat az elmúlt évben más biztonsági intézkedéseket is bevezetett, például szülői felügyeletet. A cég saját technológiájával fogja felismerni a kiskorú felhasználókat a platformon zajló beszélgetések és interakciók, valamint a kapcsolódó közösségi média fiókokból származó információk alapján - mondta Anand. Ha a Character.AI úgy ítéli meg, hogy egy felhasználó 18 év alatti, akkor az illető személyt értesítik, hogy igazolja életkorát.
Dr. Nina Vasan, pszichiáter és a Stanford Egyetem mentális egészségügyi innovációs laboratóriumának igazgatója, aki kutatásokat végzett az MI biztonságáról és a gyermekekről, elmondta, hogy „hatalmas” lépés, hogy egy chatbot-gyártó megakadályozza a kiskorúak alkalmazáshasználatát. De hozzátette, hogy a vállalatnak együtt kell működnie gyermekpszichológusokkal és pszichiáterekkel, hogy megértsék, milyen hatással lenne a fiatal felhasználókra, ha hirtelen elveszítenék az MI-társaikhoz való hozzáférésüket. "Azok a gyerekek aggasztanak, akik évek óta használják ezt, és érzelmileg függővé váltak tőle” - mondta. "Nem jó dolog, ha valaki a Hálaadás napján elveszíti a barátját.”
A Character.AI bejelentette, hogy a gyermekek biztonságával kapcsolatos aggályok miatt a jövő hónap végétől tiltja a 18 év alattiakat számára csevegőbotjai használatát. A szabály november 25-én lép hatályba, közölte a vállalat. A Character.AI szerint a szabály érvényesítése érdekében a következő hónapban a vállalat azonosítja a kiskorú felhasználókat, és időkorlátot szab az alkalmazás használatára. A szabály életbe lépése után ezek a felhasználók nem tudnak majd beszélgetni a vállalat chatbotjaival.
"Nagyon merész lépést teszünk azzal, hogy kijelentjük: a tizenéves felhasználók számára a chatbotok nem szórakoztató eszközök, hanem sokkal jobb módszerek állnak rendelkezésükre” - mondta Karandeep Anand, a Character.AI vezérigazgatója egy interjúban. Elmondta, hogy a vállalat egy mesterséges intelligencia biztonsági laboratórium létrehozását is tervezi. A lépésekre azután került sor, hogy egyre nagyobb figyelmet kapott, hogy a mesterséges intelligencia társak hogyan befolyásolhatják a felhasználók mentális egészségét. Tavaly a Character.AI-t beperelte Sewell Setzer családja; a 14 éves floridai fiú azután lett öngyilkos, miután folyamatosan üzeneteket váltott és beszélgetett a Character.AI egyik chatbotjával. Családja a vállalatot tette felelőssé a fiú haláláért.
Az eset felhívta a figyelmet arra, hogy az emberek hogyan alakíthatnak ki érzelmi kötődést a chatbotokhoz, ami potenciálisan veszélyes következményekkel járhat. A Character.AI azóta más, gyermekek biztonságával kapcsolatos perekkel is szembesült. Az MI-vállalatok, köztük a ChatGPT gyártója, az OpenAI is vizsgálat alá került a chatbotjaik emberekre - különösen a fiatalokra - gyakorolt hatása miatt, ha azok szexuálisan explicit vagy mérgező beszélgetéseket folytatnak. Szeptemberben az OpenAI bejelentette, hogy olyan funkciókat tervez bevezetni - többek között szülői felügyeletet -, amelyek biztonságosabbá teszik a csevegőrobotját. Ebben a hónapban Sam Altman, az OpenAI vezérigazgatója a közösségi médiában közzétette, hogy a vállalatnak „sikerült enyhítenie a súlyos mentális egészségügyi problémákat”, és enyhíteni fogja néhány biztonsági intézkedését.
Ezeknek az eseteknek a nyomán az amerikai törvényhozók és más tisztviselők vizsgálatokat indítottak, és olyan törvényeket javasoltak vagy fogadtak el, amelyek célja a gyermekek védelme az MI-alapú chatbotoktól. Kedden Josh Hawley, Missouri republikánus szenátor, és Richard Blumenthal, Connecticut demokrata szenátor olyan biztonsági intézkedéseket tartalmazó törvényjavaslatot terjesztettek elő, amely megtiltaná az MI-alapú botok használatát a kiskorúak számára. Gavin Newsom kormányzó ebben a hónapban írt alá egy olyan kaliforniai törvényt, amely előírja, hogy az MI-vállalatoknak biztonsági korlátokat kell bevezetniük a chatbotokra. A törvény január 1-jén lép hatályba. "Egyre több történet lát napvilágot arról, hogy mi minden sülhet el rosszul” - mondta Steve Padilla, a kaliforniai állami szenátus demokrata tagja, aki benyújtotta a biztonsági törvényjavaslatot. "Fontos, hogy ésszerű korlátokat vezessünk be, hogy megvédjük a legsebezhetőbb embereket.”
A Character.AI képviselője nem tért ki a vállalatát érintő perekre. Anand elmondta, hogy a startup példát akart mutatni a biztonság terén az iparág számára, „hogy sokkal többet tegyen, mint amit a szabályozás előírhat”. A Character.AI-t 2021-ben alapította Noam Shazeer és Daniel De Freitas, két volt Google-mérnök, és közel 200 millió dollárt gyűjtött befektetőktől. Tavaly a Google beleegyezett, hogy körülbelül 3 milliárd dollárt fizet a Character.AI technológiájának licencéért, és Shazeer és De Freitas visszatért a Google-hoz.
A két alapító, Noam Shazeer és Daniel De Freitas
A Character.AI lehetővé teszi az embereknek, hogy saját mesterséges intelligencia karaktereket, például egyedi anime avatárokat hozzanak létre és osszanak meg. A cég az alkalmazást mesterséges intelligencia szórakoztatásként forgalmazza. Néhány karakter úgy is megtervezhető, hogy barátnőket, barátokat vagy más intim kapcsolatokat szimuláljon. A felhasználók havi előfizetési díjat fizetnek, amely körülbelül 8 dollártól kezdődik, hogy cseveghessenek a társaikkal. A Character.AI a kiskorú felhasználókkal kapcsolatos legutóbbi aggodalmakig nem ellenőrizte a felhasználók életkorát a regisztrációkor.
Tavaly az Illinois-i Egyetem Urbana-Champaign kutatói több ezer bejegyzést és kommentet elemeztek, amelyeket fiatalok hagytak hátra a mesterséges intelligencia chatbotokkal foglalkozó Reddit közösségekben, és interjút készítettek a Character.AI-t használó tinédzserekkel, valamint szüleikkel. A kutatók arra a következtetésre jutottak, hogy az MI-platformok nem rendelkeznek megfelelő gyermekbiztonsági védelemmel, és hogy a szülők nem értik teljesen a technológiát és annak kockázatait. "Ugyanakkora figyelmet kell szentelnünk ennek, mintha idegenekkel csevegnének” - mondta Yang Wang, az egyetem informatikai professzora. "Nem szabad lebecsülnünk a kockázatokat csak azért, mert ezek nem emberek.”
A Character.AI havi felhasználói száma körülbelül 20 millió, akiknek kevesebb mint 10 százaléka jelenti magát 18 év alattiaknak - mondta Anand. A Character.AI új irányelvei szerint a vállalat azonnal napi kétórás korlátozást vezet be a 18 év alatti felhasználók számára. November 25-től ezek a felhasználók nem hozhatnak létre chatbotokat és nem beszélgethetnek velük, de továbbra is olvashatják a korábbi beszélgetéseket. Bizonyos biztonsági korlátok között egy strukturált menü segítségével mesterséges intelligencia által generált videókat és képeket is létrehozhatnak.
Elmondta, hogy a vállalat az elmúlt évben más biztonsági intézkedéseket is bevezetett, például szülői felügyeletet. A cég saját technológiájával fogja felismerni a kiskorú felhasználókat a platformon zajló beszélgetések és interakciók, valamint a kapcsolódó közösségi média fiókokból származó információk alapján - mondta Anand. Ha a Character.AI úgy ítéli meg, hogy egy felhasználó 18 év alatti, akkor az illető személyt értesítik, hogy igazolja életkorát.
Dr. Nina Vasan, pszichiáter és a Stanford Egyetem mentális egészségügyi innovációs laboratóriumának igazgatója, aki kutatásokat végzett az MI biztonságáról és a gyermekekről, elmondta, hogy „hatalmas” lépés, hogy egy chatbot-gyártó megakadályozza a kiskorúak alkalmazáshasználatát. De hozzátette, hogy a vállalatnak együtt kell működnie gyermekpszichológusokkal és pszichiáterekkel, hogy megértsék, milyen hatással lenne a fiatal felhasználókra, ha hirtelen elveszítenék az MI-társaikhoz való hozzáférésüket. "Azok a gyerekek aggasztanak, akik évek óta használják ezt, és érzelmileg függővé váltak tőle” - mondta. "Nem jó dolog, ha valaki a Hálaadás napján elveszíti a barátját.”