SG.hu
Hetente 1 millió felhasználó beszél öngyilkosságról a ChatGPT-vel
Az érzékeny témájú csevegések ritkák, de a nagy felhasználói bázis miatt jelentősek.
A ChatGPT-t működtetőhöz hasonló mesterséges intelligencia nyelvi modell egy hatalmas statisztikai hálózat, amely adatkapcsolatokat tartalmaz. Ha megadunk neki egy parancsot (például egy kérdést), akkor statisztikailag kapcsolódó és remélhetőleg hasznos választ ad. Eleinte a ChatGPT egy technológiai szórakozás volt, de ma már több száz millió ember támaszkodik erre a statisztikai folyamatra, hogy átsegítse őket az élet kihívásain. Ez az első alkalom a történelemben, hogy nagy számú ember kezdte el megosztani érzéseit egy beszélő géppel, és a rendszerek által okozott potenciális károkat enyhíteni folyamatos kihívás.
Az OpenAI által most közzétett adatok szerint a ChatGPT aktív felhasználóinak 0,15 százaléka folytat olyan beszélgetéseket egy adott héten, amelyek kifejezetten utalnak potenciális öngyilkossági tervre vagy szándékra. Ez a teljes felhasználói bázisnak csak egy apró töredéke, de több mint 800 millió heti aktív felhasználóval ez több, mint egymillió embert jelent. Az OpenAI becslése szerint a felhasználók hasonló arányban mutatnak fokozott érzelmi kötődést a ChatGPT-hez, és több százezer ember mutatja pszichózis vagy mánia jeleit a chatbot-tal folytatott beszélgetéseiben.
Az OpenAI az információt a közelmúltbeli erőfeszítéseiről szóló bejelentés részeként osztotta meg, amelyek célja, hogy javítsák az MI modelljeik válaszadását a mentális egészségi problémákkal küzdő felhasználók számára. "Megtanítottuk a modellt arra, hogy jobban felismerje a szorongást, csillapítsa a beszélgetéseket, és szükség esetén a felhasználókat szakmai segítséghez irányítsa” - írja az OpenAI. A vállalat állítása szerint a ChatGPT-vel kapcsolatos új munkájuk során több mint 170 mentális egészségügyi szakértővel konzultáltak, és ezek a klinikusok megfigyelték, hogy a ChatGPT legújabb verziója „megfelelőbben és következetesebben reagál, mint a korábbi verziók”.
A ChatGPT-ben a sebezhető felhasználók beviteleinek megfelelő kezelése egzisztenciális kérdéssé vált az OpenAI számára. A kutatók korábban megállapították, hogy a csevegőrobotok egyes felhasználókat téveszmékbe taszíthatnak, főként azzal, hogy hízelgő viselkedésükkel megerősítik a félrevezető vagy potenciálisan veszélyes hiedelmeket; ilyenkor a csevegőrobotok túlzottan egyetértenek a felhasználókkal, és inkább hízelegnek nekik, mint őszinte visszajelzést adnak.
A vállalatot beperelték egy 16 éves fiú szülei, aki öngyilkossága előtti hetekben öngyilkossági gondolatokat osztott meg a ChatGPT-vel. A per nyomán 45 állami főügyész (köztük Kalifornia és Delaware főügyészei, akik megakadályozhatják a vállalat tervezett átszervezését) figyelmeztette az OpenAI-t, hogy védenie kell a termékeiket használó fiatalokat. A hónap elején a vállalat egy jóléti tanácsot hozott létre ezeknek az aggályoknak a kezelésére, bár a kritikusok megjegyezték, hogy tagjai között nincs öngyilkosság-megelőzési szakértő.
Az OpenAI nemrégiben ellenőrzési lehetőséget vezetett be a ChatGPT-t használó gyermekek szülei számára. A vállalat egy életkor-meghatározó rendszeren is dolgozik, amely majd automatikusan felismeri a ChatGPT-t használó gyermekeket, és szigorúbb életkorral kapcsolatos biztonsági intézkedéseket vezet be.
A most közzétett adatok a vállalat azon erőfeszítéseinek részét képezik, hogy bemutassa az ezeken a területeken elért előrelépéseket, de egyúttal rávilágítanak arra is, hogy az MI-alapú csevegőrobotok milyen mélyreható hatással vannak a társadalomra. Az adatokról szóló blogbejegyzésében az OpenAI azt állítja, hogy a ChatGPT-ben előforduló, „pszichózisra, mánia vagy öngyilkossági gondolatokra” utaló beszélgetések „rendkívül ritkák”, ezért nehéz őket mérni.
A vállalat becslése szerint egy adott héten aktív felhasználók körülbelül 0,07 százaléka és az üzenetek 0,01 százaléka utal pszichózissal vagy mániával kapcsolatos mentális egészségügyi vészhelyzet lehetséges jeleire. Az érzelmi kötődés tekintetében a vállalat becslése szerint a hetente aktív felhasználók körülbelül 0,15 százaléka és az üzenetek 0,03 százaléka utal a ChatGPT-hez való érzelmi kötődés potenciálisan megnövekedett szintjére.
Az OpenAI azt is állítja, hogy több mint 1000 kihívást jelentő, mentális egészséggel kapcsolatos beszélgetés értékelése alapján az új GPT-5 modell 92 százalékban felelt meg a kívánt viselkedésnek, szemben a korábbi, augusztus 15-én kiadott GPT-5 modell 27 százalékával. A vállalat azt is állítja, hogy a GPT-5 legújabb verziója hosszabb beszélgetések során jobban megfelel az OpenAI biztonsági előírásainak. Az OpenAI korábban elismerte, hogy biztonsági intézkedései hosszabb beszélgetések során kevésbé hatékonyak. A cég új értékeléseket vezet be, hogy megpróbálja mérni a ChatGPT-felhasználók legkomolyabb mentális egészségügyi problémáit. A vállalat MI nyelvi modelljeinek alapvető biztonsági tesztjei mostantól tartalmazni fogják az érzelmi függőség és a nem öngyilkossági mentális egészségügyi vészhelyzetek referenciaértékeit.
A folyamatos mentális egészségügyi aggodalmak ellenére az OpenAI vezérigazgatója, Sam Altman október 14-én bejelentette, hogy a vállalat decembertől lehetővé teszi a hitelesített felnőtt felhasználók számára, hogy erotikus beszélgetéseket folytassanak a ChatGPT-vel. A vállalat februárban enyhítette a ChatGPT tartalmi korlátozásait, de az augusztusi per után drámaian szigorította azokat. Altman elmagyarázta, hogy az OpenAI „meglehetősen korlátozóvá tette a ChatGPT-t, hogy biztosan óvatosak legyünk a mentális egészségügyi kérdésekkel kapcsolatban”, de elismerte, hogy ez a megközelítés „kevésbé hasznossá/élvezetessé tette a chatbotot sok olyan felhasználó számára, akiknek nem voltak mentális egészségügyi problémáik”.
A ChatGPT-t működtetőhöz hasonló mesterséges intelligencia nyelvi modell egy hatalmas statisztikai hálózat, amely adatkapcsolatokat tartalmaz. Ha megadunk neki egy parancsot (például egy kérdést), akkor statisztikailag kapcsolódó és remélhetőleg hasznos választ ad. Eleinte a ChatGPT egy technológiai szórakozás volt, de ma már több száz millió ember támaszkodik erre a statisztikai folyamatra, hogy átsegítse őket az élet kihívásain. Ez az első alkalom a történelemben, hogy nagy számú ember kezdte el megosztani érzéseit egy beszélő géppel, és a rendszerek által okozott potenciális károkat enyhíteni folyamatos kihívás.
Az OpenAI által most közzétett adatok szerint a ChatGPT aktív felhasználóinak 0,15 százaléka folytat olyan beszélgetéseket egy adott héten, amelyek kifejezetten utalnak potenciális öngyilkossági tervre vagy szándékra. Ez a teljes felhasználói bázisnak csak egy apró töredéke, de több mint 800 millió heti aktív felhasználóval ez több, mint egymillió embert jelent. Az OpenAI becslése szerint a felhasználók hasonló arányban mutatnak fokozott érzelmi kötődést a ChatGPT-hez, és több százezer ember mutatja pszichózis vagy mánia jeleit a chatbot-tal folytatott beszélgetéseiben.
Az OpenAI az információt a közelmúltbeli erőfeszítéseiről szóló bejelentés részeként osztotta meg, amelyek célja, hogy javítsák az MI modelljeik válaszadását a mentális egészségi problémákkal küzdő felhasználók számára. "Megtanítottuk a modellt arra, hogy jobban felismerje a szorongást, csillapítsa a beszélgetéseket, és szükség esetén a felhasználókat szakmai segítséghez irányítsa” - írja az OpenAI. A vállalat állítása szerint a ChatGPT-vel kapcsolatos új munkájuk során több mint 170 mentális egészségügyi szakértővel konzultáltak, és ezek a klinikusok megfigyelték, hogy a ChatGPT legújabb verziója „megfelelőbben és következetesebben reagál, mint a korábbi verziók”.
A ChatGPT-ben a sebezhető felhasználók beviteleinek megfelelő kezelése egzisztenciális kérdéssé vált az OpenAI számára. A kutatók korábban megállapították, hogy a csevegőrobotok egyes felhasználókat téveszmékbe taszíthatnak, főként azzal, hogy hízelgő viselkedésükkel megerősítik a félrevezető vagy potenciálisan veszélyes hiedelmeket; ilyenkor a csevegőrobotok túlzottan egyetértenek a felhasználókkal, és inkább hízelegnek nekik, mint őszinte visszajelzést adnak.
A vállalatot beperelték egy 16 éves fiú szülei, aki öngyilkossága előtti hetekben öngyilkossági gondolatokat osztott meg a ChatGPT-vel. A per nyomán 45 állami főügyész (köztük Kalifornia és Delaware főügyészei, akik megakadályozhatják a vállalat tervezett átszervezését) figyelmeztette az OpenAI-t, hogy védenie kell a termékeiket használó fiatalokat. A hónap elején a vállalat egy jóléti tanácsot hozott létre ezeknek az aggályoknak a kezelésére, bár a kritikusok megjegyezték, hogy tagjai között nincs öngyilkosság-megelőzési szakértő.
Az OpenAI nemrégiben ellenőrzési lehetőséget vezetett be a ChatGPT-t használó gyermekek szülei számára. A vállalat egy életkor-meghatározó rendszeren is dolgozik, amely majd automatikusan felismeri a ChatGPT-t használó gyermekeket, és szigorúbb életkorral kapcsolatos biztonsági intézkedéseket vezet be.
A most közzétett adatok a vállalat azon erőfeszítéseinek részét képezik, hogy bemutassa az ezeken a területeken elért előrelépéseket, de egyúttal rávilágítanak arra is, hogy az MI-alapú csevegőrobotok milyen mélyreható hatással vannak a társadalomra. Az adatokról szóló blogbejegyzésében az OpenAI azt állítja, hogy a ChatGPT-ben előforduló, „pszichózisra, mánia vagy öngyilkossági gondolatokra” utaló beszélgetések „rendkívül ritkák”, ezért nehéz őket mérni.
A vállalat becslése szerint egy adott héten aktív felhasználók körülbelül 0,07 százaléka és az üzenetek 0,01 százaléka utal pszichózissal vagy mániával kapcsolatos mentális egészségügyi vészhelyzet lehetséges jeleire. Az érzelmi kötődés tekintetében a vállalat becslése szerint a hetente aktív felhasználók körülbelül 0,15 százaléka és az üzenetek 0,03 százaléka utal a ChatGPT-hez való érzelmi kötődés potenciálisan megnövekedett szintjére.
Az OpenAI azt is állítja, hogy több mint 1000 kihívást jelentő, mentális egészséggel kapcsolatos beszélgetés értékelése alapján az új GPT-5 modell 92 százalékban felelt meg a kívánt viselkedésnek, szemben a korábbi, augusztus 15-én kiadott GPT-5 modell 27 százalékával. A vállalat azt is állítja, hogy a GPT-5 legújabb verziója hosszabb beszélgetések során jobban megfelel az OpenAI biztonsági előírásainak. Az OpenAI korábban elismerte, hogy biztonsági intézkedései hosszabb beszélgetések során kevésbé hatékonyak. A cég új értékeléseket vezet be, hogy megpróbálja mérni a ChatGPT-felhasználók legkomolyabb mentális egészségügyi problémáit. A vállalat MI nyelvi modelljeinek alapvető biztonsági tesztjei mostantól tartalmazni fogják az érzelmi függőség és a nem öngyilkossági mentális egészségügyi vészhelyzetek referenciaértékeit.
A folyamatos mentális egészségügyi aggodalmak ellenére az OpenAI vezérigazgatója, Sam Altman október 14-én bejelentette, hogy a vállalat decembertől lehetővé teszi a hitelesített felnőtt felhasználók számára, hogy erotikus beszélgetéseket folytassanak a ChatGPT-vel. A vállalat februárban enyhítette a ChatGPT tartalmi korlátozásait, de az augusztusi per után drámaian szigorította azokat. Altman elmagyarázta, hogy az OpenAI „meglehetősen korlátozóvá tette a ChatGPT-t, hogy biztosan óvatosak legyünk a mentális egészségügyi kérdésekkel kapcsolatban”, de elismerte, hogy ez a megközelítés „kevésbé hasznossá/élvezetessé tette a chatbotot sok olyan felhasználó számára, akiknek nem voltak mentális egészségügyi problémáik”.