SG.hu
Le tudná leplezni az OpenAI a ChatGPT-vel csaló diákokat, de nem érdekük
Az OpenAI készített egy eszközt, amivel a tanárok le tudnák leplezni a ChatGPT-vel csaló diákokat, de nem adták ki. A mesterséges intelligencia által írt szöveget 99,9%-os biztonsággal felismerő technológiáról két éve vita van a cégen belül.
Az OpenAI rendelkezik egy olyan módszerrel, amellyel megbízhatóan felismerhető, ha valaki ChatGPT-t használ esszé vagy kutatási dolgozat írására. A vállalat annak ellenére nem adta ki, hogy széles körben elterjedt aggodalmak merültek fel azzal kapcsolatban, hogy a diákok csalásra használják a csevegőasszisztenst. Az OpenAI-nál már nagyjából két éve folyik belső vita a projektről, és belső dokumentumok szerint már körülbelül egy éve készen áll a kiadásra. "Csak egy gombnyomás kérdése" - mondta az egyik dolgozó. A vita rávilágít a startup átláthatóság iránt kinyilvánított elkötelezettsége és a felhasználók vonzására és megtartására irányuló törekvésük közötti ellentét között. Egy felmérés - amelyet a vállalat a hűséges ChatGPT-felhasználók körében végzett - azt találta, hogy közel egyharmadukat elriasztaná a csalásellenes technológia.
Az OpenAI szóvivője szerint a vállalat attól tart, hogy az eszköz aránytalanul nagy hatással lehet olyan csoportokra, mint például az angol nyelvet nem anyanyelvi szinten beszélők. "Az általunk kifejlesztett szöveges vízjeles módszer technikailag ígéretes, de kockázatokkal jár, amelyeket mérlegelünk, miközben alternatívákat kutatunk" - mondta a szóvivő. "Úgy véljük, hogy szükség van az általunk választott megfontolt megközelítésre, tekintettel a dolog összetett voltára és az OpenAI-n túli szélesebb ökoszisztémára gyakorolt valószínűsíthető hatásokra." De az eszköz kiadását támogató munkatársak - köztük azok, akik segítettek a fejlesztésében - azt mondták, hogy ezek az érvek halványulnak ahhoz képest, hogy az ilyen technológia mennyire hasznos lehet.
A generatív mesterséges intelligencia egyetlen gombnyomás után ingyenesen, másodpercek alatt képes létrehozni egy teljes esszét vagy kutatási dolgozatot. A tanárok és professzorok világszerte kétségbeesetten keresik a segítséget a visszaélések visszaszorításához. A Center for Democracy & Technology, egy technológiapolitikai nonprofit szervezet nemrégiben végzett felmérése szerint a középiskolai tanárok 59%-a biztos abban, hogy néhány diákjuk már használta a mesterséges intelligenciát, ami 17 százalékpontos növekedést jelent az előző tanévhez képest. Az OpenAI vezérigazgatója, Sam Altman és technológiai igazgatója, Mira Murati részt vett a csalásellenes eszközzel kapcsolatos megbeszéléseken. Altman bátorította a projektet, de nem sürgette annak kiadását - mondták egyes, az ügyet ismerő személyek.
A ChatGPT-t egy mesterséges intelligencia rendszer működteti, amely megjósolja, hogy egy szó után milyen szó vagy szótöredék, úgynevezett token következik. Az OpenAI-nál tárgyalt csalásellenes eszköz némileg megváltoztatná a tokenek kiválasztásának módját, és ezek a változások egy vízjelnek nevezett mintát hagynának maguk után. A vízjelek az emberi szem számára észrevehetetlenek lennének, de az OpenAI felismerő technológiájával megtalálhatók lennének. Az érzékelő egy pontszámot ad arról, hogy az egész dokumentumot vagy annak egy részét mennyire valószínű, hogy a ChatGPT írta. A vízjelek a belső dokumentumok szerint 99,9%-ban hatékonyak.
A munkatársak mégis aggodalmukat fejezték ki, hogy a vízjeleket egyszerű technikákkal is ki lehet törölni, például azzal, hogy a Google lefordítja a szöveget egy másik nyelvre, majd vissza - mondta az OpenAI egyik, az ügyet ismerő alkalmazottja. A vállalaton belül széleskörű egyetértés van abban, hogy kihívást jelentene annak meghatározása, hogy ki használhatja ezt az érzékelőt. Ha túl kevesen rendelkeznek vele, az eszköz nem lenne hasznos. Ha túl sokan jutnak hozzá, a rossz szereplők megfejthetnék a vállalat vízjeles technikáját. Az OpenAI a detektort közvetlenül az oktatóknak vagy olyan külső cégeknek adná át, amelyek segítenek az iskoláknak azonosítani a mesterséges intelligenciával írt dolgozatokat és a plágiumgyanús cikkeket.
Az OpenAI-nak már van eszköze annak megállapítására, hogy egy képet a szövegből képet generáló DALL-E 3 segítségével hoztak-e létre. Ezt tavaly tavasszal készítették, mert a vállalat a szöveggel szemben a hang- és képi vízjeleket helyezte előtérbe, mert az azzal okozható károk jelentősebbek, különösen az Egyesült Államokban zajló választási év miatt. 2023 januárjában az OpenAI közzétett egy algoritmust, amelynek célja az volt, hogy felismerje a különböző mesterséges intelligencia modellek, köztük a sajátja által írt szöveget. Ez azonban csak az esetek 26%-ában volt sikeres, és az OpenAI hét hónappal később visszavonta.
Vannak más, külső cégek és kutatók által kifejlesztett eszközök is a mesterséges intelligenciával létrehozott szövegek felismerésére, és sok tanár azt mondja, hogy használ is ilyeneket. Ezek azonban néha nem képesek felismerni a fejlett, nagy nyelvi modellekkel írt szöveget, és téves pozitív eredményeket produkálhatnak. "Eleinte a diákok azt hitték, hogy mindenféle varázstrükkökkel ki tudjuk deríteni, hogy mesterséges intelligenciát használnak-e" - mondta Mike Kentz MI-tanácsadó, aki nemrég egy georgiai magángimnáziumban tanított. "Az év végére rájöttek, hogy a tanároknak fogalma sincs erről".
Egyes tanárok arra bátorítják a diákokat, hogy használjanak mesterséges intelligenciát, a kutatásoknál, vagy hogy visszajelzést adjanak az ötletekről. A probléma az, amikor a diákok egy olyan alkalmazással, mint a ChatGPT, végeztetik el az összes munkát, és azt sem tudják, mit adnak be. Tavaly Josh McCrain, a Utah-i Egyetem politológia professzora olyan írásbeli feladatot adott a diákoknak, amelyben a háttérrel azonos színnel írt apróbetűs szövegben szerepelt az az utasítás, hogy tegyenek bele egy utalást Batmanre. Ha egy diák csak bemásolta a feladatot egy MI-be, az utasítások beépültek. Természetesen a diákok egy maroknyi csoportja olyan dolgozatokat adott be, amelyekben értelmetlen utalások voltak Batmanre. A továbbiakban McCrain úgy módosítja az írásbeli feladatokat, hogy azok inkább az MI által kevésbé ismert aktuális eseményekre koncentráljanak, és arra kéri a diákokat, hogy ne adják ki a munkájukat az MI-nak. "Ez az a pont, ahol megpróbálom a diákoknak a fejükbe verni: ezt meg kell tanulnotok" - mondta.
A vízjelző eszközről szóló viták már az OpenAI 2022 novemberében, a ChatGPT elindítása előtt elkezdődtek, és azóta is állandó feszültségek forrása. Az eszközt Scott Aaronson informatikus professzor fejlesztette ki, aki az elmúlt két évben szabadságot kért a Texasi Egyetemtől, és az OpenAI-nál a biztonságon dolgozott. 2023 elején az OpenAI egyik társalapítója, John Schulman egy megosztott Google-dokumentumban vázolta az eszköz előnyeit és hátrányait. Az OpenAI vezetői ezután úgy döntöttek, hogy a további lépések előtt több ember véleményét is kikérik. A következő másfél év során az OpenAI vezetői többször is megvitatták a technológiát, és új adatokat kerestek, hogy eldönthessék, hogy kiadják-e azt.
2023 áprilisában az OpenAI megrendelt egy felmérést, amelyből kiderült, hogy az emberek világszerte négy az egyhez arányban támogatták a mesterséges intelligencia felismerő eszköz ötletét - derül ki a belső dokumentumokból. Ugyanebben a hónapban az OpenAI felmérést készített a ChatGPT felhasználói körében, és 69%-uk szerint a csalásfelismerő technológia hamis vádakhoz vezetne a mesterséges intelligencia használatával kapcsolatban. Közel 30% mondta azt, hogy kevésbé gyakran használná a ChatGPT-t, ha az vízjeleket alkalmazna, míg a rivális nem. Visszatérő belső aggodalom volt, hogy a csalásgátló eszköz ronthatja a ChatGPT írásainak minőségét, de az OpenAI az év elején végzett egy tesztet, amely szerint a vízjelek nem rontották a ChatGPT teljesítményét. "Gyenge érveink vannak a szövegek vízjelezésének elhagyására most, hogy tudjuk, hogy az nem rontja a kimeneteket" - állapították meg a tesztelésben részt vevő alkalmazottak a belső dokumentumok szerint.
Június elején az OpenAI vezető munkatársai és a kutatók ismét találkoztak, hogy megvitassák a projektet. A csoport egyetértett abban, hogy a vízjel-technológia jól működik, de a ChatGPT tavalyi felhasználói felmérésének eredményei még mindig nagy falatnak tűntek. A cég a felhasználók körében potenciálisan kevésbé ellentmondásos, de nem bizonyított megközelítések vizsgálata mellett döntött. Az OpenAI őszre készít tervet arról, hogyan kezelje a közvéleményt a mesterséges intelligencia átláthatóságával, valamint a témával kapcsolatos esetleges új törvényekkel kapcsolatban - derül ki a belső dokumentumokból. "Enélkül kockáztatjuk a felelősségteljes szereplők hitelességét" - áll a júniusi megbeszélés összefoglalójában.
A belső dokumentumok sajtóban való megjelenése után az OpenAI frissítette egy májusi blogbejegyzését, amely a mesterséges intelligencia által generált tartalmak felismerésével kapcsolatos kutatásaikról szól. A frissítés szerint a szöveges vízjelek "rendkívül pontosnak és hatékonynak bizonyultak a manipulációkkal, például a parafrazálással szemben", de "kevésbé bizonyultak robusztusnak a fordítórendszerekkel, a másik modellel való átfogalmazással vagy egy olyan kéréssel, hogy a modell minden szó közé illesszen be egy speciális karaktert, majd törölje azt a karaktert".
Az OpenAI rendelkezik egy olyan módszerrel, amellyel megbízhatóan felismerhető, ha valaki ChatGPT-t használ esszé vagy kutatási dolgozat írására. A vállalat annak ellenére nem adta ki, hogy széles körben elterjedt aggodalmak merültek fel azzal kapcsolatban, hogy a diákok csalásra használják a csevegőasszisztenst. Az OpenAI-nál már nagyjából két éve folyik belső vita a projektről, és belső dokumentumok szerint már körülbelül egy éve készen áll a kiadásra. "Csak egy gombnyomás kérdése" - mondta az egyik dolgozó. A vita rávilágít a startup átláthatóság iránt kinyilvánított elkötelezettsége és a felhasználók vonzására és megtartására irányuló törekvésük közötti ellentét között. Egy felmérés - amelyet a vállalat a hűséges ChatGPT-felhasználók körében végzett - azt találta, hogy közel egyharmadukat elriasztaná a csalásellenes technológia.
Az OpenAI szóvivője szerint a vállalat attól tart, hogy az eszköz aránytalanul nagy hatással lehet olyan csoportokra, mint például az angol nyelvet nem anyanyelvi szinten beszélők. "Az általunk kifejlesztett szöveges vízjeles módszer technikailag ígéretes, de kockázatokkal jár, amelyeket mérlegelünk, miközben alternatívákat kutatunk" - mondta a szóvivő. "Úgy véljük, hogy szükség van az általunk választott megfontolt megközelítésre, tekintettel a dolog összetett voltára és az OpenAI-n túli szélesebb ökoszisztémára gyakorolt valószínűsíthető hatásokra." De az eszköz kiadását támogató munkatársak - köztük azok, akik segítettek a fejlesztésében - azt mondták, hogy ezek az érvek halványulnak ahhoz képest, hogy az ilyen technológia mennyire hasznos lehet.
A generatív mesterséges intelligencia egyetlen gombnyomás után ingyenesen, másodpercek alatt képes létrehozni egy teljes esszét vagy kutatási dolgozatot. A tanárok és professzorok világszerte kétségbeesetten keresik a segítséget a visszaélések visszaszorításához. A Center for Democracy & Technology, egy technológiapolitikai nonprofit szervezet nemrégiben végzett felmérése szerint a középiskolai tanárok 59%-a biztos abban, hogy néhány diákjuk már használta a mesterséges intelligenciát, ami 17 százalékpontos növekedést jelent az előző tanévhez képest. Az OpenAI vezérigazgatója, Sam Altman és technológiai igazgatója, Mira Murati részt vett a csalásellenes eszközzel kapcsolatos megbeszéléseken. Altman bátorította a projektet, de nem sürgette annak kiadását - mondták egyes, az ügyet ismerő személyek.
A ChatGPT-t egy mesterséges intelligencia rendszer működteti, amely megjósolja, hogy egy szó után milyen szó vagy szótöredék, úgynevezett token következik. Az OpenAI-nál tárgyalt csalásellenes eszköz némileg megváltoztatná a tokenek kiválasztásának módját, és ezek a változások egy vízjelnek nevezett mintát hagynának maguk után. A vízjelek az emberi szem számára észrevehetetlenek lennének, de az OpenAI felismerő technológiájával megtalálhatók lennének. Az érzékelő egy pontszámot ad arról, hogy az egész dokumentumot vagy annak egy részét mennyire valószínű, hogy a ChatGPT írta. A vízjelek a belső dokumentumok szerint 99,9%-ban hatékonyak.
A munkatársak mégis aggodalmukat fejezték ki, hogy a vízjeleket egyszerű technikákkal is ki lehet törölni, például azzal, hogy a Google lefordítja a szöveget egy másik nyelvre, majd vissza - mondta az OpenAI egyik, az ügyet ismerő alkalmazottja. A vállalaton belül széleskörű egyetértés van abban, hogy kihívást jelentene annak meghatározása, hogy ki használhatja ezt az érzékelőt. Ha túl kevesen rendelkeznek vele, az eszköz nem lenne hasznos. Ha túl sokan jutnak hozzá, a rossz szereplők megfejthetnék a vállalat vízjeles technikáját. Az OpenAI a detektort közvetlenül az oktatóknak vagy olyan külső cégeknek adná át, amelyek segítenek az iskoláknak azonosítani a mesterséges intelligenciával írt dolgozatokat és a plágiumgyanús cikkeket.
Az OpenAI-nak már van eszköze annak megállapítására, hogy egy képet a szövegből képet generáló DALL-E 3 segítségével hoztak-e létre. Ezt tavaly tavasszal készítették, mert a vállalat a szöveggel szemben a hang- és képi vízjeleket helyezte előtérbe, mert az azzal okozható károk jelentősebbek, különösen az Egyesült Államokban zajló választási év miatt. 2023 januárjában az OpenAI közzétett egy algoritmust, amelynek célja az volt, hogy felismerje a különböző mesterséges intelligencia modellek, köztük a sajátja által írt szöveget. Ez azonban csak az esetek 26%-ában volt sikeres, és az OpenAI hét hónappal később visszavonta.
Vannak más, külső cégek és kutatók által kifejlesztett eszközök is a mesterséges intelligenciával létrehozott szövegek felismerésére, és sok tanár azt mondja, hogy használ is ilyeneket. Ezek azonban néha nem képesek felismerni a fejlett, nagy nyelvi modellekkel írt szöveget, és téves pozitív eredményeket produkálhatnak. "Eleinte a diákok azt hitték, hogy mindenféle varázstrükkökkel ki tudjuk deríteni, hogy mesterséges intelligenciát használnak-e" - mondta Mike Kentz MI-tanácsadó, aki nemrég egy georgiai magángimnáziumban tanított. "Az év végére rájöttek, hogy a tanároknak fogalma sincs erről".
Egyes tanárok arra bátorítják a diákokat, hogy használjanak mesterséges intelligenciát, a kutatásoknál, vagy hogy visszajelzést adjanak az ötletekről. A probléma az, amikor a diákok egy olyan alkalmazással, mint a ChatGPT, végeztetik el az összes munkát, és azt sem tudják, mit adnak be. Tavaly Josh McCrain, a Utah-i Egyetem politológia professzora olyan írásbeli feladatot adott a diákoknak, amelyben a háttérrel azonos színnel írt apróbetűs szövegben szerepelt az az utasítás, hogy tegyenek bele egy utalást Batmanre. Ha egy diák csak bemásolta a feladatot egy MI-be, az utasítások beépültek. Természetesen a diákok egy maroknyi csoportja olyan dolgozatokat adott be, amelyekben értelmetlen utalások voltak Batmanre. A továbbiakban McCrain úgy módosítja az írásbeli feladatokat, hogy azok inkább az MI által kevésbé ismert aktuális eseményekre koncentráljanak, és arra kéri a diákokat, hogy ne adják ki a munkájukat az MI-nak. "Ez az a pont, ahol megpróbálom a diákoknak a fejükbe verni: ezt meg kell tanulnotok" - mondta.
A vízjelző eszközről szóló viták már az OpenAI 2022 novemberében, a ChatGPT elindítása előtt elkezdődtek, és azóta is állandó feszültségek forrása. Az eszközt Scott Aaronson informatikus professzor fejlesztette ki, aki az elmúlt két évben szabadságot kért a Texasi Egyetemtől, és az OpenAI-nál a biztonságon dolgozott. 2023 elején az OpenAI egyik társalapítója, John Schulman egy megosztott Google-dokumentumban vázolta az eszköz előnyeit és hátrányait. Az OpenAI vezetői ezután úgy döntöttek, hogy a további lépések előtt több ember véleményét is kikérik. A következő másfél év során az OpenAI vezetői többször is megvitatták a technológiát, és új adatokat kerestek, hogy eldönthessék, hogy kiadják-e azt.
2023 áprilisában az OpenAI megrendelt egy felmérést, amelyből kiderült, hogy az emberek világszerte négy az egyhez arányban támogatták a mesterséges intelligencia felismerő eszköz ötletét - derül ki a belső dokumentumokból. Ugyanebben a hónapban az OpenAI felmérést készített a ChatGPT felhasználói körében, és 69%-uk szerint a csalásfelismerő technológia hamis vádakhoz vezetne a mesterséges intelligencia használatával kapcsolatban. Közel 30% mondta azt, hogy kevésbé gyakran használná a ChatGPT-t, ha az vízjeleket alkalmazna, míg a rivális nem. Visszatérő belső aggodalom volt, hogy a csalásgátló eszköz ronthatja a ChatGPT írásainak minőségét, de az OpenAI az év elején végzett egy tesztet, amely szerint a vízjelek nem rontották a ChatGPT teljesítményét. "Gyenge érveink vannak a szövegek vízjelezésének elhagyására most, hogy tudjuk, hogy az nem rontja a kimeneteket" - állapították meg a tesztelésben részt vevő alkalmazottak a belső dokumentumok szerint.
Június elején az OpenAI vezető munkatársai és a kutatók ismét találkoztak, hogy megvitassák a projektet. A csoport egyetértett abban, hogy a vízjel-technológia jól működik, de a ChatGPT tavalyi felhasználói felmérésének eredményei még mindig nagy falatnak tűntek. A cég a felhasználók körében potenciálisan kevésbé ellentmondásos, de nem bizonyított megközelítések vizsgálata mellett döntött. Az OpenAI őszre készít tervet arról, hogyan kezelje a közvéleményt a mesterséges intelligencia átláthatóságával, valamint a témával kapcsolatos esetleges új törvényekkel kapcsolatban - derül ki a belső dokumentumokból. "Enélkül kockáztatjuk a felelősségteljes szereplők hitelességét" - áll a júniusi megbeszélés összefoglalójában.
A belső dokumentumok sajtóban való megjelenése után az OpenAI frissítette egy májusi blogbejegyzését, amely a mesterséges intelligencia által generált tartalmak felismerésével kapcsolatos kutatásaikról szól. A frissítés szerint a szöveges vízjelek "rendkívül pontosnak és hatékonynak bizonyultak a manipulációkkal, például a parafrazálással szemben", de "kevésbé bizonyultak robusztusnak a fordítórendszerekkel, a másik modellel való átfogalmazással vagy egy olyan kéréssel, hogy a modell minden szó közé illesszen be egy speciális karaktert, majd törölje azt a karaktert".