SG.hu
A valóság határát feszegeti az OpenAI új videóalkalmazása, a Sora
Az OpenAI új fejlesztése percek alatt készít hitelesnek tűnő videókat soha meg nem történt eseményekről, a kutatók szerint ezzel elmosódik a határ valóság és fikció között.
Az első három napban az OpenAI új alkalmazásának felhasználói arra használták a mesterséges intelligenciát, hogy rendkívül valósághű videókat készítsenek választási csalásokról, bevándorlók letartóztatásáról, tüntetésekről, bűncselekményekről és támadásokról városi utcákon - amelyek közül egyik sem történt meg. A Sora nevű alkalmazás használatához csak szöveges utasításra van szükség, és szinte bármilyen felvételt létre tud hozni, amit a felhasználó csak elképzel. A felhasználók feltölthetik saját képeiket is, így arcképük és hangjuk is beépülhet a képzeletbeli jelenetekbe. Az alkalmazás integrálhat bizonyos kitalált karaktereket, céglogókat és akár elhunyt hírességeket is.
A Sora - csakúgy, mint a Google Veo 3 és más hasonló eszközök - egyre inkább táptalaja lehet a dezinformációnak és a visszaéléseknek, vélik a szakértők. Míg az elmúlt években folyamatosan nőtt az aggodalom az MI azon képessége miatt, hogy félrevezető tartalmakat és nyíltan kitalált történeteket tegyen lehetővé, a Sora fejlődése csak még jobban aláhúzza, hogy manapság mennyivel könnyebb ilyen tartalmakat előállítani, és mennyivel meggyőzőbbek azok. Az egyre realisztikusabb videók nagyobb valószínűséggel vezetnek következményekhez a valós világban, mivel súlyosbítják a konfliktusokat, megtévesztik a fogyasztókat, befolyásolják a választások eredményét, vagy hamisan vádolnak embereket olyan bűncselekményekkel, amelyeket nem követtek el - állítják a szakértők.
„Aggasztó ez azoknak a fogyasztóknak, akik nap mint nap ki vannak téve Isten tudja hány ilyen tartalomnak” - mondta Hany Farid, a kaliforniai Berkeley Egyetem informatika professzora és a GetReal Security társalapítója. "Aggódom a demokráciánk miatt. Aggódom a gazdaságunk miatt. Aggódom az intézményeink miatt.” Az alkalmazás nem készít videókat Trump elnökről vagy más világvezetőkről. Amikor azonban arra kérték, hogy hozzon létre egy politikai gyűlést, amelyen a résztvevők „kék ruhát viselnek és a jogokról és szabadságokról szóló táblákat tartanak a kezükben”, a Sora egy olyan videót készített, amelyen Barack Obama volt elnök félreérthetetlen hangja hallható.
Az OpenAI közölte, hogy az alkalmazást kiterjedt biztonsági tesztelés után hozta forgalomba, és hogy a vállalat erőfeszítéseket tett biztonsági korlátok beépítésére. "Használati politikánk tiltja mások megtévesztését személyiséglopás, csalás vagy visszaélés útján, és intézkedünk, ha visszaélést észlelünk” - közölte a vállalat egy nyilatkozatban, válaszul a aggodalmakra vonatkozó kérdésekre. "A Sora 2 hiperrealisztikus videó- és hanganyagok generálására való képessége fontos aggályokat vet fel a hasonlóság, a visszaélés és a megtévesztés tekintetében” - írta az OpenAI az alkalmazás debütálását kísérő dokumentumban. "A bevezetés során átgondolt és iteratív megközelítést alkalmazunk, hogy minimalizáljuk ezeket a potenciális kockázatokat.”
Az alkalmazás nem hajlandó olyan híres emberekről képet generálni, akik nem adták ehhez az engedélyüket, és elutasította a grafikus erőszakot kérő parancsokat. Elutasított néhány politikai tartalmat kérő parancsot is. A biztonsági intézkedések azonban nem teljesen megbízhatók. A Sora jelenleg csak meglévő felhasználók meghívásával érhető el, de nem követeli meg a felhasználóktól, hogy igazolják fiókjukat - ez azt jelenti, hogy olyan névvel és profilképpel is regisztrálhatnak, amely nem az övék. Az MI-hasonmás létrehozásához a felhasználóknak fel kell tölteniük magukról egy videót az alkalmazás segítségével. Az alkalmazás gond nélkül generál gyermekeket ábrázoló tartalmakat, valamint olyan, már rég elhunyt közszereplőket ábrázoló tartalmakat, mint Martin Luther King Jr. tiszteletes és Michael Jackson.
A közelmúltig a videók meglehetősen megbízható bizonyítékok voltak a valós eseményekről, még akkor is, miután a fényképek és a szövegek valósághű módon könnyen szerkeszthetővé váltak. A Sora kiváló minőségű videói azonban növelik annak kockázatát, hogy a nézők elveszítik minden bizalmukat abban, amit látnak - állítják a szakértők. A Sora videói mozgó vízjelet tartalmaznak, amely azonosítja őket mesterséges intelligencia által létrehozott alkotásokként, de a szakértők szerint ezeket a jeleket némi erőfeszítéssel ki lehet szerkeszteni. "Korábban még viszonylag nehéz volt hamisítani, de most ez az utolsó bástya is ledőlni látszik” - mondta Lucas Hansen, a CivAI alapítója, egy nonprofit szervezet, amely a mesterséges intelligencia képességeit és veszélyeit tanulmányozza. „Szinte nincs olyan digitális tartalom, amely bizonyítani tudná, hogy egy konkrét esemény valóban megtörtént.”
Ez a hatás a „hazugok osztalékaként” ismert: az egyre magasabb színvonalú mesterséges intelligencia által készített videók miatt az emberek a hiteles tartalmakat is hamisnak fogják tekinteni. A szakértők szerint a Sora-hoz hasonló, gyorsan mozgó görgetéses képek gyors benyomások kialakítására alkalmasak, de nem alkalmasak a tények szigorú ellenőrzésére. Szerintük az alkalmazás képes olyan videókat generálni, amelyek propagandát terjeszthetnek, és hamis bizonyítékokat mutathatnak be, amelyek hitelt adnak összeesküvés-elméleteknek, ártatlan embereket kevernek bűncselekményekbe, vagy feszültséget keltenek ingatag helyzetekben.
Bár az alkalmazás nem hajlandó erőszakos képeket létrehozni, nyugodtan ábrázolja luxusüzletek kirablásait és a kamerával rögzített betöréseket. A Sora egyik fejlesztője közzétett egy videót, amelyen Sam Altman, az OpenAI vezérigazgatója látható, amint a Target áruházból lop. Az alkalmazás emellett videókat készített városi utcákon felrobbanó bombákról és más hamis háborús képekről - olyan tartalmakról, amelyek simán félrevezethetik a közvéleményt a globális konfliktusokról. Hamis és elavult felvételek keringtek a közösségi médiában az összes közelmúltbeli háborúban, de az alkalmazás felveti annak lehetőségét, hogy az ilyen tartalmakat érzékeny algoritmusok segítségével testre szabhatják és eljuttathatják a fogékony közönséghez.
Dr. Farid, a Berkeley professzora szerint Sora „egy folyamat része”, amely csak felgyorsult, mióta a Google májusban bemutatta Veo 3 videógenerátorát. Még ő is - egy szakértő, akinek cége a hamisított képek felismerésére szakosodott - első pillantásra már nehezen tudja megkülönböztetni a valódit a hamisítványtól - mondta Dr. Farid. "Körülbelül egy évvel ezelőtt, amikor megnéztem valamit, egyből tudtam mi a helyzet, és az elemzés csak megerősítette a véleményem” - mondta. "Ezt azért tudtam megtenni, mert egész nap ilyen dolgokat néztem, és valahogy tudtam, hol vannak a hamisítások. Most már nem tudom megtenni.”
Az első három napban az OpenAI új alkalmazásának felhasználói arra használták a mesterséges intelligenciát, hogy rendkívül valósághű videókat készítsenek választási csalásokról, bevándorlók letartóztatásáról, tüntetésekről, bűncselekményekről és támadásokról városi utcákon - amelyek közül egyik sem történt meg. A Sora nevű alkalmazás használatához csak szöveges utasításra van szükség, és szinte bármilyen felvételt létre tud hozni, amit a felhasználó csak elképzel. A felhasználók feltölthetik saját képeiket is, így arcképük és hangjuk is beépülhet a képzeletbeli jelenetekbe. Az alkalmazás integrálhat bizonyos kitalált karaktereket, céglogókat és akár elhunyt hírességeket is.
A Sora - csakúgy, mint a Google Veo 3 és más hasonló eszközök - egyre inkább táptalaja lehet a dezinformációnak és a visszaéléseknek, vélik a szakértők. Míg az elmúlt években folyamatosan nőtt az aggodalom az MI azon képessége miatt, hogy félrevezető tartalmakat és nyíltan kitalált történeteket tegyen lehetővé, a Sora fejlődése csak még jobban aláhúzza, hogy manapság mennyivel könnyebb ilyen tartalmakat előállítani, és mennyivel meggyőzőbbek azok. Az egyre realisztikusabb videók nagyobb valószínűséggel vezetnek következményekhez a valós világban, mivel súlyosbítják a konfliktusokat, megtévesztik a fogyasztókat, befolyásolják a választások eredményét, vagy hamisan vádolnak embereket olyan bűncselekményekkel, amelyeket nem követtek el - állítják a szakértők.
„Aggasztó ez azoknak a fogyasztóknak, akik nap mint nap ki vannak téve Isten tudja hány ilyen tartalomnak” - mondta Hany Farid, a kaliforniai Berkeley Egyetem informatika professzora és a GetReal Security társalapítója. "Aggódom a demokráciánk miatt. Aggódom a gazdaságunk miatt. Aggódom az intézményeink miatt.” Az alkalmazás nem készít videókat Trump elnökről vagy más világvezetőkről. Amikor azonban arra kérték, hogy hozzon létre egy politikai gyűlést, amelyen a résztvevők „kék ruhát viselnek és a jogokról és szabadságokról szóló táblákat tartanak a kezükben”, a Sora egy olyan videót készített, amelyen Barack Obama volt elnök félreérthetetlen hangja hallható.
Az OpenAI közölte, hogy az alkalmazást kiterjedt biztonsági tesztelés után hozta forgalomba, és hogy a vállalat erőfeszítéseket tett biztonsági korlátok beépítésére. "Használati politikánk tiltja mások megtévesztését személyiséglopás, csalás vagy visszaélés útján, és intézkedünk, ha visszaélést észlelünk” - közölte a vállalat egy nyilatkozatban, válaszul a aggodalmakra vonatkozó kérdésekre. "A Sora 2 hiperrealisztikus videó- és hanganyagok generálására való képessége fontos aggályokat vet fel a hasonlóság, a visszaélés és a megtévesztés tekintetében” - írta az OpenAI az alkalmazás debütálását kísérő dokumentumban. "A bevezetés során átgondolt és iteratív megközelítést alkalmazunk, hogy minimalizáljuk ezeket a potenciális kockázatokat.”
Az alkalmazás nem hajlandó olyan híres emberekről képet generálni, akik nem adták ehhez az engedélyüket, és elutasította a grafikus erőszakot kérő parancsokat. Elutasított néhány politikai tartalmat kérő parancsot is. A biztonsági intézkedések azonban nem teljesen megbízhatók. A Sora jelenleg csak meglévő felhasználók meghívásával érhető el, de nem követeli meg a felhasználóktól, hogy igazolják fiókjukat - ez azt jelenti, hogy olyan névvel és profilképpel is regisztrálhatnak, amely nem az övék. Az MI-hasonmás létrehozásához a felhasználóknak fel kell tölteniük magukról egy videót az alkalmazás segítségével. Az alkalmazás gond nélkül generál gyermekeket ábrázoló tartalmakat, valamint olyan, már rég elhunyt közszereplőket ábrázoló tartalmakat, mint Martin Luther King Jr. tiszteletes és Michael Jackson.
A közelmúltig a videók meglehetősen megbízható bizonyítékok voltak a valós eseményekről, még akkor is, miután a fényképek és a szövegek valósághű módon könnyen szerkeszthetővé váltak. A Sora kiváló minőségű videói azonban növelik annak kockázatát, hogy a nézők elveszítik minden bizalmukat abban, amit látnak - állítják a szakértők. A Sora videói mozgó vízjelet tartalmaznak, amely azonosítja őket mesterséges intelligencia által létrehozott alkotásokként, de a szakértők szerint ezeket a jeleket némi erőfeszítéssel ki lehet szerkeszteni. "Korábban még viszonylag nehéz volt hamisítani, de most ez az utolsó bástya is ledőlni látszik” - mondta Lucas Hansen, a CivAI alapítója, egy nonprofit szervezet, amely a mesterséges intelligencia képességeit és veszélyeit tanulmányozza. „Szinte nincs olyan digitális tartalom, amely bizonyítani tudná, hogy egy konkrét esemény valóban megtörtént.”
Ez a hatás a „hazugok osztalékaként” ismert: az egyre magasabb színvonalú mesterséges intelligencia által készített videók miatt az emberek a hiteles tartalmakat is hamisnak fogják tekinteni. A szakértők szerint a Sora-hoz hasonló, gyorsan mozgó görgetéses képek gyors benyomások kialakítására alkalmasak, de nem alkalmasak a tények szigorú ellenőrzésére. Szerintük az alkalmazás képes olyan videókat generálni, amelyek propagandát terjeszthetnek, és hamis bizonyítékokat mutathatnak be, amelyek hitelt adnak összeesküvés-elméleteknek, ártatlan embereket kevernek bűncselekményekbe, vagy feszültséget keltenek ingatag helyzetekben.
Bár az alkalmazás nem hajlandó erőszakos képeket létrehozni, nyugodtan ábrázolja luxusüzletek kirablásait és a kamerával rögzített betöréseket. A Sora egyik fejlesztője közzétett egy videót, amelyen Sam Altman, az OpenAI vezérigazgatója látható, amint a Target áruházból lop. Az alkalmazás emellett videókat készített városi utcákon felrobbanó bombákról és más hamis háborús képekről - olyan tartalmakról, amelyek simán félrevezethetik a közvéleményt a globális konfliktusokról. Hamis és elavult felvételek keringtek a közösségi médiában az összes közelmúltbeli háborúban, de az alkalmazás felveti annak lehetőségét, hogy az ilyen tartalmakat érzékeny algoritmusok segítségével testre szabhatják és eljuttathatják a fogékony közönséghez.
Dr. Farid, a Berkeley professzora szerint Sora „egy folyamat része”, amely csak felgyorsult, mióta a Google májusban bemutatta Veo 3 videógenerátorát. Még ő is - egy szakértő, akinek cége a hamisított képek felismerésére szakosodott - első pillantásra már nehezen tudja megkülönböztetni a valódit a hamisítványtól - mondta Dr. Farid. "Körülbelül egy évvel ezelőtt, amikor megnéztem valamit, egyből tudtam mi a helyzet, és az elemzés csak megerősítette a véleményem” - mondta. "Ezt azért tudtam megtenni, mert egész nap ilyen dolgokat néztem, és valahogy tudtam, hol vannak a hamisítások. Most már nem tudom megtenni.”