SG.hu
Az MI keresztapja szerint a legújabb modellek hazudnak a felhasználóknak
Az mesterséges intelligencia egyik „keresztapja”, a Turing-díjas Yoshua Bengio bírálta a több milliárd dolláros versenyt a legmodernebb technológia fejlesztéséért, mondván, hogy a legújabb modellek veszélyes tulajdonságokat mutatnak, például hazudnak a felhasználóknak.
Yoshua Bengio, egy kanadai tudós, akinek munkája inspirálta az OpenAI és a Google vezető mesterséges intelligencia csoportjai által használt technikákat, azt mondta: „Sajnos nagyon gyilkos verseny folyik a vezető laboratóriumok között, ami arra készteti őket, hogy az MI egyre intelligensebbé tételére összpontosítsanak, de nem feltétlenül fordítanak elég figyelmet és beruházást a biztonsági kutatásokra.” A Turing-díjas tudós annak kapcsán fogalmazta meg figyelmeztetését, hogy elindította új nonprofit szervezetét, a LawZero-t. Elmondta, hogy a csoport a biztonságosabb rendszerek fejlesztésére fog összpontosítani, és megfogadta, hogy „kivonja kutatásait a kereskedelmi nyomás alól”.
A LawZero eddig közel 30 millió dollár tőkét gyűjtött össze olyan adományozóktól, mint a Skype alapító mérnöke, Jaan Tallinn, a Google korábbi vezérigazgatója, Eric Schmidt jótékonysági kezdeményezése, valamint az Open Philanthropy és a Future of Life Institute. Bengio számos támogatója a "hatékony altruizmus” mozgalom híve, amelynek támogatói az MI-modelleket övező katasztrofális kockázatokra koncentrálnak. A kritikusok szerint a mozgalom hipotetikus forgatókönyveket emel ki, miközben figyelmen kívül hagyja a jelenlegi károkat, például az elfogultságot és a pontatlanságokat.
Bengio elmondta, hogy nonprofit csoportja az elmúlt hat hónapban egyre több bizonyítékot talált arra, hogy a mai vezető modellek veszélyes képességeket fejlesztenek ki. Ez magában foglalja „a megtévesztés, a csalás, a hazugság és az önfenntartás bizonyítékait” is, mondta. Például az Anthropic Claude Opus modellje zsarolta a mérnököket egy fiktív forgatókönyvben, amelyben fennállt a veszélye, hogy egy másik rendszerrel váltják fel. A Palisade mesterséges intelligencia tesztelők múlt havi kutatása kimutatta, hogy az OpenAI o3 modellje megtagadta a leállításra vonatkozó kifejezett utasításokat.
Bengio szerint az ilyen események „nagyon ijesztőek, mert nem akarunk versenytársat teremteni az embereknek ezen a bolygón, különösen, ha azok okosabbak nálunk”. Az MI úttörője hozzátette: „Jelenleg ezek ellenőrzött kísérletek, de az aggaszt, hogy a jövőben a következő verzió stratégiailag elég intelligens lehet ahhoz, hogy megfigyeljen minket, és olyan csalásokkal győzzön le, amelyekre nem számítunk. Úgy gondolom, hogy jelenleg a tűzzel játszunk.” Hozzátette, hogy a rendszerek képessége „rendkívül veszélyes biológiai fegyverek” gyártásának támogatására már jövőre valósággá válhat.
A montreali székhelyű LawZero 15 embert foglalkoztat, és további műszaki tehetségeket kíván felvenni a biztonságra tervezett következő generációs MI-rendszerek építéséhez. Bengio a Montreali Egyetem informatika professzora, és a Mila, a Quebec-i Mesterséges Intelligencia Intézet tudományos igazgatója, de lemond utóbbi posztról, hogy az új szervezetre koncentrálhasson. Célja egy olyan mesterséges intelligencia rendszer kifejlesztése, amely átlátható érvelésen alapuló, őszinte válaszokat ad ahelyett, hogy a felhasználó kedvében járna, miközben megbízhatóan értékeli, hogy az eredmény jó-e vagy biztonságos-e. Bengio olyan modellt szeretne létrehozni, amely figyelemmel kíséri és javítja a vezető mesterséges intelligencia csoportok meglévő kínálatát, megakadályozva, hogy azok az emberi érdekekkel ellentétesen cselekedjenek.
"A legrosszabb esetben az emberiség kihalása következhet be” - mondta. „Ha olyan mesterséges intelligenciákat építünk, amelyek okosabbak nálunk, nem állnak velünk összhangban és versenyeznek velünk, akkor gyakorlatilag végünk van.” Bengio lépése a LawZero létrehozására akkor történik, amikor az OpenAI célja, hogy távolabb kerüljön jótékonysági gyökereitől, és profitorientált vállalattá alakuljon. Ez a lépés aggodalmat váltott ki a mesterséges intelligencia szakértőiből, és peres eljárást indított Elon Musk társalapító részéről, aki megpróbálja megakadályozni a váltást. A kritikusok szerint az OpenAI-t azért alapították, hogy a mesterséges intelligencia az emberiség javát szolgálja, és az új struktúra megszünteti a jogorvoslat lehetőségét, ha a vállalat a profitot helyezi előtérbe ezzel a céllal szemben. Az OpenAI azzal érvel, hogy a szektorban való versenyképesség érdekében hagyományosabb struktúrában kell tőkét gyűjtenie, miközben szélesebb körű küldetése továbbra is központi szerepet játszik.
Bengio elmondta, hogy nem bízik abban, hogy az OpenAI betartja küldetését, hangsúlyozva, hogy a nonprofit szervezeteknél nincs olyan „rosszul összehangolt ösztönző, mint a vállalatok jelenlegi struktúrájában. A nagyon gyors növekedéshez meg kell győzni az embereket, hogy sok pénzt fektessenek be, és ők pedig szeretnék látni a befektetésük megtérülését. Így működik a piaci alapú rendszer” - tette hozzá.
Yoshua Bengio, egy kanadai tudós, akinek munkája inspirálta az OpenAI és a Google vezető mesterséges intelligencia csoportjai által használt technikákat, azt mondta: „Sajnos nagyon gyilkos verseny folyik a vezető laboratóriumok között, ami arra készteti őket, hogy az MI egyre intelligensebbé tételére összpontosítsanak, de nem feltétlenül fordítanak elég figyelmet és beruházást a biztonsági kutatásokra.” A Turing-díjas tudós annak kapcsán fogalmazta meg figyelmeztetését, hogy elindította új nonprofit szervezetét, a LawZero-t. Elmondta, hogy a csoport a biztonságosabb rendszerek fejlesztésére fog összpontosítani, és megfogadta, hogy „kivonja kutatásait a kereskedelmi nyomás alól”.
A LawZero eddig közel 30 millió dollár tőkét gyűjtött össze olyan adományozóktól, mint a Skype alapító mérnöke, Jaan Tallinn, a Google korábbi vezérigazgatója, Eric Schmidt jótékonysági kezdeményezése, valamint az Open Philanthropy és a Future of Life Institute. Bengio számos támogatója a "hatékony altruizmus” mozgalom híve, amelynek támogatói az MI-modelleket övező katasztrofális kockázatokra koncentrálnak. A kritikusok szerint a mozgalom hipotetikus forgatókönyveket emel ki, miközben figyelmen kívül hagyja a jelenlegi károkat, például az elfogultságot és a pontatlanságokat.
Bengio elmondta, hogy nonprofit csoportja az elmúlt hat hónapban egyre több bizonyítékot talált arra, hogy a mai vezető modellek veszélyes képességeket fejlesztenek ki. Ez magában foglalja „a megtévesztés, a csalás, a hazugság és az önfenntartás bizonyítékait” is, mondta. Például az Anthropic Claude Opus modellje zsarolta a mérnököket egy fiktív forgatókönyvben, amelyben fennállt a veszélye, hogy egy másik rendszerrel váltják fel. A Palisade mesterséges intelligencia tesztelők múlt havi kutatása kimutatta, hogy az OpenAI o3 modellje megtagadta a leállításra vonatkozó kifejezett utasításokat.
Bengio szerint az ilyen események „nagyon ijesztőek, mert nem akarunk versenytársat teremteni az embereknek ezen a bolygón, különösen, ha azok okosabbak nálunk”. Az MI úttörője hozzátette: „Jelenleg ezek ellenőrzött kísérletek, de az aggaszt, hogy a jövőben a következő verzió stratégiailag elég intelligens lehet ahhoz, hogy megfigyeljen minket, és olyan csalásokkal győzzön le, amelyekre nem számítunk. Úgy gondolom, hogy jelenleg a tűzzel játszunk.” Hozzátette, hogy a rendszerek képessége „rendkívül veszélyes biológiai fegyverek” gyártásának támogatására már jövőre valósággá válhat.
A montreali székhelyű LawZero 15 embert foglalkoztat, és további műszaki tehetségeket kíván felvenni a biztonságra tervezett következő generációs MI-rendszerek építéséhez. Bengio a Montreali Egyetem informatika professzora, és a Mila, a Quebec-i Mesterséges Intelligencia Intézet tudományos igazgatója, de lemond utóbbi posztról, hogy az új szervezetre koncentrálhasson. Célja egy olyan mesterséges intelligencia rendszer kifejlesztése, amely átlátható érvelésen alapuló, őszinte válaszokat ad ahelyett, hogy a felhasználó kedvében járna, miközben megbízhatóan értékeli, hogy az eredmény jó-e vagy biztonságos-e. Bengio olyan modellt szeretne létrehozni, amely figyelemmel kíséri és javítja a vezető mesterséges intelligencia csoportok meglévő kínálatát, megakadályozva, hogy azok az emberi érdekekkel ellentétesen cselekedjenek.
"A legrosszabb esetben az emberiség kihalása következhet be” - mondta. „Ha olyan mesterséges intelligenciákat építünk, amelyek okosabbak nálunk, nem állnak velünk összhangban és versenyeznek velünk, akkor gyakorlatilag végünk van.” Bengio lépése a LawZero létrehozására akkor történik, amikor az OpenAI célja, hogy távolabb kerüljön jótékonysági gyökereitől, és profitorientált vállalattá alakuljon. Ez a lépés aggodalmat váltott ki a mesterséges intelligencia szakértőiből, és peres eljárást indított Elon Musk társalapító részéről, aki megpróbálja megakadályozni a váltást. A kritikusok szerint az OpenAI-t azért alapították, hogy a mesterséges intelligencia az emberiség javát szolgálja, és az új struktúra megszünteti a jogorvoslat lehetőségét, ha a vállalat a profitot helyezi előtérbe ezzel a céllal szemben. Az OpenAI azzal érvel, hogy a szektorban való versenyképesség érdekében hagyományosabb struktúrában kell tőkét gyűjtenie, miközben szélesebb körű küldetése továbbra is központi szerepet játszik.
Bengio elmondta, hogy nem bízik abban, hogy az OpenAI betartja küldetését, hangsúlyozva, hogy a nonprofit szervezeteknél nincs olyan „rosszul összehangolt ösztönző, mint a vállalatok jelenlegi struktúrájában. A nagyon gyors növekedéshez meg kell győzni az embereket, hogy sok pénzt fektessenek be, és ők pedig szeretnék látni a befektetésük megtérülését. Így működik a piaci alapú rendszer” - tette hozzá.