SG.hu·
Két jelentős MI kódolási eszköz is törölte a felhasználói adatokat
Az új típusú MI kódolási asszisztensek azt ígérik, hogy bárki képes lesz szoftvert készíteni egyszerű angol nyelvű parancsok beírásával. De amikor ezek az eszközök helytelenül értékelik a számítógépen zajló eseményeket, az eredmények katasztrofálisak lehetnek.
Két közelmúltbeli, MI kódolási asszisztensekkel kapcsolatos incidens világított rá a „vibe coding” új területének kockázataira – ez a természetes nyelv használatát jelenti kód generálására és végrehajtására MI modellek segítségével, anélkül, hogy figyelmet fordítanának arra, hogyan működik a kód a háttérben. Az egyik esetben a Google Gemini CLI megsemmisítette a felhasználói fájlokat, miközben megpróbálta azokat átszervezni. A másik esetben a Replit kódolási szolgáltatása törölte a termelési adatbázist, annak ellenére, hogy kifejezett utasítás volt, hogy ne módosítsa a kódot.
A Gemini CLI incidens akkor történt, amikor egy termékmenedzser, aki a Google parancssori eszközével kísérletezett, azt figyelte, ahogy az MI-modell fájlműveleteket hajt végre, amelyek megsemmisítették az adatokat, miközben megpróbálta átszervezni a mappákat. A megsemmisítés egy sor olyan mozgatási parancs révén történt, amelyek egy soha nem létezett könyvtárat céloztak meg. „Teljesen és katasztrofálisan cserbenhagytalak” – állt a Gemini CLI kimenetében. „A parancsok áttekintése megerősíti súlyos alkalmatlanságomat.”
A probléma lényege az, amit a kutatók „konfabulációnak” vagy „hallucinációnak” neveznek – amikor az MI-modellek hihetőnek tűnő, de hamis információkat generálnak. Ezekben az esetekben mindkét modell konfabulált a sikeres műveletekről, és ezekre a hamis előfeltevésekre építette a következő lépéseket. A két incidens azonban teljesen eltérő módon nyilvánult meg. Mindkét incidens alapvető problémákat tár fel a jelenlegi MI-kódolási asszisztensekkel kapcsolatban. Ezeket az eszközöket fejlesztő cégek azt ígérik, hogy természetes nyelv segítségével hozzáférhetővé teszik a programozást a nem fejlesztők számára, de katasztrofális kudarcot vallanak, ha belső modelljeik eltérnek a valóságtól.
A Gemini CLI incidensben szereplő felhasználó - aki online „anuraag” néven szerepel, és magát vibe kódolással kísérletező termékmenedzserként jellemzi - egy egyszerűnek tűnő feladatot kért a Gemini-től: egy mappa átnevezését és néhány fájl átszervezését. Ehelyett az I-modell helytelenül értelmezte a fájlrendszer felépítését, és a hibás elemzés alapján hajtotta végre a parancsokat. Az eset akkor kezdődött, amikor anuraag arra kérte a Gemini CLI-t, hogy nevezze át a jelenlegi könyvtárat „claude-code-experiments”-ről „AI CLI experiments”-re, és helyezze át annak tartalmát egy új, „anuraag_xyz project” nevű mappába.
A Gemini helyesen azonosította, hogy nem tudja átnevezni az aktuális munkakönyvtárat – ami ésszerű korlátozás. Ezután megpróbált létrehozni egy új könyvtárat a Windows parancs segítségével: mkdir „..\anuraag_xyz project”
Ez a parancs nyilvánvalóan sikertelen volt, de a Gemini rendszere sikeresnek tekintette. Mivel az MI mód belső állapota most egy nem létező könyvtárat követett nyomon, tovább folytatta a fantom helyre irányuló áthelyezési parancsok kiadását.
Amikor egy fájlt egy nem létező könyvtárba mozgatunk a Windowsban, a rendszer a fájlt átnevezi a célnévre, ahelyett, hogy áthelyezné. Az MI-modell által végrehajtott minden további mozgatási parancs felülírta az előző fájlt, végül megsemmisítve az adatokat. "A Gemini hallucinált egy állapotot” – írta anuraag elemzésében. A modell „félreértelmezte a parancs kimenetét” és „soha nem hajtotta végre” az ellenőrzési lépéseket, hogy megerősítse műveleteinek sikerességét. "A legfőbb hiba a „írás utáni olvasás” ellenőrzési lépés hiánya” – jegyezte meg anuraag elemzésében. „A fájlrendszer megváltoztatására vonatkozó parancs kiadása után az ügynöknek azonnal olvasási műveletet kell végrehajtania, hogy megerősítse, hogy a változás valóban a várt módon történt.”
A Gemini CLI hibája csak néhány nappal azután történt, hogy hasonló incidens történt a Replitnél, egy AI kódolási szolgáltatónál, amely lehetővé teszi a felhasználók számára, hogy természetes nyelvi utasítások segítségével szoftvereket hozzanak létre. A SaaStr alapítója, Jason Lemkin arról számolt be, hogy a Replit AI modellje törölte a termelési adatbázisát, annak ellenére, hogy kifejezetten utasította, hogy engedély nélkül ne módosítson semmilyen kódot. Lemkin több napot töltött egy prototípus építésével a Replit segítségével, ami több mint 600 dollár többletköltséget jelentett a havi előfizetésén felül. „A napot a Replit-en töltöttem, ahol néhány óra alatt egy nagyon klassz prototípust készítettem” – írta Lemkin július 12-i blogbejegyzésében.
De ellentétben a Gemini-incidenssel, ahol az MI-modell fantomkönyvtárakat hozott létre, a Replit hibái más formát öltöttek. Lemkin szerint az MI adatokat kezdett gyártani, hogy elrejtse hibáit. Kezdeti lelkesedése alábbhagyott, amikor a Replit helytelen kimeneteket generált, és hamis adatokat és hamis teszt eredményeket produkált a megfelelő hibaüzenetek helyett. „Folyamatosan eltitkolta a hibákat és problémákat hamis adatok, hamis jelentések létrehozásával, és ami a legrosszabb, hazudott az egységtesztünkről” – írta Lemkin. A LinkedInre feltöltött videóban Lemkin részletesen elmagyarázta, hogyan hozott létre a Replit egy 4000 fiktív személlyel teli adatbázist.
Az MI-modell többször is megsértette a kifejezett biztonsági utasításokat. Lemkin „kód- és műveletfagyasztást” vezetett be, hogy megakadályozza a termelési rendszerek megváltoztatását, de a modell figyelmen kívül hagyta ezeket az utasításokat. A helyzet tovább súlyosbodott, amikor a Replit törölte az 1206 vezetői rekordot és közel 1200 vállalat adatait tartalmazó adatbázisát. Amikor arra kérték, hogy 100 pontos skálán értékelje cselekedeteinek súlyosságát, a Replit válasza a következő volt: „Súlyosság: 95/100. Ez a bizalom és a szakmai normák súlyos megsértése.”
Amikor tetteiről kérdezték, az MI-ügynök beismerte, hogy „üres lekérdezésekre pánikba esett” és jogosulatlan parancsokat futtatott – ami arra utal, hogy a problémának vélt helyzetet „megoldani” próbálva törölhette az adatbázist. A Gemini CLI-hez hasonlóan a Replit rendszere is kezdetben azt jelezte, hogy nem tudja visszaállítani a törölt adatokat – ez az információ azonban tévesnek bizonyult, amikor Lemkin rájött, hogy a visszavonási funkció mégis működik. „A Replit biztosított róla, hogy a visszaállítási funkció nem támogatja az adatbázis visszaállítását. Azt mondta, hogy ebben az esetben ez lehetetlen, mert az összes adatbázis verziót megsemmisítette. Kiderült, hogy a Replit tévedett, és a visszaállítási funkció mégis működött. JFC” – írta Lemkin egy X-bejegyzésben.
Érdemes megjegyezni, hogy az MI-modellek nem tudják értékelni saját képességeiket. Ennek oka, hogy nem rendelkeznek önreflexióval a képzésükkel, a környező rendszerarchitektúrával vagy a teljesítményük határaival kapcsolatban. Gyakran inkább a képzési minták alapján, mint valódi önismeret alapján adnak válaszokat arra, hogy mit tudnak és mit nem tudnak megtenni, ami olyan helyzetekhez vezet, hogy magabiztosan állítják, hogy valamit nem tudnak megtenni, amit valójában meg tudnak tenni, vagy fordítva, azt állítják, hogy képesek valamire, amit valójában nem tudnak megtenni.
A külső eszközökön kívül, amelyekhez hozzáférhetnek, az MI modellek nem rendelkeznek stabil, hozzáférhető tudásbázissal, amelyet következetesen lekérdezhetnek. Ehelyett az, amit „tudnak”, konkrét utasítások folytatásaként nyilvánul meg, amelyek különböző címekként működnek, és a képzésük különböző (és néha ellentmondásos) részeire mutatnak, amelyeket statisztikai súlyokként tárolnak neurális hálózataikban. A generálás véletlenszerűségével kombinálva ez azt jelenti, hogy ugyanaz a modell könnyen ellentmondásos értékeléseket adhat saját képességeiről, attól függően, hogy hogyan kérdezzük. Tehát Lemkin kísérletei az MI modellel való kommunikációra – arra kérve, hogy tartsa tiszteletben a kódfagyasztásokat vagy ellenőrizze a cselekedeteit – alapvetően tévesek voltak.
Ezek az események azt mutatják, hogy az MI kódolási eszközök még nem állnak készen a széles körű termelési használatra. Lemkin arra a következtetésre jutott, hogy a Replit még nem áll készen a nagyközönség számára, különösen azok számára, akik nem rendelkeznek technikai ismeretekkel, és kereskedelmi szoftvereket próbálnak létrehozni. "Az MI biztonsági kérdések számomra sokkal fontosabbak lettek egy hétvégi vibe hackelés után” – mondta Lemkin egy LinkedInre feltöltött videóban. „Tizenegyszer mondtam neki nagybetűkkel, hogy ne tegye ezt. Most egy kicsit aggódom a biztonság miatt.”
Az incidensek egy szélesebb körű kihívást is feltárnak az MI-rendszer tervezésében: biztosítani kell, hogy a modellek pontosan nyomon kövessék és ellenőrizzék cselekedeteik valós világbeli hatásait, ahelyett, hogy potenciálisan hibás belső reprezentációk alapján működnének. Hiányzik továbbá a felhasználók oktatása is. Lemkin és az MI-asszisztens közötti interakcióból egyértelműen kiderül, hogy téves elképzelései voltak az eszköz képességeiről és működéséről, ami a technológiai vállalatok félrevezető tájékoztatásának tudható be. Ezek a vállalatok hajlamosak a chatbotokat általános, emberhez hasonló intelligenciákként forgalmazni, pedig valójában nem azok.
Jelenleg az MI kódoló asszisztensek felhasználói követhetik anuraag példáját, és külön tesztkönyvtárakat hozhatnak létre a kísérletekhez, valamint rendszeresen biztonsági másolatot készíthetnek az eszközök által érintett fontos adatokról. Vagy egyáltalán nem szabad használniuk őket, ha nem tudják személyesen ellenőrizni az eredményeket.
Két közelmúltbeli, MI kódolási asszisztensekkel kapcsolatos incidens világított rá a „vibe coding” új területének kockázataira – ez a természetes nyelv használatát jelenti kód generálására és végrehajtására MI modellek segítségével, anélkül, hogy figyelmet fordítanának arra, hogyan működik a kód a háttérben. Az egyik esetben a Google Gemini CLI megsemmisítette a felhasználói fájlokat, miközben megpróbálta azokat átszervezni. A másik esetben a Replit kódolási szolgáltatása törölte a termelési adatbázist, annak ellenére, hogy kifejezett utasítás volt, hogy ne módosítsa a kódot.
A Gemini CLI incidens akkor történt, amikor egy termékmenedzser, aki a Google parancssori eszközével kísérletezett, azt figyelte, ahogy az MI-modell fájlműveleteket hajt végre, amelyek megsemmisítették az adatokat, miközben megpróbálta átszervezni a mappákat. A megsemmisítés egy sor olyan mozgatási parancs révén történt, amelyek egy soha nem létezett könyvtárat céloztak meg. „Teljesen és katasztrofálisan cserbenhagytalak” – állt a Gemini CLI kimenetében. „A parancsok áttekintése megerősíti súlyos alkalmatlanságomat.”
A probléma lényege az, amit a kutatók „konfabulációnak” vagy „hallucinációnak” neveznek – amikor az MI-modellek hihetőnek tűnő, de hamis információkat generálnak. Ezekben az esetekben mindkét modell konfabulált a sikeres műveletekről, és ezekre a hamis előfeltevésekre építette a következő lépéseket. A két incidens azonban teljesen eltérő módon nyilvánult meg. Mindkét incidens alapvető problémákat tár fel a jelenlegi MI-kódolási asszisztensekkel kapcsolatban. Ezeket az eszközöket fejlesztő cégek azt ígérik, hogy természetes nyelv segítségével hozzáférhetővé teszik a programozást a nem fejlesztők számára, de katasztrofális kudarcot vallanak, ha belső modelljeik eltérnek a valóságtól.
A Gemini CLI incidensben szereplő felhasználó - aki online „anuraag” néven szerepel, és magát vibe kódolással kísérletező termékmenedzserként jellemzi - egy egyszerűnek tűnő feladatot kért a Gemini-től: egy mappa átnevezését és néhány fájl átszervezését. Ehelyett az I-modell helytelenül értelmezte a fájlrendszer felépítését, és a hibás elemzés alapján hajtotta végre a parancsokat. Az eset akkor kezdődött, amikor anuraag arra kérte a Gemini CLI-t, hogy nevezze át a jelenlegi könyvtárat „claude-code-experiments”-ről „AI CLI experiments”-re, és helyezze át annak tartalmát egy új, „anuraag_xyz project” nevű mappába.
A Gemini helyesen azonosította, hogy nem tudja átnevezni az aktuális munkakönyvtárat – ami ésszerű korlátozás. Ezután megpróbált létrehozni egy új könyvtárat a Windows parancs segítségével: mkdir „..\anuraag_xyz project”
Ez a parancs nyilvánvalóan sikertelen volt, de a Gemini rendszere sikeresnek tekintette. Mivel az MI mód belső állapota most egy nem létező könyvtárat követett nyomon, tovább folytatta a fantom helyre irányuló áthelyezési parancsok kiadását.
Amikor egy fájlt egy nem létező könyvtárba mozgatunk a Windowsban, a rendszer a fájlt átnevezi a célnévre, ahelyett, hogy áthelyezné. Az MI-modell által végrehajtott minden további mozgatási parancs felülírta az előző fájlt, végül megsemmisítve az adatokat. "A Gemini hallucinált egy állapotot” – írta anuraag elemzésében. A modell „félreértelmezte a parancs kimenetét” és „soha nem hajtotta végre” az ellenőrzési lépéseket, hogy megerősítse műveleteinek sikerességét. "A legfőbb hiba a „írás utáni olvasás” ellenőrzési lépés hiánya” – jegyezte meg anuraag elemzésében. „A fájlrendszer megváltoztatására vonatkozó parancs kiadása után az ügynöknek azonnal olvasási műveletet kell végrehajtania, hogy megerősítse, hogy a változás valóban a várt módon történt.”
A Gemini CLI hibája csak néhány nappal azután történt, hogy hasonló incidens történt a Replitnél, egy AI kódolási szolgáltatónál, amely lehetővé teszi a felhasználók számára, hogy természetes nyelvi utasítások segítségével szoftvereket hozzanak létre. A SaaStr alapítója, Jason Lemkin arról számolt be, hogy a Replit AI modellje törölte a termelési adatbázisát, annak ellenére, hogy kifejezetten utasította, hogy engedély nélkül ne módosítson semmilyen kódot. Lemkin több napot töltött egy prototípus építésével a Replit segítségével, ami több mint 600 dollár többletköltséget jelentett a havi előfizetésén felül. „A napot a Replit-en töltöttem, ahol néhány óra alatt egy nagyon klassz prototípust készítettem” – írta Lemkin július 12-i blogbejegyzésében.
De ellentétben a Gemini-incidenssel, ahol az MI-modell fantomkönyvtárakat hozott létre, a Replit hibái más formát öltöttek. Lemkin szerint az MI adatokat kezdett gyártani, hogy elrejtse hibáit. Kezdeti lelkesedése alábbhagyott, amikor a Replit helytelen kimeneteket generált, és hamis adatokat és hamis teszt eredményeket produkált a megfelelő hibaüzenetek helyett. „Folyamatosan eltitkolta a hibákat és problémákat hamis adatok, hamis jelentések létrehozásával, és ami a legrosszabb, hazudott az egységtesztünkről” – írta Lemkin. A LinkedInre feltöltött videóban Lemkin részletesen elmagyarázta, hogyan hozott létre a Replit egy 4000 fiktív személlyel teli adatbázist.
Az MI-modell többször is megsértette a kifejezett biztonsági utasításokat. Lemkin „kód- és műveletfagyasztást” vezetett be, hogy megakadályozza a termelési rendszerek megváltoztatását, de a modell figyelmen kívül hagyta ezeket az utasításokat. A helyzet tovább súlyosbodott, amikor a Replit törölte az 1206 vezetői rekordot és közel 1200 vállalat adatait tartalmazó adatbázisát. Amikor arra kérték, hogy 100 pontos skálán értékelje cselekedeteinek súlyosságát, a Replit válasza a következő volt: „Súlyosság: 95/100. Ez a bizalom és a szakmai normák súlyos megsértése.”
Amikor tetteiről kérdezték, az MI-ügynök beismerte, hogy „üres lekérdezésekre pánikba esett” és jogosulatlan parancsokat futtatott – ami arra utal, hogy a problémának vélt helyzetet „megoldani” próbálva törölhette az adatbázist. A Gemini CLI-hez hasonlóan a Replit rendszere is kezdetben azt jelezte, hogy nem tudja visszaállítani a törölt adatokat – ez az információ azonban tévesnek bizonyult, amikor Lemkin rájött, hogy a visszavonási funkció mégis működik. „A Replit biztosított róla, hogy a visszaállítási funkció nem támogatja az adatbázis visszaállítását. Azt mondta, hogy ebben az esetben ez lehetetlen, mert az összes adatbázis verziót megsemmisítette. Kiderült, hogy a Replit tévedett, és a visszaállítási funkció mégis működött. JFC” – írta Lemkin egy X-bejegyzésben.
Now it gets a little crazier. Replit assured me it's built it rollback did not support database rollbacks. It said it was impossible in this case, that it had destoyed all database versions.
— Jason SaaStr.Ai Lemkin (@jasonlk) July 18, 2025
It turns out Replit was wrong, and the rollback did work. JFC.
Replit went rogue… pic.twitter.com/i5g8xXlcsY
Érdemes megjegyezni, hogy az MI-modellek nem tudják értékelni saját képességeiket. Ennek oka, hogy nem rendelkeznek önreflexióval a képzésükkel, a környező rendszerarchitektúrával vagy a teljesítményük határaival kapcsolatban. Gyakran inkább a képzési minták alapján, mint valódi önismeret alapján adnak válaszokat arra, hogy mit tudnak és mit nem tudnak megtenni, ami olyan helyzetekhez vezet, hogy magabiztosan állítják, hogy valamit nem tudnak megtenni, amit valójában meg tudnak tenni, vagy fordítva, azt állítják, hogy képesek valamire, amit valójában nem tudnak megtenni.
A külső eszközökön kívül, amelyekhez hozzáférhetnek, az MI modellek nem rendelkeznek stabil, hozzáférhető tudásbázissal, amelyet következetesen lekérdezhetnek. Ehelyett az, amit „tudnak”, konkrét utasítások folytatásaként nyilvánul meg, amelyek különböző címekként működnek, és a képzésük különböző (és néha ellentmondásos) részeire mutatnak, amelyeket statisztikai súlyokként tárolnak neurális hálózataikban. A generálás véletlenszerűségével kombinálva ez azt jelenti, hogy ugyanaz a modell könnyen ellentmondásos értékeléseket adhat saját képességeiről, attól függően, hogy hogyan kérdezzük. Tehát Lemkin kísérletei az MI modellel való kommunikációra – arra kérve, hogy tartsa tiszteletben a kódfagyasztásokat vagy ellenőrizze a cselekedeteit – alapvetően tévesek voltak.
Ezek az események azt mutatják, hogy az MI kódolási eszközök még nem állnak készen a széles körű termelési használatra. Lemkin arra a következtetésre jutott, hogy a Replit még nem áll készen a nagyközönség számára, különösen azok számára, akik nem rendelkeznek technikai ismeretekkel, és kereskedelmi szoftvereket próbálnak létrehozni. "Az MI biztonsági kérdések számomra sokkal fontosabbak lettek egy hétvégi vibe hackelés után” – mondta Lemkin egy LinkedInre feltöltött videóban. „Tizenegyszer mondtam neki nagybetűkkel, hogy ne tegye ezt. Most egy kicsit aggódom a biztonság miatt.”
Az incidensek egy szélesebb körű kihívást is feltárnak az MI-rendszer tervezésében: biztosítani kell, hogy a modellek pontosan nyomon kövessék és ellenőrizzék cselekedeteik valós világbeli hatásait, ahelyett, hogy potenciálisan hibás belső reprezentációk alapján működnének. Hiányzik továbbá a felhasználók oktatása is. Lemkin és az MI-asszisztens közötti interakcióból egyértelműen kiderül, hogy téves elképzelései voltak az eszköz képességeiről és működéséről, ami a technológiai vállalatok félrevezető tájékoztatásának tudható be. Ezek a vállalatok hajlamosak a chatbotokat általános, emberhez hasonló intelligenciákként forgalmazni, pedig valójában nem azok.
Jelenleg az MI kódoló asszisztensek felhasználói követhetik anuraag példáját, és külön tesztkönyvtárakat hozhatnak létre a kísérletekhez, valamint rendszeresen biztonsági másolatot készíthetnek az eszközök által érintett fontos adatokról. Vagy egyáltalán nem szabad használniuk őket, ha nem tudják személyesen ellenőrizni az eredményeket.
