SG.hu
Ahogy szaporodnak az MI által írt programsorok, úgy tűnik el annak emberi ellenőrzése
A mesterséges intelligencia egyre több kódot generál, és az emberi szintű ellenőrzés nem tud lépést tartani vele. Egyes szervezeteknél a mesterséges intelligencia a létrehozott kód több mint felét teszi ki, és ennek nagy része kevés vagy semmilyen felügyelet mellett kerül publikálásra.
Az MI-t használó fejlesztők 42 százaléka mondta, hogy kódjuk legalább fele MI által generált - írja az idei Cloudsmith Artifact Management Report. Ezeket a számokat tovább bontva, 16,6 százalék a kódja többségét az MI-nak tulajdonította, 3,6 százalék pedig azt mondta, hogy az összes kódja gépi generálású. A jelentés nem bontotta le, hogy hány fejlesztő használ MI-t kódgenerálásra, tavaly azonban egy, az Egyesült Államokra, Brazíliára, Németországra és Indiára kiterjedő GitHub-jelentés arról számolt be, hogy „a válaszadók több mint 97 százaléka számolt be arról, hogy a munkahelyén már használt MI-kódoló eszközöket ”. Az MI kódgeneráló eszközök „legalább némi vállalati támogatásáról” beszámoló arány az USA-beli 88 százaléktól a németországi 59 százalékig terjed.
"Miközben az LLM-ek a gyors kódgenerálással növelik a termelékenységet, kockázatokat is bevezetnek azáltal, hogy nem létező vagy rosszindulatú csomagokat ajánlanak." - figyelmeztet a szoftvercsomagok figyelésével foglalkozó Cloudsmith. A fejlesztők élesen tisztában vannak ezzel, mert arra a kérdésre, hogy az MI súlyosbítja-e a nyílt forráskódú malware veszélyeket (pl. typosquatting, függőségi zűrzavar), 79,2 százalék úgy véli, hogy az MI növelni fogja a környezetben lévő malware-ek mennyiségét, 30 százalék szerint pedig jelentősen növeli a malware-nek való kitettséget. Mindössze 13 százalékuk hitt abban, hogy a mesterséges intelligencia „megelőzi vagy csökkenti a fenyegetéseket”. 40 százalékuk pedig azt mondta, hogy a kódgenerálás az a pont, ahol a mesterséges intelligencia a legnagyobb kockázatot jelenti.
A fejlesztők egyharmada nem vizsgálta felül az MI által generált kódot minden egyes telepítés előtt, ami azt jelenti, hogy „nagy részek” nem kerültek ellenőrzésre, ami növekvő sebezhetőséget jelent az ellátási láncban. Míg kétharmaduk azt mondta, hogy csak kézi ellenőrzés után bízik meg az MI által generált kódban, a kérdés az, hogy ez az arány változni fog-e, mivel a világ egyre nagyobb kódbázisának egyre nagyobb részét teszi ki az MI. Ez azt jelenti, hogy az MI új kockázatokat vezet be, „gyakran méretarányosan”, miközben „a hagyományos aggodalmakat, mint a artifact integritás, függőségkezelés és SBOM (Software Bill of Materials) az MI azon képessége, hogy gyorsan fogyasztja és újrafelhasználja az ismeretlen vagy megbízhatatlan kódot, súlyosbítja”.
A Cloudsmith szerint ez fordulópontot jelent, mivel a mesterséges intelligencia a a szoftver stack egyik fő támogatójává vált, miközben a bizalmi modellek, az eszközök és a politikák nem tudják behozni a lemaradást. Az pedig nem fenntartható, hogy a kód felülvizsgálatát az emberekre bízzák. A Cloudsmith természetesen a jobb artifact-menedzsmentet támogatja, intelligens hozzáférési ellenőrzésekkel és végponttól végpontig tartó láthatósággal, valamint dinamikus hozzáférés-ellenőrzési szabályzatokkal és robusztus policy-as-code keretrendszerekkel.
A cég a mesterséges intelligenciával kapcsolatos kódok esetében automatikusan kikényszerített irányelveket jelölt ki, hogy kiszűrje a nem felülvizsgált vagy nem megbízható mesterséges intelligencia-artefaktumokat, valamint a származáskövetést, hogy elkülönítse az emberi és mesterséges intelligencia által generált kódot. A bizalmi jeleket pedig közvetlenül a fejlesztési ütemtervbe kell integrálni, és a felülvizsgálatoknak már nem csak opcionálisnak kell lenniük.
Az MI-t használó fejlesztők 42 százaléka mondta, hogy kódjuk legalább fele MI által generált - írja az idei Cloudsmith Artifact Management Report. Ezeket a számokat tovább bontva, 16,6 százalék a kódja többségét az MI-nak tulajdonította, 3,6 százalék pedig azt mondta, hogy az összes kódja gépi generálású. A jelentés nem bontotta le, hogy hány fejlesztő használ MI-t kódgenerálásra, tavaly azonban egy, az Egyesült Államokra, Brazíliára, Németországra és Indiára kiterjedő GitHub-jelentés arról számolt be, hogy „a válaszadók több mint 97 százaléka számolt be arról, hogy a munkahelyén már használt MI-kódoló eszközöket ”. Az MI kódgeneráló eszközök „legalább némi vállalati támogatásáról” beszámoló arány az USA-beli 88 százaléktól a németországi 59 százalékig terjed.
"Miközben az LLM-ek a gyors kódgenerálással növelik a termelékenységet, kockázatokat is bevezetnek azáltal, hogy nem létező vagy rosszindulatú csomagokat ajánlanak." - figyelmeztet a szoftvercsomagok figyelésével foglalkozó Cloudsmith. A fejlesztők élesen tisztában vannak ezzel, mert arra a kérdésre, hogy az MI súlyosbítja-e a nyílt forráskódú malware veszélyeket (pl. typosquatting, függőségi zűrzavar), 79,2 százalék úgy véli, hogy az MI növelni fogja a környezetben lévő malware-ek mennyiségét, 30 százalék szerint pedig jelentősen növeli a malware-nek való kitettséget. Mindössze 13 százalékuk hitt abban, hogy a mesterséges intelligencia „megelőzi vagy csökkenti a fenyegetéseket”. 40 százalékuk pedig azt mondta, hogy a kódgenerálás az a pont, ahol a mesterséges intelligencia a legnagyobb kockázatot jelenti.
A fejlesztők egyharmada nem vizsgálta felül az MI által generált kódot minden egyes telepítés előtt, ami azt jelenti, hogy „nagy részek” nem kerültek ellenőrzésre, ami növekvő sebezhetőséget jelent az ellátási láncban. Míg kétharmaduk azt mondta, hogy csak kézi ellenőrzés után bízik meg az MI által generált kódban, a kérdés az, hogy ez az arány változni fog-e, mivel a világ egyre nagyobb kódbázisának egyre nagyobb részét teszi ki az MI. Ez azt jelenti, hogy az MI új kockázatokat vezet be, „gyakran méretarányosan”, miközben „a hagyományos aggodalmakat, mint a artifact integritás, függőségkezelés és SBOM (Software Bill of Materials) az MI azon képessége, hogy gyorsan fogyasztja és újrafelhasználja az ismeretlen vagy megbízhatatlan kódot, súlyosbítja”.
A Cloudsmith szerint ez fordulópontot jelent, mivel a mesterséges intelligencia a a szoftver stack egyik fő támogatójává vált, miközben a bizalmi modellek, az eszközök és a politikák nem tudják behozni a lemaradást. Az pedig nem fenntartható, hogy a kód felülvizsgálatát az emberekre bízzák. A Cloudsmith természetesen a jobb artifact-menedzsmentet támogatja, intelligens hozzáférési ellenőrzésekkel és végponttól végpontig tartó láthatósággal, valamint dinamikus hozzáférés-ellenőrzési szabályzatokkal és robusztus policy-as-code keretrendszerekkel.
A cég a mesterséges intelligenciával kapcsolatos kódok esetében automatikusan kikényszerített irányelveket jelölt ki, hogy kiszűrje a nem felülvizsgált vagy nem megbízható mesterséges intelligencia-artefaktumokat, valamint a származáskövetést, hogy elkülönítse az emberi és mesterséges intelligencia által generált kódot. A bizalmi jeleket pedig közvetlenül a fejlesztési ütemtervbe kell integrálni, és a felülvizsgálatoknak már nem csak opcionálisnak kell lenniük.