SG.hu·
A Mozilla szerint az MI nagyon erős fegyver a biztonsági hibák ellen
A Mozilla fejlesztői szerint új korszak kezdődhet az MI-alapú hibakeresésben, mert „szinte egyáltalán nem voltak téves riasztások”. A cég "teljes mértékben elköteleződött” az MI-vel támogatott hibakeresés mellett.
Érezhető volt a hitetlenkedés, amikor a Mozilla technológiai igazgatója múlt hónapban kijelentette, hogy az MI-vel támogatott sérülékenység-felderítés azt jelenti, hogy „a nulladik napi sérülékenységek napjai meg vannak számlálva”, és hogy „a védőknek végre esélyük van arra, hogy döntő módon győzzenek”. Mindez sokak számára egy túlságosan is ismerős mintát idézett: kiragadni néhány lenyűgöző eredményt, amelyet a mesterséges intelligencia ért el, elhallgatni azokat a részleteket, amelyek árnyaltabb képet mutatnának, majd hagyni, hogy a felhajtás tovább növekedjen.
A szkepticizmust szem előtt tartva a Mozilla most részletes betekintést adott abba, hogyan használta az Anthropic Mythos nevű modelljét, amelyet szoftveres sérülékenységek azonosítására fejlesztettek. A vállalat két hónap alatt 271 Firefox biztonsági hibát talált meg a rendszer segítségével. A Mozilla mérnökei egy blogbejegyzésben azt írták, hogy az áttörést két fő tényező tette lehetővé. Az egyik az MI-modellek fejlődése volt, a másik pedig egy egyedi fejlesztésű „harness”, vagyis vezérlőréteg létrehozása, amely támogatja a Mythost a Firefox forráskódjának elemzése közben.
A mérnökök szerint korábbi próbálkozásaik az MI-vel támogatott sérülékenység-kereséssel tele voltak „nem kívánt zagyvaságokkal”. A folyamat rendszerint úgy működött, hogy valaki utasította az MI-modellt egy adott kódrészlet elemzésére. A modell ezután hihetőnek tűnő hibajelentéseket készített, gyakran példátlan mennyiségben. A probléma azonban az volt, hogy amikor emberi fejlesztők részletesebben megvizsgálták ezeket a jelentéseket, kiderült, hogy az információk jelentős része hallucináció volt. Emiatt a fejlesztőknek végül ugyanúgy jelentős manuális munkát kellett végezniük, mint korábban.
Brian Grinstead, a Mozilla vezető mérnöke elmondta, hogy a Mythosszal végzett munka teljesen más eredményeket hozott. A legfontosabb különbséget az úgynevezett agent harness jelentette, vagyis egy olyan kódréteg, amely körbeveszi a nagy nyelvi modellt, és konkrét feladatokon vezeti végig. Ahhoz azonban, hogy egy ilyen rendszer valóban hasznos legyen, jelentős erőforrásokra van szükség annak testreszabásához. A vezérlőréteget ugyanis az adott projekt sajátos szemantikájához, eszközeihez és folyamataihoz kell igazítani. Grinstead szerint az általuk fejlesztett harness „az a kód, amely irányítja az LLM-et egy cél elérése érdekében. Utasításokat ad a modellnek, például azt, hogy találjon hibát egy adott fájlban, hozzáférést biztosít eszközökhöz, például fájlok olvasásához vagy írásához és tesztesetek futtatásához, majd ciklusban futtatja a rendszert egészen a feladat befejezéséig.”
A harness hozzáférést adott a Mythos számára ugyanazokhoz az eszközökhöz és munkafolyamatokhoz, amelyeket a Mozilla emberi fejlesztői is használnak. Ide tartozott az a speciális Firefox build is, amelyet a vállalat tesztelésre használ. Grinstead részletesebben is elmagyarázta a működést: „Ezekkel a harness rendszerekkel, amennyiben egyértelmű és determinisztikus sikerjelzést vagy ellenőrzési feltételt lehet meghatározni, egyszerűen újra és újra utasíthatjuk a rendszert arra, hogy folytassa a munkát. A mi esetünkben, amikor memóriabiztonsági hibákat keresünk, van egy speciális Firefox buildünk, és ha sikerül összeomlasztani a böngészőt, akkor nyertünk. Az agentet ráirányítjuk egy forráskódfájlra, és azt mondjuk neki: tudjuk, hogy ebben a fájlban van egy hiba, kérlek találd meg. Ezután teszteseteket készít. A meglévő fuzzing rendszereinkkel és eszközeinkkel futtatjuk ezeket a teszteket. A rendszer azt mondja: szerintem itt van egy probléma, ha pontosan így készítem el a HTML-t. Ezután elküldi az eszköznek, amely igennel vagy nemmel válaszol. Ha a válasz igen, akkor további ellenőrzés következik.”
Ez a további ellenőrzés egy második nagy nyelvi modell segítségével történik, amely kiértékeli az első MI által készített eredményeket. Ha az értékelés magas pontszámot ad, akkor a fejlesztők ugyanakkora biztonsággal kezelik az eredményt, mint a hagyományos módszerekkel talált hibákat. „A másik oldalon megjelenő hibák esetében szinte egyáltalán nincsenek téves riasztások” - mondta. A csütörtöki részletes beszámoló részeként a Mozilla nyilvánossá tett 12 teljes Bugzilla jelentést is a 271 sérülékenység közül, amelyeket a Mythos és kisebb részben a Claude Opus 4.6 segítségével találtak meg. A tesztesetek, vagyis azok a HTML vagy más kódrészletek, amelyek előidézik a nem biztonságos memóriaállapotot, minden esetben szerepelnek a dokumentációban, és megfelelnek azoknak a követelményeknek, amelyeket a Mozilla minden Firefox biztonsági sérülékenység esetében alkalmaz.
Legalább egy kutató már csütörtökön úgy nyilatkozott, hogy a jelentések első átnézésre „egészen lenyűgözőek”. Grinstead szerint a különbség az, hogy a harness által vezérelt Mythos elemzése olyan részletességet és bizonyosságot biztosít, amely korábban hiányzott az MI-alapú sérülékenység-keresésből. „Ez az a kulcsfontosságú tényező, amely lehetővé tette számunkra, hogy olyan léptékben dolgozzunk, mint most” - mondta. „Ez ad a mérnök kezébe egy olyan eszközt, amelyre ránézve azt mondhatja: igen, ez valóban tartalmazza a problémát. Ezután iterálhat a kódon, pontosan látja, mikor javította ki a hibát, végül pedig bekerülhet a teszteset a rendszerbe, hogy később ne jelenjen meg újra ugyanaz a probléma.”
A Mozilla MI-vel támogatott sérülékenység-felderítésről tett kijelentései azonban továbbra is komoly vitákat váltanak ki. Sok kritikus már akkor gyanakodni kezdett, amikor a Mozilla nem igényelt CVE-azonosítót a 271 sérülékenység egyikére sem. A vállalat azonban rámutatott, hogy sok más fejlesztőhöz hasonlóan a belsőleg felfedezett hibák esetében általában nem kér külön CVE-bejegyzést. Ehelyett ezeket egyetlen javítócsomag részeként kezelik. Normális esetben az ilyen összesített hibajelentéseket tartalmazó Bugzilla dokumentumok hónapokig rejtve maradnak a javítások kiadása után, hogy megvédjék azokat a felhasználókat, akik lassabban frissítik a szoftvert. Most azonban, hogy a Mozilla nyilvánosságra hozott tizenkét példát, a kritikusok várhatóan azt fogják állítani, hogy ezek csupán gondosan kiválasztott esetek, amelyek elrejtik a kevésbé pontos eredményeket.
A Mythos segítségével talált 271 hiba közül 180 kapta meg a sec-high besorolást, amely a Mozilla legmagasabb kategóriája a belsőleg jelentett sérülékenységek között. Ezek olyan hibák, amelyek normál felhasználói tevékenység során is kihasználhatók, például egy weboldal meglátogatásával. Ennél magasabb besorolás csak a sec-critical kategória, amelyet a nulladik napi sérülékenységek számára tartanak fenn. További 80 hibát sec-moderate, 11-et pedig sec-low besorolással láttak el.
A kritikusok szerint továbbra is fontos az egészséges kételkedés. Az MI-iparban a felhajtás gyakran kulcsszerepet játszik a vállalatok már így is felfújt értékelésének további növelésében. Mivel a Mozilla rendkívül pozitívan nyilatkozott a Mythosról, sokan felteszik a kérdést: mit kap ezért cserébe? A csütörtöki részletes magyarázatok valószínűleg nem lezárják, hanem inkább tovább fokozzák majd a vitát. Grinstead szerint azonban a részletek egyértelműen bizonyítják az MI-vel támogatott hibakeresés hasznosságát, és a Mozilla motivációja egyszerű. „Az emberek egy kicsit kiégtek az elmúlt év MI-s zagyvaságaitól, ezért úgy éreztük, fontos megmutatni valamennyit a munkánkból, megnyitni néhány hibajelentést, és részletesebben beszélni erről, hogy ösztönözzük a további munkát és fenntartsuk a párbeszédet” - mondta. „Nincs itt semmiféle marketingcél. A csapatunk teljes mértékben elköteleződött e megközelítés mellett. A célunk az, hogy magáról a technikáról beszéljünk, nem pedig egy konkrét modellfejlesztőről vagy vállalatról.”
Érezhető volt a hitetlenkedés, amikor a Mozilla technológiai igazgatója múlt hónapban kijelentette, hogy az MI-vel támogatott sérülékenység-felderítés azt jelenti, hogy „a nulladik napi sérülékenységek napjai meg vannak számlálva”, és hogy „a védőknek végre esélyük van arra, hogy döntő módon győzzenek”. Mindez sokak számára egy túlságosan is ismerős mintát idézett: kiragadni néhány lenyűgöző eredményt, amelyet a mesterséges intelligencia ért el, elhallgatni azokat a részleteket, amelyek árnyaltabb képet mutatnának, majd hagyni, hogy a felhajtás tovább növekedjen.
A szkepticizmust szem előtt tartva a Mozilla most részletes betekintést adott abba, hogyan használta az Anthropic Mythos nevű modelljét, amelyet szoftveres sérülékenységek azonosítására fejlesztettek. A vállalat két hónap alatt 271 Firefox biztonsági hibát talált meg a rendszer segítségével. A Mozilla mérnökei egy blogbejegyzésben azt írták, hogy az áttörést két fő tényező tette lehetővé. Az egyik az MI-modellek fejlődése volt, a másik pedig egy egyedi fejlesztésű „harness”, vagyis vezérlőréteg létrehozása, amely támogatja a Mythost a Firefox forráskódjának elemzése közben.
A mérnökök szerint korábbi próbálkozásaik az MI-vel támogatott sérülékenység-kereséssel tele voltak „nem kívánt zagyvaságokkal”. A folyamat rendszerint úgy működött, hogy valaki utasította az MI-modellt egy adott kódrészlet elemzésére. A modell ezután hihetőnek tűnő hibajelentéseket készített, gyakran példátlan mennyiségben. A probléma azonban az volt, hogy amikor emberi fejlesztők részletesebben megvizsgálták ezeket a jelentéseket, kiderült, hogy az információk jelentős része hallucináció volt. Emiatt a fejlesztőknek végül ugyanúgy jelentős manuális munkát kellett végezniük, mint korábban.
Brian Grinstead, a Mozilla vezető mérnöke elmondta, hogy a Mythosszal végzett munka teljesen más eredményeket hozott. A legfontosabb különbséget az úgynevezett agent harness jelentette, vagyis egy olyan kódréteg, amely körbeveszi a nagy nyelvi modellt, és konkrét feladatokon vezeti végig. Ahhoz azonban, hogy egy ilyen rendszer valóban hasznos legyen, jelentős erőforrásokra van szükség annak testreszabásához. A vezérlőréteget ugyanis az adott projekt sajátos szemantikájához, eszközeihez és folyamataihoz kell igazítani. Grinstead szerint az általuk fejlesztett harness „az a kód, amely irányítja az LLM-et egy cél elérése érdekében. Utasításokat ad a modellnek, például azt, hogy találjon hibát egy adott fájlban, hozzáférést biztosít eszközökhöz, például fájlok olvasásához vagy írásához és tesztesetek futtatásához, majd ciklusban futtatja a rendszert egészen a feladat befejezéséig.”
A harness hozzáférést adott a Mythos számára ugyanazokhoz az eszközökhöz és munkafolyamatokhoz, amelyeket a Mozilla emberi fejlesztői is használnak. Ide tartozott az a speciális Firefox build is, amelyet a vállalat tesztelésre használ. Grinstead részletesebben is elmagyarázta a működést: „Ezekkel a harness rendszerekkel, amennyiben egyértelmű és determinisztikus sikerjelzést vagy ellenőrzési feltételt lehet meghatározni, egyszerűen újra és újra utasíthatjuk a rendszert arra, hogy folytassa a munkát. A mi esetünkben, amikor memóriabiztonsági hibákat keresünk, van egy speciális Firefox buildünk, és ha sikerül összeomlasztani a böngészőt, akkor nyertünk. Az agentet ráirányítjuk egy forráskódfájlra, és azt mondjuk neki: tudjuk, hogy ebben a fájlban van egy hiba, kérlek találd meg. Ezután teszteseteket készít. A meglévő fuzzing rendszereinkkel és eszközeinkkel futtatjuk ezeket a teszteket. A rendszer azt mondja: szerintem itt van egy probléma, ha pontosan így készítem el a HTML-t. Ezután elküldi az eszköznek, amely igennel vagy nemmel válaszol. Ha a válasz igen, akkor további ellenőrzés következik.”
Ez a további ellenőrzés egy második nagy nyelvi modell segítségével történik, amely kiértékeli az első MI által készített eredményeket. Ha az értékelés magas pontszámot ad, akkor a fejlesztők ugyanakkora biztonsággal kezelik az eredményt, mint a hagyományos módszerekkel talált hibákat. „A másik oldalon megjelenő hibák esetében szinte egyáltalán nincsenek téves riasztások” - mondta. A csütörtöki részletes beszámoló részeként a Mozilla nyilvánossá tett 12 teljes Bugzilla jelentést is a 271 sérülékenység közül, amelyeket a Mythos és kisebb részben a Claude Opus 4.6 segítségével találtak meg. A tesztesetek, vagyis azok a HTML vagy más kódrészletek, amelyek előidézik a nem biztonságos memóriaállapotot, minden esetben szerepelnek a dokumentációban, és megfelelnek azoknak a követelményeknek, amelyeket a Mozilla minden Firefox biztonsági sérülékenység esetében alkalmaz.
Legalább egy kutató már csütörtökön úgy nyilatkozott, hogy a jelentések első átnézésre „egészen lenyűgözőek”. Grinstead szerint a különbség az, hogy a harness által vezérelt Mythos elemzése olyan részletességet és bizonyosságot biztosít, amely korábban hiányzott az MI-alapú sérülékenység-keresésből. „Ez az a kulcsfontosságú tényező, amely lehetővé tette számunkra, hogy olyan léptékben dolgozzunk, mint most” - mondta. „Ez ad a mérnök kezébe egy olyan eszközt, amelyre ránézve azt mondhatja: igen, ez valóban tartalmazza a problémát. Ezután iterálhat a kódon, pontosan látja, mikor javította ki a hibát, végül pedig bekerülhet a teszteset a rendszerbe, hogy később ne jelenjen meg újra ugyanaz a probléma.”
A Mozilla MI-vel támogatott sérülékenység-felderítésről tett kijelentései azonban továbbra is komoly vitákat váltanak ki. Sok kritikus már akkor gyanakodni kezdett, amikor a Mozilla nem igényelt CVE-azonosítót a 271 sérülékenység egyikére sem. A vállalat azonban rámutatott, hogy sok más fejlesztőhöz hasonlóan a belsőleg felfedezett hibák esetében általában nem kér külön CVE-bejegyzést. Ehelyett ezeket egyetlen javítócsomag részeként kezelik. Normális esetben az ilyen összesített hibajelentéseket tartalmazó Bugzilla dokumentumok hónapokig rejtve maradnak a javítások kiadása után, hogy megvédjék azokat a felhasználókat, akik lassabban frissítik a szoftvert. Most azonban, hogy a Mozilla nyilvánosságra hozott tizenkét példát, a kritikusok várhatóan azt fogják állítani, hogy ezek csupán gondosan kiválasztott esetek, amelyek elrejtik a kevésbé pontos eredményeket.
A Mythos segítségével talált 271 hiba közül 180 kapta meg a sec-high besorolást, amely a Mozilla legmagasabb kategóriája a belsőleg jelentett sérülékenységek között. Ezek olyan hibák, amelyek normál felhasználói tevékenység során is kihasználhatók, például egy weboldal meglátogatásával. Ennél magasabb besorolás csak a sec-critical kategória, amelyet a nulladik napi sérülékenységek számára tartanak fenn. További 80 hibát sec-moderate, 11-et pedig sec-low besorolással láttak el.
A kritikusok szerint továbbra is fontos az egészséges kételkedés. Az MI-iparban a felhajtás gyakran kulcsszerepet játszik a vállalatok már így is felfújt értékelésének további növelésében. Mivel a Mozilla rendkívül pozitívan nyilatkozott a Mythosról, sokan felteszik a kérdést: mit kap ezért cserébe? A csütörtöki részletes magyarázatok valószínűleg nem lezárják, hanem inkább tovább fokozzák majd a vitát. Grinstead szerint azonban a részletek egyértelműen bizonyítják az MI-vel támogatott hibakeresés hasznosságát, és a Mozilla motivációja egyszerű. „Az emberek egy kicsit kiégtek az elmúlt év MI-s zagyvaságaitól, ezért úgy éreztük, fontos megmutatni valamennyit a munkánkból, megnyitni néhány hibajelentést, és részletesebben beszélni erről, hogy ösztönözzük a további munkát és fenntartsuk a párbeszédet” - mondta. „Nincs itt semmiféle marketingcél. A csapatunk teljes mértékben elköteleződött e megközelítés mellett. A célunk az, hogy magáról a technikáról beszéljünk, nem pedig egy konkrét modellfejlesztőről vagy vállalatról.”