SG.hu·
Utcán közel sem olyan jó az arcfelismerés pontossága, mint a laboratóriumban
Az arcfelismerési technológiát olyan referencia tesztek alapján vezették be nyilvánosan, amelyek a laboratóriumi körülmények között elért teljesítményt tükrözik, de egyes tudósok szerint a valós teljesítmény nem felel meg ennek.
A Tech Policy Press weboldalon megjelent cikkben az Oxfordi Egyetem tudósai, Teo Canmetin, Juliette Zaccour és Luc Rocher az arcfelismerés nyilvános kudarcaira hivatkoznak, mint bizonyíték arra, hogy ezek a rendszerek nem teljesítenek olyan jól, mint azt az értékelési statisztikák sugallják. Az akadémikusok szerint az amerikai Nemzeti Szabványügyi és Technológiai Intézet (NIST) arcfelismerési technológia értékelése (FRTE) - egy teljesítmény-benchmark - csak arra szolgált, hogy igazolja az MI-rendszerek bevezetését, beleértve a brit rendőrség által bevezetett technológiát is, amely folyamatos viták tárgyát képezi. Szerintük a NIST benchmarkjának komoly problémái vannak.
Először is, állításuk szerint az értékelés nem tükrözi a valós körülményeket, ahol a képek elmosódottak vagy homályosak lehetnek. Másodszor, szerintük a használt adatkészletek túl kicsik, ami nagyobb eséllyel vezet téves azonosításhoz. Harmadszor, állításuk szerint a referenciaadatkészletek nem tükrözik a valós demográfiai adatokat. Ezek a problémák a valós világban kudarcokhoz vezetnek, például egy detroiti férfi téves letartóztatásához 2020-ban, amely hibás arcfelismerésen alapult, vagy egy londoni késes bűncselekmények megelőzésével foglalkozó aktivista téves azonosításához egy élő arcfelismerő technológia által, amely az Essex Egyetem tanulmánya szerint 42 arcból csak nyolcat tudott pontosan azonosítani.
„A legújabb és legjobban teljesítő modellek esetében a szabványosított értékelések jelenleg 99,95 százalékos pontosságot jeleznek” - írják a szerzők. „Kontextusból kiragadva ezek a számok arra utalnak, hogy az arcfelismerés rendkívül pontos lett. De van egy probléma: ezek a szinte tökéletes számok nem tükrözik a valóságot. Az arcfelismerés a valós körülmények között lényegesen kevésbé pontosnak tűnik.”
0820arc4.jpg A Pennsylvaniai Egyetem kriminológusai és informatikusai által 2025 májusában készített kutatási tanulmány, „Az arcfelismerési technológia pontossága és méltányossága alacsony minőségű rendőrségi képeken: kísérlet szintetikus arcokkal” alátámasztja az oxfordi tudósok állításait arról, hogy a képminőség romlásával a teljesítmény is romlik. "Kísérletünk során azt találtuk, hogy az arcfelismerési technológia (FRT) teljesítménye romlik rossz képminőség esetén, különösen elmosódás, pózváltozás és csökkent felbontás esetén, és hogy ez a romlás nem egyenletesen oszlik el a demográfiai csoportok között” – állapították meg a UPenn kutatói. „A hamis pozitív és hamis negatív arányok a képminőség romlásával nőnek, ami aránytalanul érinti a marginalizált faji és nemi csoportokhoz tartozó személyeket.” Ugyanakkor a UPenn tudósai megjegyzik, hogy az arcfelismerés pontossága „jelentősen magasabb, mint sok hagyományos kriminalisztikai módszeré”, különösen az ujjlenyomatok és a kriminalisztikai fegyverhasonlításé.
Az algoritmus pontossága azonban csak egy szempont az arcfelismeréssel kapcsolatos aggályok közül. A technológia rendészeti alkalmazásáról szóló 2023-as amerikai kormányzati jelentés megállapította, hogy az amerikai ügynökségek megfelelő képzés és polgári jogi szabályozás nélkül alkalmazzák a technológiát - ami a jelenlegi amerikai letartóztatási gyakorlat fényében kétségkívül furcsának tűnik. Az ügynökségi szabályok hiányának következményei láthatók az Algorithmic Justice League legutóbbi „Comply To Fly?” jelentésében, amely megállapította, hogy az amerikai közlekedésbiztonsági hatóság (TSA) az utasok tájékozott hozzájárulása nélkül használja a technikát. A jelentés szerint az utasokat nem tájékoztatták megfelelően arról, hogy elutasíthatják azt, és az utasok kétharmada arról számolt be, hogy a TSA tisztviselői ellenségesen viselkedtek velük, amikor megpróbálták ezt megtenni.
Az amerikai kormány szabványügyi szerve hétfőn irányelveket tett közzé az arcátalakítás felismeréséről, amelynek során több arcot digitálisan kombinálnak egy fiktív arc összetételének létrehozása érdekében, potenciálisan az ilyen alapú hitelesítési rendszerek megtévesztésének céljából. Alyxaundria Sanford 2024 februárjában az Innocence Project számára készített jelentése visszhangozza az oxfordi tudósok által felvetett aggályokat a torzítás lehetőségével kapcsolatban. A jelentés megjegyzi: „Legalább hét olyan esetet erősítettek meg, amikor az arcfelismerő technológia használata téves azonosításhoz vezetett, ezek közül hat esetben tévesen vádoltak meg fekete bőrű embereket. Az Electronic Frontier Foundation idén két további nevet adott hozzá a listához, akiket tévesen tartóztattak le St. Louisban, illetve Miamiban, hibás azonosítás következtében. Az érdekvédelmi csoport azzal érvel, hogy „az arcfelismerés, függetlenül attól, hogy teljesen pontos-e vagy sem, túl veszélyes a rendőrség számára, ezért használatát be kell tiltani”.
A Tech Policy Press weboldalon megjelent cikkben az Oxfordi Egyetem tudósai, Teo Canmetin, Juliette Zaccour és Luc Rocher az arcfelismerés nyilvános kudarcaira hivatkoznak, mint bizonyíték arra, hogy ezek a rendszerek nem teljesítenek olyan jól, mint azt az értékelési statisztikák sugallják. Az akadémikusok szerint az amerikai Nemzeti Szabványügyi és Technológiai Intézet (NIST) arcfelismerési technológia értékelése (FRTE) - egy teljesítmény-benchmark - csak arra szolgált, hogy igazolja az MI-rendszerek bevezetését, beleértve a brit rendőrség által bevezetett technológiát is, amely folyamatos viták tárgyát képezi. Szerintük a NIST benchmarkjának komoly problémái vannak.
Először is, állításuk szerint az értékelés nem tükrözi a valós körülményeket, ahol a képek elmosódottak vagy homályosak lehetnek. Másodszor, szerintük a használt adatkészletek túl kicsik, ami nagyobb eséllyel vezet téves azonosításhoz. Harmadszor, állításuk szerint a referenciaadatkészletek nem tükrözik a valós demográfiai adatokat. Ezek a problémák a valós világban kudarcokhoz vezetnek, például egy detroiti férfi téves letartóztatásához 2020-ban, amely hibás arcfelismerésen alapult, vagy egy londoni késes bűncselekmények megelőzésével foglalkozó aktivista téves azonosításához egy élő arcfelismerő technológia által, amely az Essex Egyetem tanulmánya szerint 42 arcból csak nyolcat tudott pontosan azonosítani.
„A legújabb és legjobban teljesítő modellek esetében a szabványosított értékelések jelenleg 99,95 százalékos pontosságot jeleznek” - írják a szerzők. „Kontextusból kiragadva ezek a számok arra utalnak, hogy az arcfelismerés rendkívül pontos lett. De van egy probléma: ezek a szinte tökéletes számok nem tükrözik a valóságot. Az arcfelismerés a valós körülmények között lényegesen kevésbé pontosnak tűnik.”
0820arc4.jpg A Pennsylvaniai Egyetem kriminológusai és informatikusai által 2025 májusában készített kutatási tanulmány, „Az arcfelismerési technológia pontossága és méltányossága alacsony minőségű rendőrségi képeken: kísérlet szintetikus arcokkal” alátámasztja az oxfordi tudósok állításait arról, hogy a képminőség romlásával a teljesítmény is romlik. "Kísérletünk során azt találtuk, hogy az arcfelismerési technológia (FRT) teljesítménye romlik rossz képminőség esetén, különösen elmosódás, pózváltozás és csökkent felbontás esetén, és hogy ez a romlás nem egyenletesen oszlik el a demográfiai csoportok között” – állapították meg a UPenn kutatói. „A hamis pozitív és hamis negatív arányok a képminőség romlásával nőnek, ami aránytalanul érinti a marginalizált faji és nemi csoportokhoz tartozó személyeket.” Ugyanakkor a UPenn tudósai megjegyzik, hogy az arcfelismerés pontossága „jelentősen magasabb, mint sok hagyományos kriminalisztikai módszeré”, különösen az ujjlenyomatok és a kriminalisztikai fegyverhasonlításé.
Az algoritmus pontossága azonban csak egy szempont az arcfelismeréssel kapcsolatos aggályok közül. A technológia rendészeti alkalmazásáról szóló 2023-as amerikai kormányzati jelentés megállapította, hogy az amerikai ügynökségek megfelelő képzés és polgári jogi szabályozás nélkül alkalmazzák a technológiát - ami a jelenlegi amerikai letartóztatási gyakorlat fényében kétségkívül furcsának tűnik. Az ügynökségi szabályok hiányának következményei láthatók az Algorithmic Justice League legutóbbi „Comply To Fly?” jelentésében, amely megállapította, hogy az amerikai közlekedésbiztonsági hatóság (TSA) az utasok tájékozott hozzájárulása nélkül használja a technikát. A jelentés szerint az utasokat nem tájékoztatták megfelelően arról, hogy elutasíthatják azt, és az utasok kétharmada arról számolt be, hogy a TSA tisztviselői ellenségesen viselkedtek velük, amikor megpróbálták ezt megtenni.
Az amerikai kormány szabványügyi szerve hétfőn irányelveket tett közzé az arcátalakítás felismeréséről, amelynek során több arcot digitálisan kombinálnak egy fiktív arc összetételének létrehozása érdekében, potenciálisan az ilyen alapú hitelesítési rendszerek megtévesztésének céljából. Alyxaundria Sanford 2024 februárjában az Innocence Project számára készített jelentése visszhangozza az oxfordi tudósok által felvetett aggályokat a torzítás lehetőségével kapcsolatban. A jelentés megjegyzi: „Legalább hét olyan esetet erősítettek meg, amikor az arcfelismerő technológia használata téves azonosításhoz vezetett, ezek közül hat esetben tévesen vádoltak meg fekete bőrű embereket. Az Electronic Frontier Foundation idén két további nevet adott hozzá a listához, akiket tévesen tartóztattak le St. Louisban, illetve Miamiban, hibás azonosítás következtében. Az érdekvédelmi csoport azzal érvel, hogy „az arcfelismerés, függetlenül attól, hogy teljesen pontos-e vagy sem, túl veszélyes a rendőrség számára, ezért használatát be kell tiltani”.