Egy honlapon kipróbálható, hogy az egyes szoftverek mit gondolnak a fotóját feltöltő személyről.

Azt már 2017 decemberében ismertette Joy Buolamwini, az MIT Media Lab kutatója, hogy az algoritmusok előítéletesek. A szakember az Algorithmic Justice League vezetője, a szervezet a gépi tanuláson alapuló rendszerek előítéletei és sztereotípiái ellen harcol. Azt pedig, hogy mennyire veszélyes a jelenlegi helyzet, jól példázta tavaly júliusban az az eset, amikor bűnözőnek ismert fel 3 szenátort és 25 képviselőt az Amazon Rekognition nevű arcfelismerő szoftvere. Nem véletlen az sem, hogy az IBM egy olyan programot fejleszt, amely a mesterséges intelligenciák előítéletei ellen fog küzdeni és azt vizsgálja majd, hogy a technológia által hozott döntések előítéletesek-e és ha igen, mennyire. Szintén megoldásra vár az a probléma, hogy a képfelismerő algoritmusok szexisták: amennyiben egy konyhát látnak, akkor azt automatikusan a nőkkel hozzák kapcsolatba.

Az arcfelismerő rendszerek napjainkban egyre elterjedtebbek és ennek komoly hatásai lehetnek az emberek életére. Kínában például egy fiatal nő sebészeti úton megváltoztatta az orrát és a beavatkozás után sem az online banki szolgáltatást nem tudta használni, sem a szállodákban nem tudott szobát foglalni és a vonatokra sem tudott jegyet vásárolni. Az ok egyszerű volt: a módosított orra, vagyis a megváltozott külseje miatt a rendszerek nem ismerték fel.

Az imagenet-roulette.paglen.com oldalon bárki kipróbálhatja, hogy mit gondolna róla egy algoritmus, ha a fényképe felkerülne a világhálóra és szembesülne azzal egy arcfelismerő rendszer. A honlap része a Training Humans című művészeti kiállításnak, amelyet a múlt héten nyitottak meg a milánói Osservatorio Fondazione Prada galériában. Trevor Paglen művész és Kate Crawford, az AI Now mesterséges intelligencia kutatóintézet igazgatója azt akarták bemutatni, hogy miként értékelik ki és becsülik fel az embereket a láthatatlan rendszerek. A kísérletben eddig több ezer felhasználó vett részt. Érdekesség, hogy a nők fotói alatt a leggyakrabban a "szexi" vagy az "anya" kifejezés volt olvasható.

A honlap hátterét az Imagenet nevű adatbázis biztosítja. Ez az egyik leggyakrabban használt olyan platform, amelyet a vállalatok a mesterséges intelligenciára épülő megoldásaik képzésére alkalmaznak. Az Imagenet rendszerében felvételek milliói találhatók meg. A képeket rosszul megfizetett munkatársak töltik fel, akik az előítéleteiket is betáplálják az adatbázisba. A mostani kísérlet azt eredményezte, hogy az Imagenet bejelentette, hogy a felvételek felét törli.

Paglen és Crawford szerint azonban további problémát jelent, hogy a számítógépes rendszereket arra tanítják meg, hogy az emberek érzelmeit hat különböző arckifejezés segítségével ismerjék fel. Ez nagyon hasonlít arra, mint amikor a 19. században például a koponya formája alapján próbálták meg kikövetkeztetni valakinek a tulajdonságait.