SG.hu·
Az algoritmusok átláthatóságáról dönt a spanyol Legfelsőbb Bíróság
A spanyol Legfelsőbb Bíróság előtti szóbeli meghallgatáson érvek hangzanak el arról, hogy nyilvánosságra kell-e hozni az automatizált döntések meghozatalának mechanizmusait, vagy átláthatatlanul kell-e tartani azokat.
Joguk van-e az állampolgároknak ahhoz, hogy megismerjék azt a matematikai képletet, amely alapján eldöntik, hogy jogosultak-e állami támogatásra? Ha az állam úgy dönt, hogy egy algoritmusra bízza a támogatások odaítélését, milyen információkat kell közölnie ennek a eszköznek a működéséről? Ezek azok a alapvető kérdések, amelyek a Bosco-ügy hátterében állnak, utalva arra az algoritmusra, amely kiválasztja azokat a profilokat, amelyek megfelelnek a szociális támogatásra, azaz a villanyszámla fizetéséhez nyújtott támogatásra való jogosultság feltételeinek.
"Egy demokráciában nem elfogadható a polgárok jogait szabályozó forráskód titkossága” – mondta Javier de la Cueva ügyvéd a Legfelsőbb Bíróság szóbeli tárgyalásán tartott nyitóbeszédében. De la Cueva a Civio átláthatóságot védő szervezetet képviseli, amely a Legfelsőbb Bírósághoz fellebbezést nyújtott be, hogy a kormány tegye nyilvánossá a Bosco forráskódját, miután az előző fokon elutasították a kérelmet.
A demokratikus jogállam egy írásos absztrakció. Jelentőségét az alkotmányok és törvények léte adja. Azonban az elmúlt 20-30 évben a jogrendszer felépítésének alapjául szolgáló természetes nyelv egy másik, nagyon eltérő nyelvvel él együtt, vagy éppen felváltja azt: az algoritmusokat alkotó kódsorokkal. Spanyolországban, mint más országokban is, automatizált módon hoznak döntéseket, amelyek hatással vannak a közpénzek elosztására.
A Civio 2018-ban végzett kutatása feltárta, hogy a rászoruló családoknak a villanyszámla fizetéséhez nyújtott állami támogatás - az úgynevezett szociális támogatás -, nem jutott el azokhoz, akik minden feltételnek megfeleltek (többek között alacsony jövedelem, nemi erőszak vagy terrorizmus áldozata). A Bosco algoritmus, amelynek feladata az adatok szűrése és a támogatás elosztása volt, hibásan működött. A közigazgatás elismerte hibáját, de nem volt hajlandó nyilvánosságra hozni az algoritmus forráskódját, vagyis a program belső működését. Az aktivisták a közigazgatási bírósághoz fordultak, de az úgy döntött, hogy a kód nyilvánosságra hozatala sértené a kormány által birtokolt algoritmus szellemi tulajdonjogát, és veszélyeztetné mind a közbiztonságot, mind a nemzetvédelmet. A Civio a Nemzeti Bírósághoz fordult, és miután ott is elutasították a keresetet, a Legfelsőbb Bírósághoz.
"Azt tapasztaljuk, hogy a szellemi tulajdonhoz fűződő jogot, amelyet mi semmilyen esetben sem vitattunk, arra használják, hogy eltitkolják előIünk, hogyan működik a közigazgatás” – mondta De la Cueva a tárgyaláson. Majd hozzátette: „Hogyan lehet jogbiztonságunk, ha nem tudjuk, hogyan működik az algoritmus? Hogyan tudják a vezetők ellenőrizni, hogy a közigazgatás helyesen jár-e el, ha ők sem tudják?” A Civio szerint a Legfelsőbb Bíróság döntése „meg fogja határozni, hogy vakon kell-e bízni a jelenlegi és jövőbeli „fekete dobozok” hatalmában a jogaik tekintetében, vagy lesz-e lehetőségük azok kivizsgálására és ellenőrzésére”.
„A Bosco csak egy eszköz, amellyel gyorsan és névtelenül igazolható a polgárok követelményeinek teljesítése” – mondta sorra kerülve az állami ügyvéd, aki az Ökológiai Átmenet és Demográfiai Kihívás Minisztérium (Ministerio de Transición Ecológica y el Reto Demográfico) érdekeit védi. Az ügyvéd hangsúlyozta, hogy a forráskód megnyitása veszélybe sodorhatja az érintettek személyes adatait. "Nem tartjuk szükségesnek, hogy hozzáférést biztosítsunk a forráskódhoz, hogy az adminisztrációt esetleges felelősségre vonhassuk” – tette hozzá. Bevezetőjét a következő kulcsfontosságú kérdéssel zárta: "A Bosco forráskódjához való hozzáférés biztosítása azt jelenti, hogy más, az adminisztráció által használt programokat is meg kell nyitni, mint például a Minerva (amely az összeférhetetlenség kockázatát elemzi) vagy a LexNET (a igazságszolgáltatás által használt kommunikációs rendszer)?”
Ez az első alkalom, hogy egy algoritmikus átláthatósággal kapcsolatos ügy a spanyol Legfelsőbb Bíróság elé került. A meghozott ítélet jelentősége mások számára is meghatározó lehet. "Az ítéletnek nemcsak nemzeti hatásai lesznek, hanem referenciaként szolgál majd a Nyugat dilemmájával való szembenézéshez, hogy miként értékeljük a számítógépes nyelvet a jogrendszerben” - mondta De la Cueva.
A felek előadásait követően a bírák az államügyészség erős érvelésére voltak kíváncsiak: a forráskód megnyitása veszélyt jelenthet a biztonságra. Ha a minisztérium hangsúlyozza a Bosco instrumentális jellegét, és azt mondja, hogy nem ő hozza meg a végső döntést a támogatás odaítélésében, akkor hogyan érinti a megnyitás a biztonságot? "A Bosco az adóhivatalba és más hivatalokba kapcsolódik, hogy ellenőrizze az érzékeny adatokat, amelyek veszélybe kerülhetnek” - válaszolta az ügyvéd. "Ez olyan lenne, mintha beengednénk valakit egy épületbe, és megmondanánk neki, hogy melyik zárak vannak feltörve, és melyek működnek. "A spanyol adatvédelmi ügynökség nem ezt mondja” - válaszolta De la Cueva. „A Bosco-forráskód csak a támogatás nyújtásához meghatározott súlyokról és feltételekről beszél; ahhoz, hogy hozzájusson ezekhez a személyes adatokhoz, az érintett ügynökségektől kell kérni azokat.”
"Most sokkal optimistább vagyok, mint a tárgyalás kezdete előtt, mert úgy gondolom, hogy a bírák tisztában vannak azzal, hogy ez az ügy túlmutat a Boscón, az összes olyan számítógépes programra kiterjed, amely minket érintő döntéseket hoz” - mondta el Eva Belmonte, a Civio társigazgatója. "Nagyon meglepett, hogy az állami ügyvéd hazudott: azt mondta, hogy nem a Bosco hozza meg a végső döntést, holott az AEPD akkreditációja szerint igen”. A döntés várhatóan augusztus táján válik ismertté.
Joguk van-e az állampolgároknak ahhoz, hogy megismerjék azt a matematikai képletet, amely alapján eldöntik, hogy jogosultak-e állami támogatásra? Ha az állam úgy dönt, hogy egy algoritmusra bízza a támogatások odaítélését, milyen információkat kell közölnie ennek a eszköznek a működéséről? Ezek azok a alapvető kérdések, amelyek a Bosco-ügy hátterében állnak, utalva arra az algoritmusra, amely kiválasztja azokat a profilokat, amelyek megfelelnek a szociális támogatásra, azaz a villanyszámla fizetéséhez nyújtott támogatásra való jogosultság feltételeinek.
"Egy demokráciában nem elfogadható a polgárok jogait szabályozó forráskód titkossága” – mondta Javier de la Cueva ügyvéd a Legfelsőbb Bíróság szóbeli tárgyalásán tartott nyitóbeszédében. De la Cueva a Civio átláthatóságot védő szervezetet képviseli, amely a Legfelsőbb Bírósághoz fellebbezést nyújtott be, hogy a kormány tegye nyilvánossá a Bosco forráskódját, miután az előző fokon elutasították a kérelmet.
A demokratikus jogállam egy írásos absztrakció. Jelentőségét az alkotmányok és törvények léte adja. Azonban az elmúlt 20-30 évben a jogrendszer felépítésének alapjául szolgáló természetes nyelv egy másik, nagyon eltérő nyelvvel él együtt, vagy éppen felváltja azt: az algoritmusokat alkotó kódsorokkal. Spanyolországban, mint más országokban is, automatizált módon hoznak döntéseket, amelyek hatással vannak a közpénzek elosztására.
A Civio 2018-ban végzett kutatása feltárta, hogy a rászoruló családoknak a villanyszámla fizetéséhez nyújtott állami támogatás - az úgynevezett szociális támogatás -, nem jutott el azokhoz, akik minden feltételnek megfeleltek (többek között alacsony jövedelem, nemi erőszak vagy terrorizmus áldozata). A Bosco algoritmus, amelynek feladata az adatok szűrése és a támogatás elosztása volt, hibásan működött. A közigazgatás elismerte hibáját, de nem volt hajlandó nyilvánosságra hozni az algoritmus forráskódját, vagyis a program belső működését. Az aktivisták a közigazgatási bírósághoz fordultak, de az úgy döntött, hogy a kód nyilvánosságra hozatala sértené a kormány által birtokolt algoritmus szellemi tulajdonjogát, és veszélyeztetné mind a közbiztonságot, mind a nemzetvédelmet. A Civio a Nemzeti Bírósághoz fordult, és miután ott is elutasították a keresetet, a Legfelsőbb Bírósághoz.
"Azt tapasztaljuk, hogy a szellemi tulajdonhoz fűződő jogot, amelyet mi semmilyen esetben sem vitattunk, arra használják, hogy eltitkolják előIünk, hogyan működik a közigazgatás” – mondta De la Cueva a tárgyaláson. Majd hozzátette: „Hogyan lehet jogbiztonságunk, ha nem tudjuk, hogyan működik az algoritmus? Hogyan tudják a vezetők ellenőrizni, hogy a közigazgatás helyesen jár-e el, ha ők sem tudják?” A Civio szerint a Legfelsőbb Bíróság döntése „meg fogja határozni, hogy vakon kell-e bízni a jelenlegi és jövőbeli „fekete dobozok” hatalmában a jogaik tekintetében, vagy lesz-e lehetőségük azok kivizsgálására és ellenőrzésére”.
„A Bosco csak egy eszköz, amellyel gyorsan és névtelenül igazolható a polgárok követelményeinek teljesítése” – mondta sorra kerülve az állami ügyvéd, aki az Ökológiai Átmenet és Demográfiai Kihívás Minisztérium (Ministerio de Transición Ecológica y el Reto Demográfico) érdekeit védi. Az ügyvéd hangsúlyozta, hogy a forráskód megnyitása veszélybe sodorhatja az érintettek személyes adatait. "Nem tartjuk szükségesnek, hogy hozzáférést biztosítsunk a forráskódhoz, hogy az adminisztrációt esetleges felelősségre vonhassuk” – tette hozzá. Bevezetőjét a következő kulcsfontosságú kérdéssel zárta: "A Bosco forráskódjához való hozzáférés biztosítása azt jelenti, hogy más, az adminisztráció által használt programokat is meg kell nyitni, mint például a Minerva (amely az összeférhetetlenség kockázatát elemzi) vagy a LexNET (a igazságszolgáltatás által használt kommunikációs rendszer)?”
Ez az első alkalom, hogy egy algoritmikus átláthatósággal kapcsolatos ügy a spanyol Legfelsőbb Bíróság elé került. A meghozott ítélet jelentősége mások számára is meghatározó lehet. "Az ítéletnek nemcsak nemzeti hatásai lesznek, hanem referenciaként szolgál majd a Nyugat dilemmájával való szembenézéshez, hogy miként értékeljük a számítógépes nyelvet a jogrendszerben” - mondta De la Cueva.
A felek előadásait követően a bírák az államügyészség erős érvelésére voltak kíváncsiak: a forráskód megnyitása veszélyt jelenthet a biztonságra. Ha a minisztérium hangsúlyozza a Bosco instrumentális jellegét, és azt mondja, hogy nem ő hozza meg a végső döntést a támogatás odaítélésében, akkor hogyan érinti a megnyitás a biztonságot? "A Bosco az adóhivatalba és más hivatalokba kapcsolódik, hogy ellenőrizze az érzékeny adatokat, amelyek veszélybe kerülhetnek” - válaszolta az ügyvéd. "Ez olyan lenne, mintha beengednénk valakit egy épületbe, és megmondanánk neki, hogy melyik zárak vannak feltörve, és melyek működnek. "A spanyol adatvédelmi ügynökség nem ezt mondja” - válaszolta De la Cueva. „A Bosco-forráskód csak a támogatás nyújtásához meghatározott súlyokról és feltételekről beszél; ahhoz, hogy hozzájusson ezekhez a személyes adatokhoz, az érintett ügynökségektől kell kérni azokat.”
"Most sokkal optimistább vagyok, mint a tárgyalás kezdete előtt, mert úgy gondolom, hogy a bírák tisztában vannak azzal, hogy ez az ügy túlmutat a Boscón, az összes olyan számítógépes programra kiterjed, amely minket érintő döntéseket hoz” - mondta el Eva Belmonte, a Civio társigazgatója. "Nagyon meglepett, hogy az állami ügyvéd hazudott: azt mondta, hogy nem a Bosco hozza meg a végső döntést, holott az AEPD akkreditációja szerint igen”. A döntés várhatóan augusztus táján válik ismertté.