Balázs Richárd

Robotok az etika csapdájában

Alan Winfield, a Bristoli Robot Laboratórium kutatója etikai csapdát épített egy robotnak. Az eredmény őt is megdöbbentette.

A kísérletben Winfield és munkatársai arra programoztak egy robotot, hogy megóvjon más, az embereket helyettesítő automatákat egy balesettől. Ez gyakorlatilag az Isaac Asimov által megalkotott robotika első törvényének leegyszerűsített változata, mely szerint egy robotnak nem szabad kárt okoznia emberi lényben, vagy tétlenül tűrnie, hogy emberi lény bármilyen kárt szenvedjen.

Eleinte a robot sikerrel teljesítette feladatát, ahogy az embert megszemélyesítő eszköz a baleset helyszínéül szolgáló lyuk felé tartott, a robot odasietett és meglökve letérítette a másik gépet az útvonaláról, ami így nem esett bele a lyukba. Azonban amikor a kutatók beállítottak egy másik automatát, ami az elsővel egyszerre gördült ugyanazon lyuk felé, a robotnak döntenie kellett. Volt, amikor sikerült megmentenie az egyik „embert", miközben a másik a lyukban végezte, sőt néha mindkettőt eltérítette, a kísérletek közel felénél azonban annyi időt töltött a döntéshozatallal, hogy mindkét „ember” elpusztult.

Winfield „etikai zombinak" titulálta robotját, aminek nincs igazi választása. Bár megmenthet másokat egy beprogramozott magatartási kódex szerint, nem érti a tettei mögötti indítékot. Winfield elismerte, míg egykor úgy gondolta, egy robot képtelen az erkölcsi döntésekre, ma ott tart, hogy egyáltalán nem tud választ adni erre a kérdésre, pedig ahogy a robotok egyre jobban beépülnek mindennapi életünkbe, egyre nagyobb szükség van a válaszra.


Egy önmagát vezető autónak például egy napon mérlegelnie kell saját utasainak biztonságát egy velük szembe robogó motoroséval, vagy a kitérési útvonalon haladó gyalogoséval szemben. A megoldás a hadviselésre tervezett robotoktól indulhat ki. Ronald Arkin, az atlantai Georgia Műszaki Egyetem számítógéptudósának algoritmus-sorozata, az "erkölcsi vezér" segít okos döntéseket hozni a harcmezőn. A rendszert szimulált csatákban tesztelte, bizonyítva, hogy a programot futtató drónok képesek eldönteni, hogy lőjenek, vagy ne lőjenek, illetve a régi erkölcsi szabálynak eleget téve megpróbálják minimalizálni az áldozatokat egy iskola, vagy egy kórház közelében.

Arkin szerint a katonai robotok esetében ez sokkal könnyebb, mivel a szabályok is egyértelműek. "A háború törvényei több ezer éve ismertek és egyezményekbe vannak foglalva" - mondta, hozzátéve, hogy az emberi katonákkal ellentétben a gépeket nem befolyásolja az érzelem és nem szegik meg ezeket a szabályokat.


"Amikor a robotok erkölcseiről beszélünk, az nagyban azokról a robotokról szól, amik kellően megszabott keretek közötti cselekvésre fejlesztettek ki" - mondta Wendell Wallach, a Morális gépek című könyv szerzője, aki szerint a Winfield-éhez hasonló kísérletek segíthetnek lefektetni az összetettebb etikai viselkedés alapjait. "Ha sikerül működővé tenni olyan környezetekben is, ahol nem ismerjük pontosan az összes körülményt, amikkel találkozhatnak, az elképesztő távlatokat nyithat az alkalmazásukban" - összegzett.

Hozzászólások

A témához csak regisztrált és bejelentkezett látogatók szólhatnak hozzá!
Bejelentkezéshez klikk ide
(Regisztráció a fórum nyitóoldalán)
  • Molnibalage #56
    A gép engedte vezetni magát. Te úgy vázoltad fel, mintha az automata pilóta nem engedné a pilótát vezetni.

    A baleset meg abból adódott, hogy szimplán nem értették és mérték fel rendesen, hogy a biztonsági berendezés hogyan működik. Ezen felül nem is azt történt, ami írtál, el sem olvastad? Az állásszög védelemnek rohadtul semmi köze nincs a leszálláshoz.
  • stremix #55
    Az első automatizált AirFrance gép úgy zuhant le, hogy valójában a pilóta vezette a gépet. Fel akart szállni, de az automata túl kicsinek találta az emelkedési szöget és úy értelmezte a helyzetet, hogy leszállás van. Az automata süllyedni akart, "előrenyomta a botot", a plióta erre felhúzta, és így tovább. Csak pár méteres magasságból, de a pályán túlfutva, tele üzemanyaggal landoltak a fák között.

    https://www.youtube.com/watch?v=a5NXpar4Ouw

    http://en.wikipedia.org/wiki/Air_France_Flight_296
  • NEXUS6 #54
    "Igazán? És hogyan fogsz egy 18 éves agyába beleverni 20 évnyi vezetési tudást? Sehogy. A mostani rendszer is milyen jól müködik..."

    Igazán. Nézd meg Japánban mi a sebességhatár, meg milyen börtönt és nem bírságot kapnak a gyorshajtók. Boyrécernek nem kell a fejébe verni 20 évet, elég ha a seggét félti és betartja a sebességhatárt. Mondom ehhez nem kell artudetut beülltetni a csomagtartóba.

    Amit a forgalomról írsz nagyjából egyetértek. Csúcsforgalomban pl Londonban valahogy 2X akkora a sebesség, nincs hernyózás. Mert pl tudják, hogy a közlekedési lámpa nem azért van magasan hogy elférjen alatta a tejes kocsi, hanem mert így látják a sor végén is, és egyszerre indulnak és nem mint egy leszedált giliszta.
    Másrészt meg a forgalomban a hullámok kialakulása nem csak az embertől függ törvényszerűség egy bizonyos sűrűség fölött, az áteresztőképesség maximumánál, max robi kicsit jobban volánoz ezért nem lesz olyan dúrva,, de lesz!

    "Ki a f@sz akarja utánozni az emberi agy müködését? El vagy tévedve barátom nagyon. Az emberi agy kétszázezer dolgot csinál, senki nem akarja leutánozni. Pont az a lényeg hogy a gép csak egy dolgot csinál, de azt sokkal jobban. Ez az egész gépesítés lénye, helló ez itt már a 21. század..."
    Na most erre tudnék nagyon kioktató stílusban is válaszolni, de nem teszem.
    Szal a lényeg, hogy az a szerencsétlen számítógép egy okosótóban marhára nem csak egy dolgot csinál. Figyeli 30 szenzor adatait és Pl mintázatokat keres, namost ebben pl. azonos szilicium lapkán, azonos órajelnél a neuronhálózat jellegű hw és a ráírt program több nagyságrenddel gyorsabb, mint az akár több magos jelenleg elterjedt digitális számítógépek.Lehet ezen vitatkozni, meg lehet ezzel kísérletezni, de fizikailagnem bírja el az okosautó a saját számítógépét: teher, hely, energia. Minek 500W-ot elfüstölni a levegőbe, amikor 5W-ból is kijön?

    "persze persze, valami ilyesmit mondhattak az IBM-nél amikor azt jósolták hogy
    "Thomas Watson, az IBM fejlesztőmérnöke a számítógépkorszak hajnalán 1943-ban szilárdan hitte, hogy a világpiacon nagyságrendileg öt számítógép értékesíthető" "
    Én meg kb erre írtam, hogy nem biztos, hogy az okosautó a megoldás. Ha a fejedben benne van egy olyan biológiai számítógép, amit még nagyon sokáig nem tudunk létrehozni, akkor talán lehet, hogy az lesz a jövő útja, hogy kapsz az agyadra egy portot mint Neo és a kisagyad valami kis nem használt 3 köbmilliméteres részével elvezeted a verdát, miközben relaxászlsz, meg csetelsz, meg akármi. Nem ismerjük a jövő technológiáját, a digitális autó lehet, hogy nem az, csak mi képzeljük annak ;)
  • torreadorz #53
    "Csak jogalkotói akarat és rendszeres rendőrségi ellenőrzés kérdése. Nagyjából semmibe nem kerül. "

    Igazán? És hogyan fogsz egy 18 éves agyába beleverni 20 évnyi vezetési tudást? Sehogy. A mostani rendszer is milyen jól müködik...

    "Értem, tehát az a megoldás, hogy kötelezővé tesszük a robotokat, amivel tetűlassúra csökkentjük a sebességet, mert tök hülyék. "

    Na látod itt a probléma az emberrel. Nem lesz tetü lassú csak betartja a sebességhatárokat. És ez valójában sokkal gyorsabb lesz, mert figyelem! lehet hogy most újat mondok neked, de az is be van bizonyitva hogy a dugókat az emberek maguk okozzák a követési táv be nem tartásával. Az első fékez egy nagyot a mögötte lévők mégnagyobbat mert nem tartanak követési távot, következményképp néhány száz méterrel viszább már megáll a sor. Naponta tapasztalatom budapesten a gyorsforgalmin 2 km-es dugó majd egyszer csak már 70-el megyek. Se baleset se útfelújítás se semmi, csak a követési táv be nem tartása miatt feltorlódik az egész a fékezgetések miatt.
    Meg amikor a fittpaldi lámpától lámpáig repeszt, aztán megfogja a következő piros lámpa, ami miatt meg kell állnia hogy aztán a zöldhullámban jövők ahelyett hogy kényelmes 50-es tempóban átmennének le kell lassítaniuk mert a paraszt ott áll az éppen váltó lámpánál.

    "Amúgy meg ha az emberi agy működését utánoznánk, mint legjobb megoldás, akkor miért is jobb az, mint maga az emberi agy?"

    Ki a f@sz akarja utánozni az emberi agy müködését? El vagy tévedve barátom nagyon. Az emberi agy kétszázezer dolgot csinál, senki nem akarja leutánozni. Pont az a lényeg hogy a gép csak egy dolgot csinál, de azt sokkal jobban. Ez az egész gépesítés lénye, helló ez itt már a 21. század...

    nevetségesek az érveid, egy pár száz kilobájtos sakkprogram keresztbe kasul ver agyon akkor amikor akar úgy ahogy akar. Pedig töredék teljesítménye sincs mint egy emberi agynak. Csak épp ő csak egy dolgot akar jól csinálni, sakkozni. És neked továbbra sincs olyan implantátumod amivel jobban tudnál sakkozni...

    Robotautó ugyanez, lehet hogy nem fog tudni keresztrejtvényt fejteni meg az univerzum rejtélyein gondolkozni, de attól még vezetni sokkal jobban fog tudni mint te.

    "Itt jön elő az, amit itt valaki már pedzegetett, hogy amíg ilyen szekvenciális jellegű az adatfeldolgozás a jelenlegi digitális hardverekkel, addig mögé rakhatunk egy iszonyat adatbázis, csak mire kikeresi szegény AI a megfelelő megoldást, addigra már a balesetet vizsgáló rendőr is meghal végelgyengülésben"

    persze persze, valami ilyesmit mondhattak az IBM-nél amikor azt jósolták hogy
    "Thomas Watson, az IBM fejlesztőmérnöke a számítógépkorszak hajnalán 1943-ban szilárdan hitte, hogy a világpiacon nagyságrendileg öt számítógép értékesíthető"
  • NEXUS6 #52
    Értem, tehát az a megoldás, hogy kötelezővé tesszük a robotokat, amivel tetűlassúra csökkentjük a sebességet, mert tök hülyék.

    Ezt megtehetnénk robik nélkül is ám! Csak jogalkotói akarat és rendszeres rendőrségi ellenőrzés kérdése. Nagyjából semmibe nem kerül.

    "Nyilván rosszabbra nem célszerü, de alapvetően mezei paraszti logikával belátható hogy a gépi rendszer sokkal sokkal jobb tud lenni. Azon egyszerü oknál fogva hogy a gép tudása elmenthető, és bármikor felhasználható. "
    Itt jön elő az, amit itt valaki már pedzegetett, hogy amíg ilyen szekvenciális jellegű az adatfeldolgozás a jelenlegi digitális hardverekkel, addig mögé rakhatunk egy iszonyat adatbázis, csak mire kikeresi szegény AI a megfelelő megoldást, addigra már a balesetet vizsgáló rendőr is meghal végelgyengülésben. Párhuzamos adatfeldolgozást lehetővé tevő, az idegrendszer szerkezetét, működését utánzó analog/digitális hibrid informatikai rendszerek kellenének. Amúgy van már ilyen, pl beültethető retina prototipus is. Csak ugye az Intel nem ilyenben utazik, szal nagyjából felejtős az egész.

    Amúgy meg ha az emberi agy működését utánoznánk, mint legjobb megoldás, akkor miért is jobb az, mint maga az emberi agy? 10 év múlva lehet, hogy kapsz egy implantot és úgy vezetsz, mint Démonhill, a robikocsik, meg maradnak ugyan olyan bénák, mint most.
    Ki tudja!?
  • Molnibalage #51
    és akadtak olyan baleset szép számmal, mikor a gép nem adta át az irányítást a pilótáknak, ettől meg lezuhant a repülő
    Egy ilyet monjd, nekem egy sem jut eszembe.
  • torreadorz #50
    Maradjunk annyiban hogy évente több százezer ember hal meg közlekedési balesetben. És ezeknek csak egy nagyon apró százaléka az amikor baleset kvázi elkerülhetetlen (müszaki hiba, kiszalad eléd a gyerek takarásból stb). A többi viszont mind mind elkerülhető lett volna.

    Szóval a kérdés nem az hogy leváltjuk a tökéletes emberi vezetésü rendszert (lol), hanem az hogy leváltjuk-e azt a rossz rendszert ami évente több százezer ember halálát okozza.

    Nyilván rosszabbra nem célszerü, de alapvetően mezei paraszti logikával belátható hogy a gépi rendszer sokkal sokkal jobb tud lenni. Azon egyszerü oknál fogva hogy a gép tudása elmenthető, és bármikor felhasználható.
    Ahogy már irtam, az embernél mindig nulláról indul a vezetési tudás, egy gépnél meg már 0 kilométeres kocsiban is 20 évnyi tudása lehet.
    Ennyi.
  • NEXUS6 #49
    Szerintem, ha ennyi lenne a kérdés, már 10 éve megoldották volna a közúti kocsiknál. És tartok tőle, hogy egyelőre az egyetlen eszköze ezeknek a kocsiknak, hogy lassan megy, meg nem vállalja be a kockázatot, aztán végül lefékez. De emberként látsz egy idiótát épp féktávolságon belül lelépni, vagy fogalmatlan bicóst (kedvenc) bóklászni az úton, néha célszerűbb gyorsítani, dinamikusan kikerülni nagyívben, mint percekig fenntartani a konfliktus helyzetet hátha eléd esik. Aztán végső esetben ugye bele az álló kocsisorba, léckerítésbe akármibe, aztán kiszálni a fatestápolóval és illedelmesen elkérni a biztosítója számát, meg rendőrbácsit felhívni.
    Egy mikrobi majd akkor tud ilyen döntést hozni, ha legalább olyan komplex képe lesz a fizikai környezetről, mint az embernek. Be tud azonosítani egy léckerítést, sövényt, és nem téveszti össze a betonnal, meg látja, hogy jeges az út szal nem fog ráfékezni, vagy a kuplungot kinyomni, meg ilyenek.

    Egyelőre még ott tartunk, hogy beazonosítja a szabályos alakzatokat, pl záróvonalat, felező vonalat, táblákat, a bonyolult szitukban meg ezerszer rosszabul teljesít, mint az ember. Persze lesz fejlődés, de egyelőre az az etikai kérdés, hogy az az ember, aki tudja, hogy ilyen szinten alul teljesít a rendszer, adott szituban miért nem maga veszi kézbe az irányítást, vagy a gyártó hogy keltheti azt a téves képzetet, hogy a rendszer egyáltalán kezelni tudja. De ez egyelőre nem a robi etikai dilemmája, hanem a júzeré.
  • Ender Wiggin #48
    a repülőgépeket soha nem hagyják csak a számítógépe által vezetni (és akadtak olyan baleset szép számmal, mikor a gép nem adta át az irányítást a pilótáknak, ettől meg lezuhant a repülő). pilóták nélkül egyszerűen nem megy. az autók meg x csillió km-t tettek meg, de mindig egyenes, alig forgalmas úton, eső és hó még a közelben sem volt...

    "utan ha a gyerekek azt jatszak, hogy a kocsi ele ugralnak, akkor sem fogja oket elutni"

    főleg, ha a parkoló autók mögül ugranak ki...ha a lassúság egyenlő a biztonsággal, akkor a gépre nem sok szükség van.
  • kvp #47
    Pottyos labdas gyerek esetenek kezelese:
    if(terkep.lakott_terulet() && (szenzorok.fektavon_belu_van_nem_lathato_terulet(fektav(sebesseg)) || szenzorok.fektav_korzeteben_nem_statikus_objektumok(fektav(sebesseg))) && (max_sebesseg > LEPESBEN)) max_sebesseg = LEPESBEN;
    ahol
    #define LEPESBEN (5) // km/h

    Ezek utan ha a gyerekek azt jatszak, hogy a kocsi ele ugralnak, akkor sem fogja oket elutni, mert az adott biztonsagos sebessegen a proxy szenzor mar meg tudja allitani az autot ha ele kerul valami. (igen, a szel fujta papircsomo vagy egy macska is megallitja, de ezeket sem illik elutni) Ezt meg lehet finomitani, de nem olyan nehez problema. A ne ussunk el semmit kerdese a robotautoknal a legegyszerubbek kozott van es mar a darpa desert challange-en is jol kezeltek. A lampak, tablak felismeresere a google streetview-nal is hasznalt mintailleszto algoritmus tokeletes, tehat igazabol a felfestetlen, kitablazatlan, serult utak jelenthetnek gondot, de csak annyira, mint egy a kornyeket nem ismero emberi vezetonek. Ahol az ember batorsaggal (vakmeroseggel) potolja a tudashianyat, ott egy szoftver ovatossaggal es korultekintessel, tehat megy mint a nyugdijas csiga es mereszti a szenzorait. Lassabb? Igen. Biztonsagosabb? Sokkal!

    "Rendőrségi jelentés részlet 2040-ből: A háztartási robot számítógépe elkapta a KillerB vírust, így mosogatás közben késeket kezdett dobálni. Eredmény: három halott. A rendőrség a vírus készítői után nyomoz."

    Ez jo, de megfelelo architekturalis vedelem eseten ez kezelheto. Mar most is az lenne, ha a hardver es szoftver gyartok foglalkozanak vele vagy kotelezo lenne hitelesitett szoftvereket hasznalni. (hitelesitett: minden szoftver ala van irva es csak a gyarto altal alairt vagy a telepitessel megbizott mernok altal jovahagyott szoftverek futtathatoak egy adott hadveren) Ez utobbit egyebkent minden ipari, tehat fizikai periferiakat is vezerlo rendszerre kotelezove tennem. A valosagban meg az android is fel van erre keszitve, de a gyakorlatban a gyartok nem elesitik a vedelmi rendszert es ami be van kapcsolva azt is ki lehet kapcsolni menubol. Persze van olyan valtozat ami tudja a fentieket, de az katonai celra keszult.