Berta Sándor
A gyalogosok viselkedését értelmezi egy új rendszer
A gépkocsiknak mindenképpen tudniuk kell, hogy mire készülnek a járókelők.
Az autóvezetés több mint gyorsítás, kormányzás és fékezés: a folyamatban a többi közlekedővel való kommunikáció döntő szerepet játszik. A jövő autonóm járműveinek ezért többek között a gyalogosokkal is interakcióba kell lépniük. Ehhez azonban fel kell ismerniük, hogy mely járókelők válhatnak fontossá, hogy aztán rögzíthessék és értelmezhessék a viselkedésüket. A Fraunhofer Társaság Optronikai, Rendszertechnológiai és Képhasznosítási Intézetének (IOSB) munkatársai bemutatták egy olyan rendszer prototípusát, amely mesterséges intelligencia segítségével éppen ezt hivatott megtenni.
Az, hogy a gyalogosok közül kik a relevánsak a gépkocsi szempontjából, attól függ, hogy hol és milyen irányban haladnak. Ugyanakkor, ha egy járókelő integet ez akkor is fontossá teszi őt, ha meg sem próbál az úttestre lépni. Szintén meghatározó annak az eldöntése, hogy a gyalogos át akar-e kelni az úttesten vagy sem? Ez Manuel Martin szakértő kutatásának az egyik kulcskérdése.
Amit egy emberi vezető általában intuitív módon és gondolkodás nélkül érzékel - például a hely, a tekintet iránya és a gesztusok alapján - arra az autonóm autót először meg kell tanítani ahhoz, hogy képes legyen önállóan, biztonságosan cselekedni egy lakóövezetben vagy egy iskola előtt. A mesterséges intelligencia módszerei lehetővé teszik a videóképek ilyen módon történő elemzését, de előbb meg kell tanulniuk a megfelelő következtetések levonását nagy mennyiségű képzési adat alapján. A Fraunhofer IOSB informatikusa és kutatóasszisztense éppen ezen dolgozik az "Intelligens ember-technológia kommunikáció vegyes forgalomban" (INITIATIVE) nevű kutatási projekt keretében.
"Megalkottunk egy kutatási prototípust, amely megbecsüli, hogy a járókelő át akar-e kelni az úttesten, elemzi a gesztusait és így megteremti az interakció alapját. A rendszer egy sztereókamerából áll, amely térben "lát" és így érzékeli a gyalogosok pontos helyzetét, valamint egy mesterséges intelligencia algoritmusból, amely érzékeli a végtagok helyzetét, és következtetéseket von le belőle. Sikeresen teszteltük ezt a rendszert. Most már csak a mesterséges intelligencia továbbképzése és a rendszer általános finomítása van hátra, hogy a lehető legpontosabban felismerje a járókelők szándékait minden elképzelhető helyzetben" - magyarázta a szakember.
A Fraunhofer IOSB így áthidalja a jármű belsejének és külsejének megfigyelése közötti szakadékot, ahogy Dr. Michael Voit, a Perceptuális felhasználói felületek nevű kutatócsoport vezetője rámutatott. A kutató kijelentette: "A korábban különálló világok most egyesülnek: a sofőrök és adott esetben az utasok viselkedésének intelligens rögzítése a fejlett utasfelügyeleti rendszerünk által - és a többi közlekedő és szándékaik rögzítése az INITIATIVE keretében. Ez azt jelenti, hogy most már a vezetők és a gyalogosok közötti interakciókat is rögzíteni lehet, ami új kutatási kérdések és alkalmazások számára nyitja meg a hozzáférést."
A programban a járókelők szándékának felismerése csak egy darabja a kirakós játéknak - a nagy cél itt az, hogy lehetővé tegyük a különböző úthasználók közötti, mesterséges intelligenciával támogatott adaptív kommunikációt annak érdekében, hogy az automatizált gépkocsikat vegyes forgalmi forgatókönyvekbe lehessen integrálni. Ennek érdekében átfogó kommunikációs interfészeket kell kifejleszteni az autónak a többi közlekedővel és a benne ülőkkel való interakciójához. A jármű például egyértelmű fényjelzéssel jelzi majd az úttesten átkelni kívánó gyalogosoknak, hogy megállni vagy áthaladni készül.
A tavaly áprilisában indított INITIATIVE-ot a német szövetségi gazdasági és technológiai minisztérium három éven keresztül, összesen több mint 4 millió euróval támogatja. A projektben részt vesz a HELLA GmbH & Co. KGaA, a Würzburgi Közlekedéstudományi Intézet (WIVW), az Electric Special Photronicsysteme GmbH, a version 1 GmbH, a Saar-vidéki Egyetem Jogi Informatikai Intézete, valamint a Karlsruhei Technológiai Intézet (KIT) Világítástechnikai Intézete és Vezérlőrendszerek Intézete.
Nem ez az első ilyen jellegű kutatóprojekt. A Leedsi Egyetem munkatársai tavaly októberben egy olyan döntési modellt alkottak meg, amellyel azt szerették volna elérni, hogy az autonóm gépkocsik járókelő-barátabbak legyenek, ezért úgy döntöttek, hogy megtanítják azoknak azt, hogy a gyalogosok miként hoznak döntéseket például arról, hogy átmenjenek egy közeledő autó előtt vagy sem. 2021 decemberében pedig kiderült, hogy az Örebroi Egyetem tudósai a mesterséges intelligencia segítségével le akarják csökkenteni az autonóm járművek közlekedése jelentette kockázatokat. Mehul Bhatt professzor kijelentette, hogy módszerük segítségével az önállóan közlekedő gépkocsik megtanulják, hogy a világot úgy értsék, ahogy az emberek.
Az autóvezetés több mint gyorsítás, kormányzás és fékezés: a folyamatban a többi közlekedővel való kommunikáció döntő szerepet játszik. A jövő autonóm járműveinek ezért többek között a gyalogosokkal is interakcióba kell lépniük. Ehhez azonban fel kell ismerniük, hogy mely járókelők válhatnak fontossá, hogy aztán rögzíthessék és értelmezhessék a viselkedésüket. A Fraunhofer Társaság Optronikai, Rendszertechnológiai és Képhasznosítási Intézetének (IOSB) munkatársai bemutatták egy olyan rendszer prototípusát, amely mesterséges intelligencia segítségével éppen ezt hivatott megtenni.
Az, hogy a gyalogosok közül kik a relevánsak a gépkocsi szempontjából, attól függ, hogy hol és milyen irányban haladnak. Ugyanakkor, ha egy járókelő integet ez akkor is fontossá teszi őt, ha meg sem próbál az úttestre lépni. Szintén meghatározó annak az eldöntése, hogy a gyalogos át akar-e kelni az úttesten vagy sem? Ez Manuel Martin szakértő kutatásának az egyik kulcskérdése.
Amit egy emberi vezető általában intuitív módon és gondolkodás nélkül érzékel - például a hely, a tekintet iránya és a gesztusok alapján - arra az autonóm autót először meg kell tanítani ahhoz, hogy képes legyen önállóan, biztonságosan cselekedni egy lakóövezetben vagy egy iskola előtt. A mesterséges intelligencia módszerei lehetővé teszik a videóképek ilyen módon történő elemzését, de előbb meg kell tanulniuk a megfelelő következtetések levonását nagy mennyiségű képzési adat alapján. A Fraunhofer IOSB informatikusa és kutatóasszisztense éppen ezen dolgozik az "Intelligens ember-technológia kommunikáció vegyes forgalomban" (INITIATIVE) nevű kutatási projekt keretében.
"Megalkottunk egy kutatási prototípust, amely megbecsüli, hogy a járókelő át akar-e kelni az úttesten, elemzi a gesztusait és így megteremti az interakció alapját. A rendszer egy sztereókamerából áll, amely térben "lát" és így érzékeli a gyalogosok pontos helyzetét, valamint egy mesterséges intelligencia algoritmusból, amely érzékeli a végtagok helyzetét, és következtetéseket von le belőle. Sikeresen teszteltük ezt a rendszert. Most már csak a mesterséges intelligencia továbbképzése és a rendszer általános finomítása van hátra, hogy a lehető legpontosabban felismerje a járókelők szándékait minden elképzelhető helyzetben" - magyarázta a szakember.
A Fraunhofer IOSB így áthidalja a jármű belsejének és külsejének megfigyelése közötti szakadékot, ahogy Dr. Michael Voit, a Perceptuális felhasználói felületek nevű kutatócsoport vezetője rámutatott. A kutató kijelentette: "A korábban különálló világok most egyesülnek: a sofőrök és adott esetben az utasok viselkedésének intelligens rögzítése a fejlett utasfelügyeleti rendszerünk által - és a többi közlekedő és szándékaik rögzítése az INITIATIVE keretében. Ez azt jelenti, hogy most már a vezetők és a gyalogosok közötti interakciókat is rögzíteni lehet, ami új kutatási kérdések és alkalmazások számára nyitja meg a hozzáférést."
A programban a járókelők szándékának felismerése csak egy darabja a kirakós játéknak - a nagy cél itt az, hogy lehetővé tegyük a különböző úthasználók közötti, mesterséges intelligenciával támogatott adaptív kommunikációt annak érdekében, hogy az automatizált gépkocsikat vegyes forgalmi forgatókönyvekbe lehessen integrálni. Ennek érdekében átfogó kommunikációs interfészeket kell kifejleszteni az autónak a többi közlekedővel és a benne ülőkkel való interakciójához. A jármű például egyértelmű fényjelzéssel jelzi majd az úttesten átkelni kívánó gyalogosoknak, hogy megállni vagy áthaladni készül.
A tavaly áprilisában indított INITIATIVE-ot a német szövetségi gazdasági és technológiai minisztérium három éven keresztül, összesen több mint 4 millió euróval támogatja. A projektben részt vesz a HELLA GmbH & Co. KGaA, a Würzburgi Közlekedéstudományi Intézet (WIVW), az Electric Special Photronicsysteme GmbH, a version 1 GmbH, a Saar-vidéki Egyetem Jogi Informatikai Intézete, valamint a Karlsruhei Technológiai Intézet (KIT) Világítástechnikai Intézete és Vezérlőrendszerek Intézete.
Nem ez az első ilyen jellegű kutatóprojekt. A Leedsi Egyetem munkatársai tavaly októberben egy olyan döntési modellt alkottak meg, amellyel azt szerették volna elérni, hogy az autonóm gépkocsik járókelő-barátabbak legyenek, ezért úgy döntöttek, hogy megtanítják azoknak azt, hogy a gyalogosok miként hoznak döntéseket például arról, hogy átmenjenek egy közeledő autó előtt vagy sem. 2021 decemberében pedig kiderült, hogy az Örebroi Egyetem tudósai a mesterséges intelligencia segítségével le akarják csökkenteni az autonóm járművek közlekedése jelentette kockázatokat. Mehul Bhatt professzor kijelentette, hogy módszerük segítségével az önállóan közlekedő gépkocsik megtanulják, hogy a világot úgy értsék, ahogy az emberek.