Agyhullámokból rekonstruálható a beszéd

Először sikerült a szakembereknek a Brain-to-Text eljárás keretében az agyhullámokból hangokat, szavakat és teljes mondatokat rekonstruálniuk, majd számítógép segítségével szöveggé alakítaniuk.

Áttörést értek el egy amerikai-német kutatócsoport tagjai. A Karlsruhei Technológiai Intézet (KIT) és a Wadsworth Center munkatársai a Frontiers in Neuroscience szaklapban publikálták az eredményeiket. A csoport tagjai között voltak informatikusok, neurológusok és más egészségügyi szakemberek. A kutatások során jelfeldolgozási és automatikus beszédfelismerési módszereket alkalmaztak. Christian Herff és Dominic Heger, a Brain-to-Text rendszer kifejlesztői elmondták, hogy ezek a módszerek lehetővé teszik a beszéd agyi jelekből való felismerése mellett azt is, hogy részletesen elemezni lehessen a beszéd folyamatában szerepet vállaló agyi régiókat és azok interakcióit.


Ez a rendszer az első a világon, amely felismeri és szöveggé alakítja át a folyamatos beszédet. Ötvözik a nyelvészeti tudást és a gépi algoritmusaokat, s az első eredmények kétségkívül biztatóak. Az Amerikai Egyesült Államokban sor került az első tesztre, amelyen 7 epilepsziás beteg vett részt. A neurológiai kezeléseik alatt úgynevezett elektrokortikográfiát (ECoG) alkalmaztak, amely az EEG-hez hasonló eljárás, de itt az elektródákat közvetlenül az agy felszínére helyezik. Miközben a betegek hangosan felolvastak bizonyos szövegeket, feljegyezték az ECoG-jeleket, amelyeket később elemeztek a kutatók. Ezek szolgáltak a Brain-to-Text kifejlesztésének alapjául.

Tanja Schultz, a KIT kognitív rendszerek laboratóriumának csoportvezetője kijelentette, hogy már régóta spekuláltak azzal kapcsolatban, hogy az emberek és a gépek közötti közvetlen kommunikáció lehetséges-e az agyhullámokon keresztül. Most megmutatták, hogy az agyhullámokból felismerhetők egyes hangok és folyamatosan mondott mondatok.