Az MIT mérnökei egy egyszerű LCD képernyőből készítettek a külvilág észlelésére is képes monitort, így billentyűzet és egér alkalmazása, vagy akár a képernyő megérintése nélkül, pusztán kézmozdulatokkal is rendezgethetjük, vagy aktiválhatjuk a képernyő objektumait.

"Ez az interakció olyan szintje, amit eddig még senkinek sem sikerült elérnie" - mondta Ramesh Raskar, az MIT Media Lab munkatársa, az alábbi videofelvételen látható prototípus egyik megalkotója. A BiDi, hosszabban bidirekcionális, vagyis kétirányú képernyő lehetővé teszi a felhasználóknak, hogy három dimenzióban manipulálják, vagy kezeljék a képernyőn megjelenített objektumokat, valamint háromdimenziós szkennerként is alkalmazható.

"Ha megforgatunk egy tárgyat a képernyő előtt, a szoftver képes egy háromdimenziós képpé összefűzni" - tette hozzá Raskar, aki kollégáival, Matthew Hirsch-sel, Henry Holtzmannal, valamint a Brown Egyetem kutatójával Douglas Lanmannel az LCD gyártók azon kísérletein buzdult fel, melyekkel optikai érzékelőket próbálnak beültetni egy LCD panel pixeljei közé, hogy egyfajta érintőképernyő interfészként viselkedjenek.

Ez a módszer azonban igen gyatra "látást" biztosít a képernyőknek. A szenzorok gyakorlatilag csak azokat a tárgyakat észlelik tisztán, amik közvetlenül hozzáérnek a képernyőhöz. Apró lencséket helyezve a szenzorok elé már sokkal jobb eredmény érhető el ami a képernyő látását illeti, viszont a lencseréteg rontja a képernyő által megjelenített kép minőségét, így a kutatók egy alaposan átdolgozott koncepcióval vágtak bele a megvalósításba. Raskar csapata egy hétköznapi 20 colos képernyőn mutatta be, hogyan képesek ellátni a lencsék munkáját bármelyik LCD képernyő alapvető funkcióival.


Egy LCD pixeljeinek fényerejét egy folyadékkristály réteg szabályozza, ami csavarodásával fizikailag szabályozza mennyi fény hatol át a képernyő háttérvilágításából. A BiDi esetében a csapat ezt a funkciót használja a kintről beérkező fény eljuttatásához a képernyő mögött elhelyezett szenzortömbhöz. Amikor a képernyő "körülnéz", pixeljeinek többségét lezárják a folyadékkristályok. Azonban több száz pixel nyitott marad a külvilág fényeire, egy szabályos hálót alkotva, ami folyadékkristályaival egy kis lyukat hoz létre hasonlóan a lyukkamerák lencséihez. A háló a képernyő előtti képet egy, az LCD mögött néhány centiméterrel elhelyezkedő vékony áttetsző hártyára fókuszálja, amit egy kamera észlel és továbbítja az eszköznek.

Az LCD képernyő pixeljeinek emellett el kell látniuk az alapvető feladatukat is, azaz képeket kell sugározniuk a felhasználó felé. Mivel mindkét feladat elvégzéséhez a normál LCD réteget használják, ezért a képernyő kénytelen a két feladat között váltogatni, méghozzá olyan sebességgel, hogy az előtte ülő felhasználó ne vegye észre ezt a plusz funkciót, taglalta Lanman.

Kihasználva a háló által biztosított különböző nézőpontokat lehetővé vált a térhatású képek rekonstruálása. A rendszer számos térhatású képpárt készít, melyek mindegyike élesen fókuszál a képernyőtől adott távolságokra elhelyezkedő tárgyakra. Ebből a rendszer ki tudja számítani milyen messze helyezkedik el tőle az objektum. "Többszörös képeket készítünk, melyek mindegyike más síkon fókuszál a képernyő előtt, mondjuk egészen 50 centiméteres távolságig" - magyarázta Lanman.

A rendszer kiválasztja az élesen fókuszált részeket a képhalmazból, egy éles mélység térképet hozva létre a képernyő látómezőjében elhelyezkedő objektumokról, amit kézmozdulataink három dimenzióban történő nyomon követésére használhatunk, ugyanazt az eredményt érve el, mint a hagyományos érintőképernyőknél az érintéssel. Az egész folyamat valós időben zajlik, a számítógép szoftvere egy inputként értelmezi a mozdulatokat, amik a képernyő elemeit irányítják.