SG.hu
Ijesztő a ChatGPT és a Boston Dynamics robotkutyájának házassága
A Boston Dynamics robotgyártó cég megtanította beszélni az egyik "Spot" nevű robotkutyáját, méghozzá a ChatGPT segítségével.
A Boston Dynamics munkatársai nagy érdeklődéssel figyelik a mesterséges intelligencia alapmodellek fejlesztését, mert egy ChatGPT-hez hasonló rendszer integrálásán dolgoznak. "A ChatGPT-hez hasonló nagy nyelvi modellek (Large Language Models, LLM) alapvetően nagyon nagy automatikus kitöltő algoritmusok. Befogadnak egy szövegfolyamot és megjósolják a következő szövegdarabot" - áll a bejegyzésben. "Minket az LLM-ek azon képessége inspirált, hogy képesek szerepjátékot játszani, a kultúrát és az árnyalatokat reprodukálni, terveket alkotni, és az idő múlásával fenntartani a koherenciát, valamint a nemrég megjelent Visual Question Answering (VQA) modellek, amelyek képesek képeket feliratozni és egyszerű kérdésekre válaszolni velük kapcsolatban."
Tesztcélokra megalkottak egy robot idegenvezetőt. "A robot járkálhat, megnézheti a környezetben lévő tárgyakat, VQA vagy feliratozó modell segítségével leírhatja azokat, majd ezeket a leírásokat egy LLM segítségével kidolgozhatná" - áll a Boston Dynamics bejegyzésében. "Emellett az LLM válaszolhatna a túra közönségének kérdéseire, és megtervezhetné, hogy a robotnak milyen lépéseket kellene tennie legközelebb. Ily módon az LLM-et úgy lehet elképzelni, mint egy improvizációs színészt - mi megadunk egy nagy vonalakban megírt forgatókönyvet, az LLM pedig menet közben kitölti az üres helyeket"."
Spotot hangszóróval és mikrofonnal szereltek fel, és rákötötték a ChatGPT-re és az OpenAI Whisper beszédfelismerő API-jára. A Spotnak van egy szoftverfejlesztő készlete, amely lehetővé teszi az ilyesmit. A posztban kódrészletek is szerepelnek, amelyekből kiderül, hogyan épült fel a bot. A Boston Dynamics fejlesztői "azt akarták, hogy a robot idegenvezető úgy nézzen ki, mintha beszélgetne a közönséggel", ezért elemezték a beszédét, és ezt lefordították Spot markolószerszámának mozdulataira - "mintha az egy bábu szája lenne". "Ezt az illúziót azzal fokoztuk, hogy a markolóhoz buta jelmezeket és szemeket adtunk".
Bár a fenti említett dolgok lenyűgözőek, a cég munka közben jónéhány furcsasággal találkozott. "Például megkérdeztük a robotot, hogy ki az a Marc Raibert?" (Ő a Boston Dynamics alapítója, korábbi vezérigazgatója és jelenlegi elnöke.) "A robot azt válaszolta: 'Nem tudom. Menjünk az IT help deskhez és kérdezzük meg!'. És aztán így is tett. Nem kértük az LLM-et, hogy kérjen segítséget. A 'IT help desk' hely és a segítségkérés önálló cselekvése között asszociációt hozott létre" - magyarázza a BD posztja.
A BD fejlesztői arra is felkérték a Spotot, hogy azonosítsa a szüleit. "Elment a 'régi Spotokhoz', ahol Spot V1 és Big Dog van kiállítva az irodánkban, és azt mondta nekünk, hogy ezek az 'ősei'" - derül ki a posztból, egyáltalán nem hátborzongatóan. "Meglepődtünk azon is, hogy az LLM mennyire jól tudott 'karakterben' maradni, még akkor is, amikor egyre abszurdabb 'személyiségeket' adtunk neki" - folytatódik a bejegyzés. "Rögtön rájöttünk, hogy a 'gúnyos' vagy 'szarkasztikus' személyiségek nagyon jól működnek; és még arra is rávettük a robotot, hogy 'bigfoot-vadászatra' induljon az irodában, megkérdezve véletlenszerű járókelőket, hogy láttak-e kriptideket a környéken."
A bot a ChatGPT néhány ismert hibáját is kiemelte. A társaság "Stretch" logisztikai robotjáról szóló információkérés azt a választ eredményezte, hogy a robot célja a jóga. A kérdés és a válasz között eltelt hat másodperc vagy annál hosszabb idő megakasztott beszélgetést eredményezett. "Az OpenAI túlterhelésére vagy az internetkapcsolat leállására is érzékeny" - áll a bejegyzésben. A vállalat munkatársai ennek ellenére lelkesednek az eredményekért. "Ha képesek lennénk csak beszélgetve feladatot adni egy robotnak, az segítene csökkenteni az ilyen rendszerek használatának tanulási görbéjét" - áll a bejegyzésben, hozzátéve: "Valószínűleg nincs már olyan messze egy olyan világ, amelyben a robotok megértik, amit mondasz, és azt hasznos cselekvéssé alakítják át. Ez a fajta készség lehetővé tenné a robotok számára, hogy jobban teljesítsenek, amikor az emberekkel és az emberek közelében dolgoznak - akár eszközként, akár vezetőként, akár társként."
A Boston Dynamics munkatársai nagy érdeklődéssel figyelik a mesterséges intelligencia alapmodellek fejlesztését, mert egy ChatGPT-hez hasonló rendszer integrálásán dolgoznak. "A ChatGPT-hez hasonló nagy nyelvi modellek (Large Language Models, LLM) alapvetően nagyon nagy automatikus kitöltő algoritmusok. Befogadnak egy szövegfolyamot és megjósolják a következő szövegdarabot" - áll a bejegyzésben. "Minket az LLM-ek azon képessége inspirált, hogy képesek szerepjátékot játszani, a kultúrát és az árnyalatokat reprodukálni, terveket alkotni, és az idő múlásával fenntartani a koherenciát, valamint a nemrég megjelent Visual Question Answering (VQA) modellek, amelyek képesek képeket feliratozni és egyszerű kérdésekre válaszolni velük kapcsolatban."
Tesztcélokra megalkottak egy robot idegenvezetőt. "A robot járkálhat, megnézheti a környezetben lévő tárgyakat, VQA vagy feliratozó modell segítségével leírhatja azokat, majd ezeket a leírásokat egy LLM segítségével kidolgozhatná" - áll a Boston Dynamics bejegyzésében. "Emellett az LLM válaszolhatna a túra közönségének kérdéseire, és megtervezhetné, hogy a robotnak milyen lépéseket kellene tennie legközelebb. Ily módon az LLM-et úgy lehet elképzelni, mint egy improvizációs színészt - mi megadunk egy nagy vonalakban megírt forgatókönyvet, az LLM pedig menet közben kitölti az üres helyeket"."
Spotot hangszóróval és mikrofonnal szereltek fel, és rákötötték a ChatGPT-re és az OpenAI Whisper beszédfelismerő API-jára. A Spotnak van egy szoftverfejlesztő készlete, amely lehetővé teszi az ilyesmit. A posztban kódrészletek is szerepelnek, amelyekből kiderül, hogyan épült fel a bot. A Boston Dynamics fejlesztői "azt akarták, hogy a robot idegenvezető úgy nézzen ki, mintha beszélgetne a közönséggel", ezért elemezték a beszédét, és ezt lefordították Spot markolószerszámának mozdulataira - "mintha az egy bábu szája lenne". "Ezt az illúziót azzal fokoztuk, hogy a markolóhoz buta jelmezeket és szemeket adtunk".
Bár a fenti említett dolgok lenyűgözőek, a cég munka közben jónéhány furcsasággal találkozott. "Például megkérdeztük a robotot, hogy ki az a Marc Raibert?" (Ő a Boston Dynamics alapítója, korábbi vezérigazgatója és jelenlegi elnöke.) "A robot azt válaszolta: 'Nem tudom. Menjünk az IT help deskhez és kérdezzük meg!'. És aztán így is tett. Nem kértük az LLM-et, hogy kérjen segítséget. A 'IT help desk' hely és a segítségkérés önálló cselekvése között asszociációt hozott létre" - magyarázza a BD posztja.
A BD fejlesztői arra is felkérték a Spotot, hogy azonosítsa a szüleit. "Elment a 'régi Spotokhoz', ahol Spot V1 és Big Dog van kiállítva az irodánkban, és azt mondta nekünk, hogy ezek az 'ősei'" - derül ki a posztból, egyáltalán nem hátborzongatóan. "Meglepődtünk azon is, hogy az LLM mennyire jól tudott 'karakterben' maradni, még akkor is, amikor egyre abszurdabb 'személyiségeket' adtunk neki" - folytatódik a bejegyzés. "Rögtön rájöttünk, hogy a 'gúnyos' vagy 'szarkasztikus' személyiségek nagyon jól működnek; és még arra is rávettük a robotot, hogy 'bigfoot-vadászatra' induljon az irodában, megkérdezve véletlenszerű járókelőket, hogy láttak-e kriptideket a környéken."
A bot a ChatGPT néhány ismert hibáját is kiemelte. A társaság "Stretch" logisztikai robotjáról szóló információkérés azt a választ eredményezte, hogy a robot célja a jóga. A kérdés és a válasz között eltelt hat másodperc vagy annál hosszabb idő megakasztott beszélgetést eredményezett. "Az OpenAI túlterhelésére vagy az internetkapcsolat leállására is érzékeny" - áll a bejegyzésben. A vállalat munkatársai ennek ellenére lelkesednek az eredményekért. "Ha képesek lennénk csak beszélgetve feladatot adni egy robotnak, az segítene csökkenteni az ilyen rendszerek használatának tanulási görbéjét" - áll a bejegyzésben, hozzátéve: "Valószínűleg nincs már olyan messze egy olyan világ, amelyben a robotok megértik, amit mondasz, és azt hasznos cselekvéssé alakítják át. Ez a fajta készség lehetővé tenné a robotok számára, hogy jobban teljesítsenek, amikor az emberekkel és az emberek közelében dolgoznak - akár eszközként, akár vezetőként, akár társként."