SG.hu
A szájmozgást is szinkronizálja a videók lefordításánál egy új eszköz
Egy új szoftver nem csak lefordítja a videókat más nyelvre, hanem a beszélők hangját is leklónozza és az ajakmozgását is a szöveghez igazítja.
A D-ID mesterséges intelligenciával működő videokészítő platform egy mesterséges intelligencia-technológiával működő videókat lefordító eszközt készített. Különlegessége, hogy az MI a szerkesztési folyamat részeként a beszélő hangját is klónozza, és az ajkak mozgását is úgy módosítja, hogy az megfeleljen a lefordított szavaknak. A technológia a D-ID korábbi munkájából származik, amelynél a felhasználók animálhatták régebbi családi fotóikat, és később ezek a képek képesek voltak meg is szólalni. Ennek a sikernek köszönhetően a startup 2022-ben 25 millió dollár tőkét tudott bevonni, amelynek célja az Egyesült Államokban egyre növekvő számú vállalati ügyfeleinek kiszolgálása volt, akik a technológiáját MI-alapú videók készítésére használták.
A vállalat most bevezetett AI Video Translate technológiájával - amelyet jelenleg a D-ID előfizetői számára ingyenesen kínálnak - az alkotók automatikusan lefordíthatják videóikat más nyelvekre, hogy ezzel is segítsék az elérésük bővítését. Jelenleg összesen 30 nyelv áll rendelkezésre, többek között arab, mandarin, japán, hindi, spanyol és francia. A D-ID előfizetés a legolcsóbb csomag és a legkisebb számú, MI-funkciókra felhasználható kredit esetén évi 56 dollárról indul és egészen évi 1293 dollárig skálázódik fel, a még nagyobb felhasználók pedig vállalati árképzést kérhetnek. A D-ID szerint az új videotechnológiával ügyfeleik megspórolhatják a lokalizációs költségeiket, amikor kampányaikat globális közönségre méretezik olyan területeken, mint a marketing, a szórakoztatás és a közösségi média. Az eszközt a D-ID újonnan kifejlesztett, Rosetta-1 nevű saját modellje hajtja.
A D-ID közlése szerint az új videófordítási technológia a D-ID Studio és annak API-ja révén lesz elérhető. Egy hónapos próbaidőszakot kínálnak, és demók is találhatók a cég weboldalán. A videók hossza 10 másodperc és 5 perc között lehet, a fájlméret pedig nem haladhatja meg a 2 GB-ot. A funkció csak egy képen szereplő személynél működik, akinek a legjobb eredmény érdekében a kamerával szemben kell állnia, és az arcának mindig láthatónak kell lennie.
A szinkronizálási technológiák lehetővé teszik a videónézők számára, hogy a saját nyelvükön hallgathassanak meg egy adott hanganyagot, de ezek gyakran elérhetetlenek a kisebb alkotók számára. Ez változott, ahogy a vállalatok javították a technológiához való hozzáférést: a YouTube például többnyelvű hangfunkciót adott ki, amelynek célja, hogy segítse alkotóit a közönséggel való kapcsolatteremtésben azáltal, hogy videóikat más nyelvekre fordítják. Egy ismert alkotó, MrBeast (Jimmy Donaldson) a korai alkalmazók között volt, aki a technológiát arra használta, hogy több népszerű videóját 11 további nyelvre is átültesse.
A mesterséges intelligencia segítségével a hangok létrehozásának, lefordításának vagy klónozásának lehetősége is bővül. A Microsoft idén jelentette be, hogy a mesterséges intelligencia segítségével valós időben fordítja le és szinkronizálja a YouTube-videókat. Júliusban a Vimeo alkotói platform a hang és a feliratok lefordítására szolgáló eszközöket mutatott be, melyek a beszélő hangját MI-technológiával lemásolják. Számos vállalat kínál hangklónozó vagy MI-fordító eszközöket is (vagy néha mindkettőt), többek között a Descript, az ElevenLabs, a Speechify, a Veed, a Camb.ai, a Captions.ai és az Akool, hogy csak néhányat említsünk, valamint olyan eszközöket, amelyekkel több tucat nyelven beszélő MI-avatárokkal lehet videókat készíteni, mint például a HeyGen, a Deepbrain AI és mások. A szinkronizáló és szájszinkronizáló MI-könyvtárak, mint például a Wav2lip, szintén megkönnyítették a startupok számára az ilyen típusú eszközök létrehozását, miközben azzal kecsegtetik az alkotókat, hogy megkönnyítik és talán megfizethetőbbé teszik az MI-technológia használatát.
A D-ID mesterséges intelligenciával működő videokészítő platform egy mesterséges intelligencia-technológiával működő videókat lefordító eszközt készített. Különlegessége, hogy az MI a szerkesztési folyamat részeként a beszélő hangját is klónozza, és az ajkak mozgását is úgy módosítja, hogy az megfeleljen a lefordított szavaknak. A technológia a D-ID korábbi munkájából származik, amelynél a felhasználók animálhatták régebbi családi fotóikat, és később ezek a képek képesek voltak meg is szólalni. Ennek a sikernek köszönhetően a startup 2022-ben 25 millió dollár tőkét tudott bevonni, amelynek célja az Egyesült Államokban egyre növekvő számú vállalati ügyfeleinek kiszolgálása volt, akik a technológiáját MI-alapú videók készítésére használták.
A vállalat most bevezetett AI Video Translate technológiájával - amelyet jelenleg a D-ID előfizetői számára ingyenesen kínálnak - az alkotók automatikusan lefordíthatják videóikat más nyelvekre, hogy ezzel is segítsék az elérésük bővítését. Jelenleg összesen 30 nyelv áll rendelkezésre, többek között arab, mandarin, japán, hindi, spanyol és francia. A D-ID előfizetés a legolcsóbb csomag és a legkisebb számú, MI-funkciókra felhasználható kredit esetén évi 56 dollárról indul és egészen évi 1293 dollárig skálázódik fel, a még nagyobb felhasználók pedig vállalati árképzést kérhetnek. A D-ID szerint az új videotechnológiával ügyfeleik megspórolhatják a lokalizációs költségeiket, amikor kampányaikat globális közönségre méretezik olyan területeken, mint a marketing, a szórakoztatás és a közösségi média. Az eszközt a D-ID újonnan kifejlesztett, Rosetta-1 nevű saját modellje hajtja.
A D-ID közlése szerint az új videófordítási technológia a D-ID Studio és annak API-ja révén lesz elérhető. Egy hónapos próbaidőszakot kínálnak, és demók is találhatók a cég weboldalán. A videók hossza 10 másodperc és 5 perc között lehet, a fájlméret pedig nem haladhatja meg a 2 GB-ot. A funkció csak egy képen szereplő személynél működik, akinek a legjobb eredmény érdekében a kamerával szemben kell állnia, és az arcának mindig láthatónak kell lennie.
A szinkronizálási technológiák lehetővé teszik a videónézők számára, hogy a saját nyelvükön hallgathassanak meg egy adott hanganyagot, de ezek gyakran elérhetetlenek a kisebb alkotók számára. Ez változott, ahogy a vállalatok javították a technológiához való hozzáférést: a YouTube például többnyelvű hangfunkciót adott ki, amelynek célja, hogy segítse alkotóit a közönséggel való kapcsolatteremtésben azáltal, hogy videóikat más nyelvekre fordítják. Egy ismert alkotó, MrBeast (Jimmy Donaldson) a korai alkalmazók között volt, aki a technológiát arra használta, hogy több népszerű videóját 11 további nyelvre is átültesse.
A mesterséges intelligencia segítségével a hangok létrehozásának, lefordításának vagy klónozásának lehetősége is bővül. A Microsoft idén jelentette be, hogy a mesterséges intelligencia segítségével valós időben fordítja le és szinkronizálja a YouTube-videókat. Júliusban a Vimeo alkotói platform a hang és a feliratok lefordítására szolgáló eszközöket mutatott be, melyek a beszélő hangját MI-technológiával lemásolják. Számos vállalat kínál hangklónozó vagy MI-fordító eszközöket is (vagy néha mindkettőt), többek között a Descript, az ElevenLabs, a Speechify, a Veed, a Camb.ai, a Captions.ai és az Akool, hogy csak néhányat említsünk, valamint olyan eszközöket, amelyekkel több tucat nyelven beszélő MI-avatárokkal lehet videókat készíteni, mint például a HeyGen, a Deepbrain AI és mások. A szinkronizáló és szájszinkronizáló MI-könyvtárak, mint például a Wav2lip, szintén megkönnyítették a startupok számára az ilyen típusú eszközök létrehozását, miközben azzal kecsegtetik az alkotókat, hogy megkönnyítik és talán megfizethetőbbé teszik az MI-technológia használatát.