SG.hu
A Meta kiadta nyílt forráskódú MI-je második verzióját
A Meta ma bejelentette az MI modellek új tagját, a Llama 2-t (Large Langue Model Meta Ai 2-t), amely olyan modellek gyűjteménye, amelyek más chatbot-szerű rendszerekhez hasonlóan kérésre szöveget és kódot generálnak. A Meta állítása szerint a nyilvánosan elérhető adatok keverékén kiképezett Llama 2 teljesítménye jelentősen meghaladja a Llama modellek előző generációját. A modellek felhasználásával épített MI-technológiák virágzó nyílt forráskódú ökoszisztémája meggátolhatja a riválisok azon terveit, hogy bevételre tegyenek szert saját fejlesztésű technológiájukból, amelynek értéke elpárolog, ha a fejlesztők ingyenesen használhatnának hasonlóan nagy teljesítményű nyílt forráskódú rendszereket.
A cég ezzel a startupoknak és más vállalkozásoknak egy hatékony, ingyenes alternatívát kínál az OpenAI és a Google által forgalmazott, drága, szabadalmaztatott modellekkel szemben. A cég a modell új verzióját a Microsoft Azure felhőszolgáltatásán keresztül fogja terjeszteni és Windows operációs rendszeren fut majd - írta blogbejegyzésében a Meta, amely a Microsoftot "kiemelt partnerünkként" említi. (A Qualcomm azon dolgozik, hogy a Llama 2 2024-ben megjelenjen a Snapdragon eszközökön, így mobiltelefonokon is futhat majd.) Az előző verziót a vállalat korábban csak kiválasztott akadémikusoknak kutatási célokra engedélyezte, de az új modell a blogbejegyzés és a Meta vezérigazgatójának, Mark Zuckerbergnek egy külön Facebook-bejegyzése szerint egyszerű letöltéssel is elérhetővé válik.
"A nyílt forráskód ösztönzi az innovációt, mert sokkal több fejlesztő számára teszi lehetővé, hogy a technológiát építésre használja" - írta Zuckerberg. "Hiszem, hogy gyorsabb fejlődést jelentene, ha az ökoszisztéma nyitottabb lenne". Ezzel együtt egy ilyen kifinomult modell széles körben és ingyenesen elérhetővé tétele bárki számára komoly mélyütés az OpenAI-nak, amelyet a Microsoft támogat, és amelynek modelljeit az Azure-on keresztül már árulják üzleti ügyfeleknek. "Az első Llama is versenyképes volt az OpenAI ChatGPT-jét és a Google Bard chatbotját működtető modellekkel, míg az új Llamát 40%-kal több adaton képezték ki, mint elődjét, több mint 1 millió emberi megjegyzéssel, hogy finomhangolják a kimenetek minőségét" - mondta Zuckerberg.
A Meta a Microsofttal partnerségben adta ki a LLaMA generatív nyelvi modell új változatát
A Llama 2 két változatban, Llama 2 és Llama 2-Chat néven érhető el, az utóbbit a kétirányú beszélgetésekhez hangolták. A Llama 2 és a Llama 2-Chat különböző kifinomultságú változatokra oszlik tovább. Bár teljesítményben nem tudja felvenni a versenyt az OpenAI GPT-4 modelljével, egy nyílt forráskódú modellhez képest nagyon jól teljesít. "Előképzett" modelljei 2 trillió tokenenre vannak kiképezve, és 4096 tokenből (szótöredékből) álló kontextusablakkal rendelkeznek. (A kontextusablak határozza meg, hogy a modell milyen hosszú tartalmat tud egyszerre feldolgozni. Az angol fantasztikus szó három tokenből áll: "fan", "tas" és "tic".) A Google jelenlegi zászlóshajóját, a PaLM 2-t 3,6 millió tokenre, a GPT-4-et feltételezések szerint már billiónyi tokenre képezték.
A Llama 2 egyetlen GPU-n is futtatható, mérete 7 és 70 milliárd paraméter között mozog. A paraméterek a modell képességeit határozzák meg egy problémára, jelen esetben a szöveggenerálásra vonatkozóan. Teljesítménye a Meta szerint "a legtöbb tesztelt benchmarkon felülmúlja a nyílt forráskódú csevegőmodelleket" és "több mint 1 millió emberi megjegyzésen" lettek betanítva. A Meta a mellékelt fehér könyvben nem árulta el a képzési adatok konkrét forrásait, csak annyit közöltek, hogy azok a világhálóról származnak, többnyire angol nyelven, nem a vállalat saját termékeiből vagy szolgáltatásaiból, és a hangsúly a "tényszerű" szövegeken van. A képzési részletek felfedésétől való tartózkodást nemcsak versenyszempontok indokolhatják, hanem a generatív mesterséges intelligencia körüli jogi viták is, nem akarnak támadási felületet adni az őket beperlőknek.
A bejelentésnek a Microsoft legnagyobb felhőalapú riválisai, a Google és az Amazon biztosan nem örülnek, mert minap jelentették be, hogy üzleti ügyfeleik többféle MI-modell közül választhatnak. Az Amazon például a saját Titan modellcsaládja mellett a Claude-hoz - a magasan jegyzett Anthropic startup MI-jéhez - való hozzáférést is forgalmazza. A Google szintén közölte, hogy tervezi a Claude és más modellek elérhetővé tételét felhőalapú ügyfelei számára. "A kereskedelmi Llama megváltoztathatja a képet" - mondta Amjad Masad, a Replit szoftverfejlesztő platform vezérigazgatója, aki szerint a náluk lévő projektek több mint 80%-a az OpenAI modelljeit használja. "A nyílt forráskódú modellek gyors fejlődése elemészti a zárt forráskódú modellek piaci részesedését, mert olcsóbban lehet őket futtatni és kisebb a függőség" - mondta Masad.
A Meta haszna a riválisok terveinek tönkretételén túl az lehet, hogy előnyt kovácsolhat majd azokból a fejlesztésekből, hibajavításokból és termékekből, amelyek a saját modelljéből nőnek majd ki. A Llama 2 az MI-innováció alapértelmezett célpontjává válik, ahogyan az az elmúlt években a széles körben elfogadott nyílt forráskódú keretrendszerrel, a PyTorch-csal történt. A nyílt forráskódú mesterséges intelligencia hívei gyakran érvelnek azzal, hogy a nyílt forráskódú mesterséges intelligenciamodellek elősegítik az átláthatóságot (a készítésükhöz használt képzési adatok tekintetében), elősegítik a gazdasági versenyt (nem korlátozzák a technológiát az óriásvállalatokra), ösztönzik a szólásszabadságot (nincs cenzúra), és demokratizálják a mesterséges intelligenciához való hozzáférést (fizetőfal-korlátozások nélkül).
Zuckerberg áprilisban azt mondta a befektetőknek, hogy a Meta mint közösségi médiavállalat többet nyerhet azzal, ha hatékonyan, tömegesen megszervezi az infrastrukturális költségek csökkentésének módjait és maximalizálja az új, fogyasztóbarát eszközök létrehozását, amelyek vonzhatják az embereket a hirdetésekkel támogatott szolgáltatásaihoz, mintha díjat számítana fel a modelljeihez való hozzáférésért. "A terület néhány más vállalatával ellentétben mi nem olyan felhőalapú számítástechnikai szolgáltatást árulunk, ahol megpróbáljuk a különböző szoftverinfrastruktúrákat, amelyeket építünk, saját tulajdonunkban tartani" - mondta Zuckerberg. "Számunkra sokkal jobb, ha az iparág szabványosítja az általunk használt alapvető eszközöket, és így mi is profitálhatunk a mások által végrehajtott fejlesztésekből."
A Llama szabadjára engedése azonban kockázatokkal is jár, mivel határozottan megkönnyíti gátlástalan szereplők számára, hogy a biztonságra fittyet hányó termékeket készítsenek. Jelenleg ha valaki vitatott tevékenységet végez az OpenAI ChatGPT API-jával a hozzáférés visszavonható. De a nyílt forráskódú szoftverek esetében ha egyszer a fájlok kikerülnek, nincs visszaút. De a Meta vezetői azt mondják, hogy a technológiák nyilvános kiadása valójában csökkenti a biztonsági kockázatokat azáltal, hogy a tömeg bölcsességét tudják felhasználni a problémák azonosítására és a rendszerek ellenálló képességének erősítésére. Ezen túl a licencfeltételekben tiltanak "bizonyos felhasználási eseteket", beleértve az erőszakot, a terrorizmust, a gyermekek kizsákmányolását és más bűncselekményeket.
A Meta februárban adta ki a Llama 2 előfutárát, a LLaMA-t nyílt forráskódú, nem kereskedelmi licenccel. Hivatalosan csak bizonyos jogosultságokkal rendelkező akadémikusok számára volt elérhető, de természetesen torrentoldalakon is megjelentek a betanított neurális hálózatok paraméter-értékeit tartalmazó fájlok, így széles körben elterjedt a mesterséges intelligencia közösségben. Hamarosan megjelentek a LLaMA finomhangolt változatai, mint például az Alpaca, ez adta a magját a gyorsan növekvő földalatti LLM-fejlesztői szcénának. A Llama 2 ezt a közösséget a kereskedelmi felhasználás engedélyezésével teljes mértékben legálissá teszi. Viszont a "több mint 700 millió havi aktív felhasználóval" rendelkező potenciális licenctulajdonosoknak külön engedélyt kell kérniük a Meta-tól a használathoz, ami potenciálisan kizárja, hogy az Amazon vagy a Google méretű óriáscégek szabadon használhassák.
A cég ezzel a startupoknak és más vállalkozásoknak egy hatékony, ingyenes alternatívát kínál az OpenAI és a Google által forgalmazott, drága, szabadalmaztatott modellekkel szemben. A cég a modell új verzióját a Microsoft Azure felhőszolgáltatásán keresztül fogja terjeszteni és Windows operációs rendszeren fut majd - írta blogbejegyzésében a Meta, amely a Microsoftot "kiemelt partnerünkként" említi. (A Qualcomm azon dolgozik, hogy a Llama 2 2024-ben megjelenjen a Snapdragon eszközökön, így mobiltelefonokon is futhat majd.) Az előző verziót a vállalat korábban csak kiválasztott akadémikusoknak kutatási célokra engedélyezte, de az új modell a blogbejegyzés és a Meta vezérigazgatójának, Mark Zuckerbergnek egy külön Facebook-bejegyzése szerint egyszerű letöltéssel is elérhetővé válik.
"A nyílt forráskód ösztönzi az innovációt, mert sokkal több fejlesztő számára teszi lehetővé, hogy a technológiát építésre használja" - írta Zuckerberg. "Hiszem, hogy gyorsabb fejlődést jelentene, ha az ökoszisztéma nyitottabb lenne". Ezzel együtt egy ilyen kifinomult modell széles körben és ingyenesen elérhetővé tétele bárki számára komoly mélyütés az OpenAI-nak, amelyet a Microsoft támogat, és amelynek modelljeit az Azure-on keresztül már árulják üzleti ügyfeleknek. "Az első Llama is versenyképes volt az OpenAI ChatGPT-jét és a Google Bard chatbotját működtető modellekkel, míg az új Llamát 40%-kal több adaton képezték ki, mint elődjét, több mint 1 millió emberi megjegyzéssel, hogy finomhangolják a kimenetek minőségét" - mondta Zuckerberg.
A Meta a Microsofttal partnerségben adta ki a LLaMA generatív nyelvi modell új változatát
A Llama 2 két változatban, Llama 2 és Llama 2-Chat néven érhető el, az utóbbit a kétirányú beszélgetésekhez hangolták. A Llama 2 és a Llama 2-Chat különböző kifinomultságú változatokra oszlik tovább. Bár teljesítményben nem tudja felvenni a versenyt az OpenAI GPT-4 modelljével, egy nyílt forráskódú modellhez képest nagyon jól teljesít. "Előképzett" modelljei 2 trillió tokenenre vannak kiképezve, és 4096 tokenből (szótöredékből) álló kontextusablakkal rendelkeznek. (A kontextusablak határozza meg, hogy a modell milyen hosszú tartalmat tud egyszerre feldolgozni. Az angol fantasztikus szó három tokenből áll: "fan", "tas" és "tic".) A Google jelenlegi zászlóshajóját, a PaLM 2-t 3,6 millió tokenre, a GPT-4-et feltételezések szerint már billiónyi tokenre képezték.
A Llama 2 egyetlen GPU-n is futtatható, mérete 7 és 70 milliárd paraméter között mozog. A paraméterek a modell képességeit határozzák meg egy problémára, jelen esetben a szöveggenerálásra vonatkozóan. Teljesítménye a Meta szerint "a legtöbb tesztelt benchmarkon felülmúlja a nyílt forráskódú csevegőmodelleket" és "több mint 1 millió emberi megjegyzésen" lettek betanítva. A Meta a mellékelt fehér könyvben nem árulta el a képzési adatok konkrét forrásait, csak annyit közöltek, hogy azok a világhálóról származnak, többnyire angol nyelven, nem a vállalat saját termékeiből vagy szolgáltatásaiból, és a hangsúly a "tényszerű" szövegeken van. A képzési részletek felfedésétől való tartózkodást nemcsak versenyszempontok indokolhatják, hanem a generatív mesterséges intelligencia körüli jogi viták is, nem akarnak támadási felületet adni az őket beperlőknek.
A bejelentésnek a Microsoft legnagyobb felhőalapú riválisai, a Google és az Amazon biztosan nem örülnek, mert minap jelentették be, hogy üzleti ügyfeleik többféle MI-modell közül választhatnak. Az Amazon például a saját Titan modellcsaládja mellett a Claude-hoz - a magasan jegyzett Anthropic startup MI-jéhez - való hozzáférést is forgalmazza. A Google szintén közölte, hogy tervezi a Claude és más modellek elérhetővé tételét felhőalapú ügyfelei számára. "A kereskedelmi Llama megváltoztathatja a képet" - mondta Amjad Masad, a Replit szoftverfejlesztő platform vezérigazgatója, aki szerint a náluk lévő projektek több mint 80%-a az OpenAI modelljeit használja. "A nyílt forráskódú modellek gyors fejlődése elemészti a zárt forráskódú modellek piaci részesedését, mert olcsóbban lehet őket futtatni és kisebb a függőség" - mondta Masad.
A Meta haszna a riválisok terveinek tönkretételén túl az lehet, hogy előnyt kovácsolhat majd azokból a fejlesztésekből, hibajavításokból és termékekből, amelyek a saját modelljéből nőnek majd ki. A Llama 2 az MI-innováció alapértelmezett célpontjává válik, ahogyan az az elmúlt években a széles körben elfogadott nyílt forráskódú keretrendszerrel, a PyTorch-csal történt. A nyílt forráskódú mesterséges intelligencia hívei gyakran érvelnek azzal, hogy a nyílt forráskódú mesterséges intelligenciamodellek elősegítik az átláthatóságot (a készítésükhöz használt képzési adatok tekintetében), elősegítik a gazdasági versenyt (nem korlátozzák a technológiát az óriásvállalatokra), ösztönzik a szólásszabadságot (nincs cenzúra), és demokratizálják a mesterséges intelligenciához való hozzáférést (fizetőfal-korlátozások nélkül).
Zuckerberg áprilisban azt mondta a befektetőknek, hogy a Meta mint közösségi médiavállalat többet nyerhet azzal, ha hatékonyan, tömegesen megszervezi az infrastrukturális költségek csökkentésének módjait és maximalizálja az új, fogyasztóbarát eszközök létrehozását, amelyek vonzhatják az embereket a hirdetésekkel támogatott szolgáltatásaihoz, mintha díjat számítana fel a modelljeihez való hozzáférésért. "A terület néhány más vállalatával ellentétben mi nem olyan felhőalapú számítástechnikai szolgáltatást árulunk, ahol megpróbáljuk a különböző szoftverinfrastruktúrákat, amelyeket építünk, saját tulajdonunkban tartani" - mondta Zuckerberg. "Számunkra sokkal jobb, ha az iparág szabványosítja az általunk használt alapvető eszközöket, és így mi is profitálhatunk a mások által végrehajtott fejlesztésekből."
A Llama szabadjára engedése azonban kockázatokkal is jár, mivel határozottan megkönnyíti gátlástalan szereplők számára, hogy a biztonságra fittyet hányó termékeket készítsenek. Jelenleg ha valaki vitatott tevékenységet végez az OpenAI ChatGPT API-jával a hozzáférés visszavonható. De a nyílt forráskódú szoftverek esetében ha egyszer a fájlok kikerülnek, nincs visszaút. De a Meta vezetői azt mondják, hogy a technológiák nyilvános kiadása valójában csökkenti a biztonsági kockázatokat azáltal, hogy a tömeg bölcsességét tudják felhasználni a problémák azonosítására és a rendszerek ellenálló képességének erősítésére. Ezen túl a licencfeltételekben tiltanak "bizonyos felhasználási eseteket", beleértve az erőszakot, a terrorizmust, a gyermekek kizsákmányolását és más bűncselekményeket.
A Meta februárban adta ki a Llama 2 előfutárát, a LLaMA-t nyílt forráskódú, nem kereskedelmi licenccel. Hivatalosan csak bizonyos jogosultságokkal rendelkező akadémikusok számára volt elérhető, de természetesen torrentoldalakon is megjelentek a betanított neurális hálózatok paraméter-értékeit tartalmazó fájlok, így széles körben elterjedt a mesterséges intelligencia közösségben. Hamarosan megjelentek a LLaMA finomhangolt változatai, mint például az Alpaca, ez adta a magját a gyorsan növekvő földalatti LLM-fejlesztői szcénának. A Llama 2 ezt a közösséget a kereskedelmi felhasználás engedélyezésével teljes mértékben legálissá teszi. Viszont a "több mint 700 millió havi aktív felhasználóval" rendelkező potenciális licenctulajdonosoknak külön engedélyt kell kérniük a Meta-tól a használathoz, ami potenciálisan kizárja, hogy az Amazon vagy a Google méretű óriáscégek szabadon használhassák.