SG.hu
Nagyon megerősíti a PC-ket az MI hajszolása
Mi az az "MI PC"? Milyen alkalmazással lehet eladni? Mindkettő nyitott kérdés, de az már most biztos, hogy a mesterséges intelligencia-modellek helyi futtatása jelentős teljesítményt igényel.
A mesterséges intelligencia modellek lokális működéséhez vagy a PC-knek kell erősebbé, vagy a mesterséges intelligencia modelleknek kell takarékosabbá válniuk. Az Intel és az AMD úgynevezett MI PC-inek idén piacra kerülő első adagjánál gyakran hivatkoznak az olyan kompakt, nagy nyelvi modellekre, mint a Llama 2 7B vagy a Stable Diffusion. Bár ezek a GPT-4-hez hasonló modellekhez képest kicsik, még mindig elég nagy igénybevételt jelentenek egy átlagos mai személyi számítógép számára. De ahogyan azt a szoftverkövetelmények korábbi ugrásszerű növekedése esetében is láthattuk, a vásárlók számára az MI erőforrás-igényes volta valószínűleg jól fog elsülni.
A Windows 7 2009-es bevezetése jól példázza, hogy a szoftverek hogyan kényszerítették a PC-piacot a fejlődésre. A három évvel korábban megjelent Windows Vista hatalmas rendszerkövetelményekkel rendelkezett elődjéhez, a Windows XP-hez képest. Utóbbi nagyon jól futott 512 MB RAM-mal, de a Vista esetében ez volt a minimum, ez az egyik oka annak, hogy olyan kevés netbookon futott a sokat szidott operációs rendszer, és sok laptopgyártó inkább az XP mellett döntött. A Windows 7 képességei viszont már elég meggyőzőek voltak ahhoz, hogy rengeteg ember beruházzon a hardverbe, hogy kihasználhassák az előnyeit.
A mesterséges intelligenciának hasonló piacformáló erőt tulajdonítanak. Az újgenerációs grafikai kártyával és/vagy integrált neurális feldolgozóegységgel (NPU) rendelkező, felső-középkategóriás vagy afeletti noteszgépek esetében ez valóban nem jelent majd problémát - legalábbis számítási szempontból. De ha memóriáról van szó, a 8 GB már egyszerűen nem lesz elég. Egy mesterséges intelligencia-alkalmazáshoz talán még megfelel, de már egy kisebb modell futtatásához is nagyobb a követelmény. A Llama 2 7B még négybites kvantálással is körülbelül 3,5 GB memóriát és egy elég erős GPU-t és/vagy NPU-t igényel, hogy élvezhető élményt nyújtson. Tehát nyilvánvaló, hogy a PC minimális specifikációjának erősebbnek kell lennie.
A TrendForce szerint pontosan ez történik. Friss jelentésében a piackutató cég azt állítja, hogy a Microsoft az MI PC-ket 16 GB RAM-mal és 40 tera-operáció/másodperc (TOPS) NPU következtetési teljesítménnyel fogja meghatározni. Az Intel, az AMD és az Apple legújabb notebookchipjeiben található NPU-k 16-18 TOPS teljesítményre képesek. Van tehát még mit fejlődni, ha a TrendForce állításai helytállóak. A 40 TOPS azonban nagyjából megfelel annak, amit az Intel és az AMD legújabb processzorcsaládjaitól várhatunk - amelyek egyesítik a CPU, a GPU és az NPU erőforrásokat.
Az olyan nagyobb modellek, mint a Llama 2 és a Stable Diffusion még mindig túlnyomórészt a GPU-n fognak futni, amely manapság amúgy is a PC-k mesterséges intelligencia teljesítményének nagy részéért felelős. Az NPU-kat arra tervezték, hogy felgyorsítsák a kisebb gépi tanulási feladatokat az eszközökön - például az arc- és tárgyfelismerést a Galériában vagy az optikai karakterfelismerést. Ezek a modellek elég kicsik ahhoz, hogy anélkül fussanak egy NPU-n, hogy megterhelnék a CPU-t és a GPU-t, vagy túlságosan lemerítenék az akkumulátort.
Persze nem csak a notebook PC-k élvezhetik a teljesítménynövekedést az MI-felhajtás miatt. Az AMD az NPU-t támogató asztali APU-k mellett egy új, 16 GB GDDR6 memóriával rendelkező belépő szintű GPU-t is bemutatott a CES-en a hónap elején. Az RX 7600 XT szinte teljesen megegyezik a tavalyi nem-XT változattal, a fő különbség a több memória és az alig valamivel magasabb órajel. Hogy miért? Nos, a nagyobb igényű játékok támogatásán túl a bővebb videomemória lehetővé teszi, hogy a kártya nagyobb MI modelleket támogasson anélkül, hogy kvantáláshoz folyamodna. 16 GB vRAM-mal könnyedén futtatható egy 7B paraméteres modell félpontossággal (FP16), vagy egy nagyobb modell Int8-as pontossággal. Az AMD ezt a képességet a megjelenés előtti sajtótájékoztatón is hangsúlyozta.
Érdemes megjegyezni, hogy az AMD csak nemrég jelentette be a ROCm keretrendszer támogatását az RDNA grafikus kártyákon, mint például a 7000-es sorozatú termékek. A decemberben bemutatott MI300-as APU-k és GPU-k mellett a chipgyártó bemutatta a Ryzen MI szoftvercsomagot is, amely segít a fejlesztőknek olyan gépi tanulási alkalmazások készítésében, amelyek képesek dinamikusan megcsapolni a CPU, NPU és GPU erőforrásokat. Az Nvidia is megpiszkálta a 40-es sorozatú termékcsaládját MI-barát fejlesztésekkel. A CES-en ebben a hónapban mutatták be az RTX 4070 TI Super-t 16 GB vRAM-mal - a korábbi, nem Super változatot 12 GB-tal szerelték. A chip 256 bites memóriabusszal is büszkélkedhet, így amellett, hogy nagyobb modellek futtatására is képes, a nagyobb sávszélesség felgyorsítja az MI válaszidejét.
Az Nvidia különösen nyíltan beszélt a játékon belüli mesterséges intelligenciával kapcsolatos elképzeléseiről, miszerint a nem játékos karakterekkel való interakciókat izgalmasabbá akarja tenni. Ahogy a játékfejlesztők elkezdik bevezetni a technológiát, várhatóan a rendszerkövetelmények - és végső soron a GPU specifikációk - felfelé kúsznak majd. Hogy az Nvidia vagy az AMD megemeli-e az árakat, hogy ezt fedezze, még nem tudni. Egyértelmű, hogy még az "adjuk ki és reméljük, hogy jönnek a vásárlók" fázisban vagyunk az MI PC fejlődésében. Az erre optimalizált hardverek kritikus tömegének kell a vásárlókhoz kerülnie ahhoz, hogy a szoftverfejlesztők LLM-eket és más gépi tanulási algoritmusokat képezzenek és integráljanak az alkalmazásaikba.
Ahhoz, hogy a méretgazdaságosságnak legyen értelme, meg kell határozni egy olyan minimálisan elfogadható teljesítményszintet, amelyet a felhasználók legnagyobb része megfizethetőnek talál. Ez végső soron azt jelenti, hogy még a belépő szintű rendszerek specifikációi is változni fognak az MI-munkaterhelések kezelése érdekében. Az MI PC-k elfogadásának és az optimalizált szoftverek elérhetőségének növekedésével várhatóan új felhasználási esetek jelennek meg, a modellek egyre nagyobbak lesznek, a rendszerkövetelmények pedig felfelé ívelő tendenciát mutatnak.
A mesterséges intelligencia modellek lokális működéséhez vagy a PC-knek kell erősebbé, vagy a mesterséges intelligencia modelleknek kell takarékosabbá válniuk. Az Intel és az AMD úgynevezett MI PC-inek idén piacra kerülő első adagjánál gyakran hivatkoznak az olyan kompakt, nagy nyelvi modellekre, mint a Llama 2 7B vagy a Stable Diffusion. Bár ezek a GPT-4-hez hasonló modellekhez képest kicsik, még mindig elég nagy igénybevételt jelentenek egy átlagos mai személyi számítógép számára. De ahogyan azt a szoftverkövetelmények korábbi ugrásszerű növekedése esetében is láthattuk, a vásárlók számára az MI erőforrás-igényes volta valószínűleg jól fog elsülni.
A Windows 7 2009-es bevezetése jól példázza, hogy a szoftverek hogyan kényszerítették a PC-piacot a fejlődésre. A három évvel korábban megjelent Windows Vista hatalmas rendszerkövetelményekkel rendelkezett elődjéhez, a Windows XP-hez képest. Utóbbi nagyon jól futott 512 MB RAM-mal, de a Vista esetében ez volt a minimum, ez az egyik oka annak, hogy olyan kevés netbookon futott a sokat szidott operációs rendszer, és sok laptopgyártó inkább az XP mellett döntött. A Windows 7 képességei viszont már elég meggyőzőek voltak ahhoz, hogy rengeteg ember beruházzon a hardverbe, hogy kihasználhassák az előnyeit.
A mesterséges intelligenciának hasonló piacformáló erőt tulajdonítanak. Az újgenerációs grafikai kártyával és/vagy integrált neurális feldolgozóegységgel (NPU) rendelkező, felső-középkategóriás vagy afeletti noteszgépek esetében ez valóban nem jelent majd problémát - legalábbis számítási szempontból. De ha memóriáról van szó, a 8 GB már egyszerűen nem lesz elég. Egy mesterséges intelligencia-alkalmazáshoz talán még megfelel, de már egy kisebb modell futtatásához is nagyobb a követelmény. A Llama 2 7B még négybites kvantálással is körülbelül 3,5 GB memóriát és egy elég erős GPU-t és/vagy NPU-t igényel, hogy élvezhető élményt nyújtson. Tehát nyilvánvaló, hogy a PC minimális specifikációjának erősebbnek kell lennie.
A TrendForce szerint pontosan ez történik. Friss jelentésében a piackutató cég azt állítja, hogy a Microsoft az MI PC-ket 16 GB RAM-mal és 40 tera-operáció/másodperc (TOPS) NPU következtetési teljesítménnyel fogja meghatározni. Az Intel, az AMD és az Apple legújabb notebookchipjeiben található NPU-k 16-18 TOPS teljesítményre képesek. Van tehát még mit fejlődni, ha a TrendForce állításai helytállóak. A 40 TOPS azonban nagyjából megfelel annak, amit az Intel és az AMD legújabb processzorcsaládjaitól várhatunk - amelyek egyesítik a CPU, a GPU és az NPU erőforrásokat.
Az olyan nagyobb modellek, mint a Llama 2 és a Stable Diffusion még mindig túlnyomórészt a GPU-n fognak futni, amely manapság amúgy is a PC-k mesterséges intelligencia teljesítményének nagy részéért felelős. Az NPU-kat arra tervezték, hogy felgyorsítsák a kisebb gépi tanulási feladatokat az eszközökön - például az arc- és tárgyfelismerést a Galériában vagy az optikai karakterfelismerést. Ezek a modellek elég kicsik ahhoz, hogy anélkül fussanak egy NPU-n, hogy megterhelnék a CPU-t és a GPU-t, vagy túlságosan lemerítenék az akkumulátort.
Persze nem csak a notebook PC-k élvezhetik a teljesítménynövekedést az MI-felhajtás miatt. Az AMD az NPU-t támogató asztali APU-k mellett egy új, 16 GB GDDR6 memóriával rendelkező belépő szintű GPU-t is bemutatott a CES-en a hónap elején. Az RX 7600 XT szinte teljesen megegyezik a tavalyi nem-XT változattal, a fő különbség a több memória és az alig valamivel magasabb órajel. Hogy miért? Nos, a nagyobb igényű játékok támogatásán túl a bővebb videomemória lehetővé teszi, hogy a kártya nagyobb MI modelleket támogasson anélkül, hogy kvantáláshoz folyamodna. 16 GB vRAM-mal könnyedén futtatható egy 7B paraméteres modell félpontossággal (FP16), vagy egy nagyobb modell Int8-as pontossággal. Az AMD ezt a képességet a megjelenés előtti sajtótájékoztatón is hangsúlyozta.
Érdemes megjegyezni, hogy az AMD csak nemrég jelentette be a ROCm keretrendszer támogatását az RDNA grafikus kártyákon, mint például a 7000-es sorozatú termékek. A decemberben bemutatott MI300-as APU-k és GPU-k mellett a chipgyártó bemutatta a Ryzen MI szoftvercsomagot is, amely segít a fejlesztőknek olyan gépi tanulási alkalmazások készítésében, amelyek képesek dinamikusan megcsapolni a CPU, NPU és GPU erőforrásokat. Az Nvidia is megpiszkálta a 40-es sorozatú termékcsaládját MI-barát fejlesztésekkel. A CES-en ebben a hónapban mutatták be az RTX 4070 TI Super-t 16 GB vRAM-mal - a korábbi, nem Super változatot 12 GB-tal szerelték. A chip 256 bites memóriabusszal is büszkélkedhet, így amellett, hogy nagyobb modellek futtatására is képes, a nagyobb sávszélesség felgyorsítja az MI válaszidejét.
Az Nvidia különösen nyíltan beszélt a játékon belüli mesterséges intelligenciával kapcsolatos elképzeléseiről, miszerint a nem játékos karakterekkel való interakciókat izgalmasabbá akarja tenni. Ahogy a játékfejlesztők elkezdik bevezetni a technológiát, várhatóan a rendszerkövetelmények - és végső soron a GPU specifikációk - felfelé kúsznak majd. Hogy az Nvidia vagy az AMD megemeli-e az árakat, hogy ezt fedezze, még nem tudni. Egyértelmű, hogy még az "adjuk ki és reméljük, hogy jönnek a vásárlók" fázisban vagyunk az MI PC fejlődésében. Az erre optimalizált hardverek kritikus tömegének kell a vásárlókhoz kerülnie ahhoz, hogy a szoftverfejlesztők LLM-eket és más gépi tanulási algoritmusokat képezzenek és integráljanak az alkalmazásaikba.
Ahhoz, hogy a méretgazdaságosságnak legyen értelme, meg kell határozni egy olyan minimálisan elfogadható teljesítményszintet, amelyet a felhasználók legnagyobb része megfizethetőnek talál. Ez végső soron azt jelenti, hogy még a belépő szintű rendszerek specifikációi is változni fognak az MI-munkaterhelések kezelése érdekében. Az MI PC-k elfogadásának és az optimalizált szoftverek elérhetőségének növekedésével várhatóan új felhasználási esetek jelennek meg, a modellek egyre nagyobbak lesznek, a rendszerkövetelmények pedig felfelé ívelő tendenciát mutatnak.