SG.hu

Az MI PC valójában egy beépített neurális egységen múlik

A jelenlegi PC-k még nem rendelkeznek mesterséges intelligencia processzorral, de a lényeg úgyis a szoftvertámogatás lesz.

Amikor a Microsoft a múlt hónapban bejelentette a PC-billentyűzetekre kerülő új Copilot billentyűt, a szoftvercég 2024-et "az MI PC évének" nyilvánította. Ez bizonyos szinten csak egy PR-barát kijelentés, amely azt hivatott megmutatni a befektetőknek, hogy a Microsoft folytatni kívánja a mesterséges intelligencia előtérbe helyezését, és amely hype-ra ráülve letaszította az Apple-t a legértékesebb tőzsdén jegyzett vállalatának trónjáról. Műszakilag nézve az idéntől kezdve gyártott és értékesített PC-k általában olyan MI- és gépi tanulási feldolgozási képességeket tartalmaznak majd, amelyeket a régebbi PC-k nem.

A legfontosabb MI szempontból a neurális feldolgozó egység, az NPU. Ez a legújabb csúcskategóriás Intel és AMD processzorok olyan speciális blokkja, amely a CPU-nál vagy a GPU-nál gyorsabban (vagy kevesebb energiafelhasználás mellett) képes felgyorsítani bizonyos típusú generatív MI és gépi tanulási munkameneteket. A Qualcomm Windows PC-i az elsők között voltak, amelyekbe NPU-t építettek, mivel a legtöbb okostelefonban használt Arm processzorok már néhány éve tartalmaznak valamilyen gépi tanulási gyorsítást (az Apple Mac-ek M-sorozatú chipjei is rendelkeznek ilyenekkel, egészen a 2020-as M1-ig visszamenőleg). A Windows Arm verziója azonban a teljes PC-piacnak egy jelentéktelenül apró szelete. A PC-felhasználók többségénél az első találkozása az ilyen hardverekkel az Intel Core Ultra lapkáinál, az AMD Ryzen 7040/8040-es sorozatú laptop CPU-i vagy a Ryzen 8000G asztali CPU-kkal felszerelt x86-os PC-k lesznek.

De jelenleg még ha van is a PC-ben NPU, a Windows nem sok mindenre tudja használni azt a webkamera hátterének elmosásán és egy maroknyi egyéb videoeffektuson kívül. Ez azonban lassan meg fog változni, és ennek része lesz az is, hogy a fejlesztők számára ugyanúgy viszonylag egyszerűvé válik az NPU-ra épülő alkalmazások létrehozása, ugyanúgy, ahogyan a PC-s játékfejlesztők jelenleg GPU-t használó játékokat készítenek. A játékpélda azért tanulságos, mert a Microsoft alapvetően így közelíti meg a DirectML-t, a gépi tanulási műveletek API-ját. Bár eddig leginkább arra használták, hogy ezeket az MI-munkaterheléseket GPU-kon futtassák, a Microsoft a múlt héten bejelentette, hogy a DirectML 1.13.1 és az ONNX Runtime 1.17-es verziójával kezdődően fejlesztői előnézetben hozzáadta a DirectML-támogatást az Intel Meteor Lake NPU-khoz.


Bár csak egy meg nem határozott "a támogatásra szánt gépi tanulási modellek egy részhalmazát" fogja futtatni, és előfordulhat, hogy néhány "egyáltalán nem fut, vagy nagy késleltetéssel vagy alacsony pontossággal rendelkezik", ez megnyitja az ajtót több harmadik féltől származó alkalmazás előtt, hogy elkezdjék kihasználni a beépített NPU-k előnyeit. Az Intel szerint a Samsung az Intel NPU-t és a DirectML-t használja az arcfelismerő funkciókhoz a fotógaléria alkalmazásában, és az Apple is ilyenekre használja a Neural Engine-t a macOS-ben és az iOS-ben. Az előnyök jelentősek lehetnek ahhoz képest, hogy ezeket a munkameneteket GPU-n vagy CPU-n futtatjuk. "Az NPU-t az Intel birodalmában nagyrészt energiahatékonysági okokból fogják használni" - mondta Robert Hallock, az Intel műszaki marketingért felelős vezető igazgatója a Meteor Lake képességeiről. "A kamera szegmentálása és a háttér elmosásának NPU-ra való áthelyezése körülbelül 30-50 százalékos energiamegtakarítást eredményez a máshol történő futtatással szemben."

Az Intel és a Microsoft is egy olyan modell felé tart, amelyben az NPU-kat nagyjából úgy kezelik, mint ma a GPU-kat: a fejlesztők általában a DirectX-et célozzák meg, nem pedig egy adott grafikus kártyagyártót vagy GPU-architektúrát, és az új funkciók, egyszeri hibajavítások és teljesítményjavítások mind a GPU-illesztőprogram frissítésein keresztül valósulhatnak meg. Egyes GPU-k bizonyos játékokat jobban futtatnak, mint mások, és a fejlesztők dönthetnek úgy, hogy több időt fordítanak az Nvidia vagy az AMD kártyákra történő optimalizálásra, de általában a modell hardverfüggetlen. Hasonlóképpen, az Intel már kínál GPU-stílusú illesztőprogram-frissítéseket az NPU-khoz. Hallock szerint pedig a Windows már lényegében "renderelési képesség nélküli grafikus kártyaként" ismeri fel az NPU-t.

Az AMD RyzenAI NPU-i egyelőre nem támogatják a DirectML-t, és a Feladatkezelőben (Task Managerben) sem jelennek meg úgy, mint az Intel NPU-i. Matthew Hurwitz, az AMD PR-menedzsere elmondta, hogy az AMD GPU-i már támogatják a DirectML-t, és hogy a vállalat "aktívan együttműködik a Microsofttal, hogy megvitassák a lehetséges NPU-támogatást". Hurwitz azt is elmondta, hogy "nagyon hamarosan hallani fogunk az AMD-től" arról, hogy az NPU-khoz hozzáadják a Task Manager támogatást.

Mindezek alapján, bár az NPU-k 2024-ben sokkal szélesebb körben lesznek elérhetőek, mint korábban, még mindig szinte kizárólag vadonatúj és csúcskategóriás chipekbe kerülnek. Napjainkban az Intel és az AMD rendszeresen régebbi CPU-architektúrákat nevez át újakká, vagy a mainstream és az alsókategóriába tartozó PC-k piacát nem új, hanem korábbi generációs chipekkel szolgálja ki. Az Intel vadonatúj, nem Ultra Core processzorai nem tartalmaznak saját NPU-t, és csak a csúcsminőségű Ryzen 7000 és Ryzen 8000 laptop chipek tartalmaznak ilyet. Tehát a csúcskategóriás laptopokban nagy valószínűséggel lesz NPU, de középkategóriás, vagy olcsó laptop/asztali számítógépet vásárlása esetén akár még egy-két évet kell várnia, amíg az NPU-k alapfelszereltséggé válnak.

Az NPU-k kispórolása a mainstream rendszerekből azt jelenti, hogy a szoftverek sem fognak gyorsan elterjedn, hiszen ha a fejlesztők nem feltételezhetik, hogy a legtöbb rendszerben lesz NPU, akkor kevésbé ösztönzik őket arra, hogy megpróbálják támogatni őket. Az Intel, az AMD és a Microsoft mégis eléggé elkötelezettnek tűnik az ötlet mellett ahhoz, hogy 2024-re úgy tekintsünk vissza, mint egy kisebb fordulópontra a PC fejlődésében, ahogyan a TPM széleskörű elterjedése is kisebb fordulópont lett, amikor a Windows 11 elkezdte megkövetelni a TPM-eket. Most már csak ki kell várnunk, hogy meglássuk, milyen dolgokra fogják őket ténylegesen használni.

Hozzászólások

A témához csak regisztrált és bejelentkezett látogatók szólhatnak hozzá!
Bejelentkezéshez klikk ide
(Regisztráció a fórum nyitóoldalán)
  • kvp #5
    "Vagyis egy igazán hagy teljesítményű CPU és GPU egybe integrálása azét macerás volna az áramfelvétel és hőtermelés miatt."

    Erre valo a nagyobb chip felulet es a multi die megoldas, amikor tobb eltero tipusu die van egybe tokozva egy nagyobb feluletu chipen belul. Ilyeneket tervez a Samsung es ujabban az Apple is. Nagyon jok teljesitmeny szempontjabol is. Igy a vektoros egysegek szamolhatnak videokodolast, titkositast, 3d megjelenitest vagy MI-t is, eppen mire van szukseg, raadasul dinamikusan oszthatoak el, hogy melyik task mennyi eroforrast kapjon. A kulcs egyebkent az egyseges memoria architektura, tehat az, hogy ne kelljen adatokat mozgatni a cpu-k es a vektoros egysegek kozott, igy minden egyseg lat minden adatot es osztozhatnak a cache-ek egy reszen is. Ez utobbi miatt bukott akkorat a ps3 cell cpu-ja, ott a masolas es a kis lokalis ram-ok miatt joreszt hasznalhatatlanok voltak a vektoros egysegek es ezert jok az apple M sorozatu chipek. (egyebkent ezekben mar van neuralis mag is, de valojaban osztoznak a cpu-k es a gpu-k hardvereinek egy reszen, sajnos az apple valamiert nem engedi kozvetlenul programozni oket)
  • t_robert #4
    Az egy chipbe integrálásnak azért van egy kellemetlen következménye nagyobb áramfelvétel több hő nehezebb hűtés. Ha most egybe integrálnának egy top GPU-t és egy CPU-t azért kíváncsi vagyok hogy tudnák eredményesen hűteni a gyufásdoboz méretű felületen át. Azért egy ütös teljesítményhez azért csak oda kell rakni rendesen a komoly elektromos teljesítményt. Az egy dolog, hogy valamivel később megjelennek nagyjából egy architektúra kisebb fogyasztású mobilchipes verziói, de azok azért mindig elmaradnak teljesítményben az ős asztali verziók teljesítményétől. Vagyis egy igazán hagy teljesítményű CPU és GPU egybe integrálása azét macerás volna az áramfelvétel és hőtermelés miatt.
  • freeapro #3
    Miben különbözik az NPU a GPU-tól? Az AI most GPU-n fut, mivel rengeteg párhuzamos mátrix szorzásokat igényel, mi az amit az NPU-k jobban, vagy hatékonyabban csinálnak?
  • kvp #2
    Egyertelmuen nincs ertelme plusz egy vektor egyseget berakni, ha a videokartyak mar ugyis pont erre vannak optimalizalva. Sot igazabol az egesz videokartya/processzor elkulonites folosleges. Egyszerubb lenne ha cpu es vpu lenne a nevuk es egy chipbe integralnak oket. Ezzel ugyan kidobnak a gpu-k fix pipeline-jait (meg mindig van egy csomo, meg hardveres video dekodolasra is kulon) es csak szoftveres vektoros shader-ekbol allna minden gpu, de azokbol tobb ferne el.
  • NEXUS6 #1
    Hát igen, az alkalmazások hiánya nagy probléma. Azon kívül, hogy valós időben cicafület rajzoltatok az aktuálisan nézett sztrímelt videón a szereplők/barátnő/politikus/celebek fejére, jelenleg nem ismert olyan a modern társadalomban való létezéshez nélkülözhetetlen alkalmazás, ami ezt a bővítést igényelné.
    Játékszoftvernél, más alkalmazásnál, ahogy a cikk is írja, eddig amihez kellett/lehetett átterhelték a GPU-ra, szal fölöslegesnek tűnik még egy egységet a CPU-ba berakni.

    Az lesz ezzel is, mint a fizikai gyorsító egységgel. Beharangozták, hogy eztán majd anélkül nem lehet élni, aztán az is kb a GPU-n kötött ki szoftver formájában.