SG.hu
PC-be építették be az Nvidia szuperchipjét, 47 500 euróért megvehető
Az Nvidia régóta ígért GH200 CPU-GPU szuperchipjei végre forgalomba kerültek. Az 1000 wattot fogyasztó lapka szerverekben való futtatásra és MI-tréningezési feladatokra készült, de egy német startup, a gptshop.ai munkaállomásában is elérhető.
Bernhard Guentner elégedetlen volt az Nvidia fogyasztói RTX 4090-eseinek teljesítményével a nagy modellek futtatásánál, ezért munkaállomást készített a GH200-ból, mert nem akart a felhőben dolgozni. Átalakított egy QCT szervert, hogy az beférjen egy átlagos PC házba. 47 500 és 59 500 euró közötti összegért pedig bárki számára épít egy ugyanilyet. "Elkezdtem kísérletezni az Nvidia RTX 4090-esével. Vettem belőlük egy csomót, és betettem őket egy bányászkonfigba. Lefuttattam néhány tesztet, és amar rájöttem, hogy nem ez a helyes út" - magyarázta Guentner, a cég vezetője. Bár sok nagyméretű nyelvi modell elérhető az olyan oldalakon, mint a Hugging Face, Guentner hamar belefutott egy olyan problémába, amely mindenki számára ismerős, aki már foglalkozott MI tréningezéssel: minél nagyobb a modell, annál több videomemóriára van szükség.
Ez vezette Guentnert a GH200-hoz. Az először a 2022-es GTC-n bemutatott chip az Nvidia 72 magos ARM Neoverse V2 alapú CPU-ját és 480 GB LPDDR5x memóriát kombinál egy 96 GB HBM3 vagy 141 GB HBM3e memóriával felszerelt H100 GPU-val. Ez elegendő memória ahhoz, hogy egy olyan modellt, mint a Meta LLama 2 70B FP8 - vagy a 141 GB-os konfiguráció esetében potenciálisan FP16 - teljes egészében a HBM-en belül futtasson. A CPU és a GPU közötti nagysebességű összeköttetés lehetővé teszi, hogy még nagyobb modellek is elférjenek az LPDD5x memóriában, némi teljesítmény feláldozása mellett.
Teljesítmény és memória szempontjából a GH200 pontosan az, amit Guentner keresett. Azonban a chipet nagyon nehéz egy hagyományos munkaállomás platformba illeszteni úgy, hogy a ventilátorok ne forogjanak fülsiketítő, több mint 20 000-es fordulatszámmal. "Megnéztem a teljesítményadatokat, és mivel nem több, mint 1000 watt, így egyértelmű volt számomra, hogy egy asztali számítógépbe is betehető." - jegyezte meg. Bár a rendszerépítők már évek óta csomagolnak szerverkomponenseket egyedi munkaállomásokba, a GH200 és alaplapja asztali házba való beillesztése nem volt egyszerű. A legtöbb szerverplatformmal ellentétben, amelyek nagyfokú modularitással rendelkeznek - például általában egy CPU-t vagy tápegységet ki lehet venni egy rendszerből, és be lehet cserélni egy másik kompatibilis rendszerbe -, Guentnernek a QCT rendszerből származó komponenseket kellett használnia.
"Megkérdeztem tőlük, hogy a szuperchipet és egyebeket külön meg lehet-e vásárolni, de azt mondták, hogy ez nem lehetséges" - mondta az OEM rendszerekről, hozzátéve, hogy hosszabb távon reméli, hogy át tud állni a hagyományos ATX-stílusú komponensekre. Mindent bepakolni a házba - egy bárhol megvehető nagy toronyba - körülbelül két hetet és némi módosítást vett igénybe. Ahogy az várható volt, a 1 kW-os Nvidia GH200 hűtése nagy légáramlást igényel, Guentner a hűtést minősítette a legnehezebb résznek az építés során.
A GH200 teljes terhelés esetén egy kilowatt teljesítményre és hőleadásra van méretezve, és a QCT rendszerből származó chip egy alacsony profilú szerverhez tervezett hűtőbordával rendelkezik. Guentner Noctua ventilátorokat használt, melyek közül az egyik közvetlenül az alaplapra fúj, így megoldható volt a hőmérséklet elfogadható szintre csökkentése a halláskárosodás veszélye nélkül. A hűtés hatékonyságának igazolása érdekében Guentner a Phoronix oldalnak távoli hozzáférést biztosított a rendszerhez, hogy végezzenek rajta teszteket, az eredmények itt olvashatók.
A rendszer egyelőre csak prototípus. Guentner azonban úgy véli, hogy valószínűleg van piac az Nvidia szuperchipjeivel működő nagy teljesítményű munkaállomások számára, és tervezi, hogy hasonló rendszereket épít és értékesít. "Van kereslet - még nagyobb, mint amit becsültem. Amikor elkezdtem, arra számítottam, hogy talán havonta eladok egyet, mert ez nagyon speciális, és az árcédula elég jelentős" - mondta. Ezek a rendszerek valóban nem lesznek olcsók, Guentner azonban ragaszkodik ahhoz, hogy nem sokat tehet, figyelembe véve az Nvidia és OEM/ODM partnerei által a GH200-ért kért árakat. A rendszerek 47 500 eurótól indulnak, és számos kiegészítő kártyával és tárolóval konfigurálhatók - köztük az Nvidia BlueField 3 adatfeldolgozó egységével és RTX 4060-as videokimenettel. A Guentner dolgozik a rendszer folyadékhűtéses változatán is.
Bernhard Guentner elégedetlen volt az Nvidia fogyasztói RTX 4090-eseinek teljesítményével a nagy modellek futtatásánál, ezért munkaállomást készített a GH200-ból, mert nem akart a felhőben dolgozni. Átalakított egy QCT szervert, hogy az beférjen egy átlagos PC házba. 47 500 és 59 500 euró közötti összegért pedig bárki számára épít egy ugyanilyet. "Elkezdtem kísérletezni az Nvidia RTX 4090-esével. Vettem belőlük egy csomót, és betettem őket egy bányászkonfigba. Lefuttattam néhány tesztet, és amar rájöttem, hogy nem ez a helyes út" - magyarázta Guentner, a cég vezetője. Bár sok nagyméretű nyelvi modell elérhető az olyan oldalakon, mint a Hugging Face, Guentner hamar belefutott egy olyan problémába, amely mindenki számára ismerős, aki már foglalkozott MI tréningezéssel: minél nagyobb a modell, annál több videomemóriára van szükség.
Ez vezette Guentnert a GH200-hoz. Az először a 2022-es GTC-n bemutatott chip az Nvidia 72 magos ARM Neoverse V2 alapú CPU-ját és 480 GB LPDDR5x memóriát kombinál egy 96 GB HBM3 vagy 141 GB HBM3e memóriával felszerelt H100 GPU-val. Ez elegendő memória ahhoz, hogy egy olyan modellt, mint a Meta LLama 2 70B FP8 - vagy a 141 GB-os konfiguráció esetében potenciálisan FP16 - teljes egészében a HBM-en belül futtasson. A CPU és a GPU közötti nagysebességű összeköttetés lehetővé teszi, hogy még nagyobb modellek is elférjenek az LPDD5x memóriában, némi teljesítmény feláldozása mellett.
Teljesítmény és memória szempontjából a GH200 pontosan az, amit Guentner keresett. Azonban a chipet nagyon nehéz egy hagyományos munkaállomás platformba illeszteni úgy, hogy a ventilátorok ne forogjanak fülsiketítő, több mint 20 000-es fordulatszámmal. "Megnéztem a teljesítményadatokat, és mivel nem több, mint 1000 watt, így egyértelmű volt számomra, hogy egy asztali számítógépbe is betehető." - jegyezte meg. Bár a rendszerépítők már évek óta csomagolnak szerverkomponenseket egyedi munkaállomásokba, a GH200 és alaplapja asztali házba való beillesztése nem volt egyszerű. A legtöbb szerverplatformmal ellentétben, amelyek nagyfokú modularitással rendelkeznek - például általában egy CPU-t vagy tápegységet ki lehet venni egy rendszerből, és be lehet cserélni egy másik kompatibilis rendszerbe -, Guentnernek a QCT rendszerből származó komponenseket kellett használnia.
"Megkérdeztem tőlük, hogy a szuperchipet és egyebeket külön meg lehet-e vásárolni, de azt mondták, hogy ez nem lehetséges" - mondta az OEM rendszerekről, hozzátéve, hogy hosszabb távon reméli, hogy át tud állni a hagyományos ATX-stílusú komponensekre. Mindent bepakolni a házba - egy bárhol megvehető nagy toronyba - körülbelül két hetet és némi módosítást vett igénybe. Ahogy az várható volt, a 1 kW-os Nvidia GH200 hűtése nagy légáramlást igényel, Guentner a hűtést minősítette a legnehezebb résznek az építés során.
A GH200 teljes terhelés esetén egy kilowatt teljesítményre és hőleadásra van méretezve, és a QCT rendszerből származó chip egy alacsony profilú szerverhez tervezett hűtőbordával rendelkezik. Guentner Noctua ventilátorokat használt, melyek közül az egyik közvetlenül az alaplapra fúj, így megoldható volt a hőmérséklet elfogadható szintre csökkentése a halláskárosodás veszélye nélkül. A hűtés hatékonyságának igazolása érdekében Guentner a Phoronix oldalnak távoli hozzáférést biztosított a rendszerhez, hogy végezzenek rajta teszteket, az eredmények itt olvashatók.
A rendszer egyelőre csak prototípus. Guentner azonban úgy véli, hogy valószínűleg van piac az Nvidia szuperchipjeivel működő nagy teljesítményű munkaállomások számára, és tervezi, hogy hasonló rendszereket épít és értékesít. "Van kereslet - még nagyobb, mint amit becsültem. Amikor elkezdtem, arra számítottam, hogy talán havonta eladok egyet, mert ez nagyon speciális, és az árcédula elég jelentős" - mondta. Ezek a rendszerek valóban nem lesznek olcsók, Guentner azonban ragaszkodik ahhoz, hogy nem sokat tehet, figyelembe véve az Nvidia és OEM/ODM partnerei által a GH200-ért kért árakat. A rendszerek 47 500 eurótól indulnak, és számos kiegészítő kártyával és tárolóval konfigurálhatók - köztük az Nvidia BlueField 3 adatfeldolgozó egységével és RTX 4060-as videokimenettel. A Guentner dolgozik a rendszer folyadékhűtéses változatán is.