SG.hu

Egy petaflop teljesítmény az asztalon

Az Nvidia bemutatta asztali mesterséges intelligencia szuperszámítógépét. A 1 petaflop teljesítményű DGX Spark rendszer 200 milliárd paraméterrel rendelkező mesterséges intelligencia modelleket futtat helyileg 4000 dollárért.

Az Nvidia bejelentette, hogy megkezdi a megrendelések felvételét a DGX Spark-ra, mely egy 4000 dollárba kerülő asztali mesterséges intelligencia számítógép. 1 petaflop számítási teljesítményt és 128 GB egységes memóriát tartalmaz egy olyan formában, amely elég kicsi ahhoz, hogy elférjen egy asztalon. A legnagyobb előnye valószínűleg a nagy integrált memóriája, amely nagyobb mesterséges intelligencia modelleket futtathat, mint a fogyasztói GPU-k. A DGX Sparkot a cég januárban „Project DIGITS” néven mutatta be, és májusban adott neki hivatalos nevet. Ez az Nvidia nagy kísérlete egy új kategóriájú asztali számítógépes munkaállomás létrehozására, kifejezetten MI-fejlesztés céljára.


A Sparkkal az Nvidia azon MI-fejlesztők problémáját kívánja megoldani, akiknél az MI-feladat meghaladja a standard PC-k és munkaállomások memóriájának és szoftveres képességeinek határait, ami arra kényszeríti őket, hogy munkájukat felhőszolgáltatásokra vagy adatközpontokra helyezzék át. Az asztali MI-munkaállomások tényleges piacának mérete azonban nagyon bizonytalan, különösen figyelembe véve az előzetes költségeket a felhőalapú alternatívákkal szemben, amelyek lehetővé teszik a fejlesztők számára, hogy használatuk arányában fizessenek.

A Nvidia Spark elegendő memóriával rendelkezik ahhoz, hogy a szokásosnál nagyobb MI modelleket futtasson helyi feladatokhoz, akár 200 milliárd paraméterrel, és finomhangoljon akár 70 milliárd paramétert tartalmazó modelleket anélkül, hogy távoli infrastruktúrára lenne szükség. A lehetséges felhasználási területek között szerepelnek a nagyobb, nyitott súlyú nyelvi modellek és a médiaszintézis modellek, például az MI képgenerátorok futtatása. Az Nvidia szerint a felhasználók testreszabhatják a Black Forest Labs Flux.1 modelljeit képgeneráláshoz, építhetnek látásalapú kereső- és összefoglaló ügynököket az Nvidia Cosmos Reason látásalapú nyelvi modelljével, vagy létrehozhatnak csevegőrobotokat a DGX Spark platformra optimalizált Qwen3 modellel.


Az Nvidia sok mindent pakolt az 1,2 kilós, 150 x 150 x 50 milliméteres 240 watt teljesítményű dobozba. A rendszer az Nvidia GB10 Grace Blackwell Superchip processzorán fut, ConnectX-7 200 Gb/s hálózati kapcsolattal rendelkezik, és NVLink-C2C technológiát használ, amely ötször akkora sávszélességet biztosít, mint a PCIe Gen 5. Emellett tartalmazza a már említett 128 GB-os egységes memóriát, amelyet a rendszer és a GPU feladatok megosztanak egymás között. Az operációs rendszer tekintetében a Spark egy ARM-alapú rendszer, amely az Nvidia DGX OS-t futtatja, egy Ubuntu Linux-alapú operációs rendszert, amelyet kifejezetten GPU-feldolgozáshoz fejlesztettek ki. Előre telepítve van rá az Nvidia MI szoftvercsomagja, beleértve a CUDA könyvtárakat és a vállalat NIM mikroszolgáltatásait.

A DGX Spark ára 3999 dollártól kezdődik. Ez soknak tűnhet, de ha figyelembe vesszük a nagy teljesítményű GPU-k, például az RTX Pro 6000 (kb. 9000 dollár) vagy az MI szerver GPU-k (például 25 000 dollár egy alapszintű H100) árait, akkor a DGX Spark összességében sokkal olcsóbb választásnak tűnik, bár teljesítménye közel sem olyan nagy. A GB10 chip GPU-számítási teljesítménye nagyjából megegyezik az RTX 5070-ével, annak azonban csak 12 GB a videomemóriája, ami korlátozza az ilyen rendszeren futtatható MI-modellek méretét. 128 GB egységes memóriával a DGX Spark sokkal nagyobb modelleket tud futtatni, bár lassabb sebességgel, mint például egy RTX 5090 (amely általában 24 GB RAM-mal kerül forgalomba). Például az OpenAI legújabb gpt-oss nyelvi modelljének 120 milliárd paraméterrel rendelkező nagyobb verziójának futtatásához körülbelül 80 GB memóriára van szükség, ami messze meghaladja a fogyasztói GPU-kban elérhető memóriamennyiséget.


Jensen Huang, az Nvidia alapítója és vezérigazgatója a DGX Spark piacra dobásának alkalmából személyesen szállította le az első egységek egyikét Elon Musknak a SpaceX texasi Starbase létesítményébe, megismételve egy hasonló szállítást, amelyet Huang 2016-ban végzett Musknak az OpenAI-nál. "2016-ban megépítettük a DGX-1-et, hogy az MI-kutatók saját szuperszámítógéppel rendelkezzenek. Az első rendszert személyesen vittem el Elonnak egy OpenAI nevű kis startuphoz, és ebből született meg a ChatGPT” - mondta Huang. "A DGX-1 indította el az MI-szuperszámítógépek korszakát, és feltárta a modern MI-t hajtó skálázási törvényeket. A DGX Sparkkal visszatérünk ehhez a küldetéshez.”

Hozzászólások

A témához csak regisztrált és bejelentkezett látogatók szólhatnak hozzá!
Bejelentkezéshez klikk ide
(Regisztráció a fórum nyitóoldalán)
  • manypet #10
    "Miért nem magasabb a tényleges újrahasznosítás? Jó kérdés."
    A válasz is jó, sőt, kettő is van:
    1. Nem éri meg.
    Egyelőre a legtöbb hulladék még (ez fontos: MÉG) nem hasznosítható újra olyan olcsón, mintha újonnan gyártanák le. De mint ahogy az alumíniumnál is eljött az az idő, hogy már jobban megéri újrafelhasználni, mint újonnan gyártani, idővel el fog jönni ez a többinél is.
    2. Egyre több az ember a Földön.
    Azaz az egyre több ember, akik ráadásul egyre magasabb életszínvonalon élnek, egyre több nyersanyagot igényelnek. Azaz hiába dolgozzák fel újra a nyersanyagok egy részét (vagy akár tennék az egésszel is), mégis kellene új nyersanyagot létrehozni, mert sokkal nagyobb az igény, mint ami a múltban volt. Ma már mobilteló kell Afrikában is mindenkinek, ez pedig anyagot igényel. De idővel el fog jönni az az idő, hogy megáll a népességnövekedés (úgy 10milliárd körül, de egyesek szerint már hamarabb is), utána a magas életszínvonal megjelenik a harmadik világba is, és onnantól már nem kell annyi új anyag.
    Szóval csak idő kérdése, hogy az a temérdek hulladék újra fel legyen használva.

    *

    " ennek semmi köze nincs mondjuk az újra hasznosításhoz. "
    Bazsinak próbáltam jelezni, hogy nem kapitalista, hanem szocialista világban élünk. Arra vonatkozott.

    *

    "de ma, amikor az alumínium újrahasznosítás olcsóbb mint az előállítása, már nem igazán igaz"
    Pont azt írtam én is, hogy régen az alumínium újrahasznosítása nem érte meg, ma meg már megéri. És mindezt példának írtam arra, hogy a jövőben más anyagoknál is meg fogja érni újrahasznosítani, csak idő kérdése.
  • Macropus Rufus #9
    Hát ez lehet, hogy qurva gyors notebook, de az ideális MI környhezettől elég messze van.
    NPU ide vagy oda
  • Macropus Rufus #8
    "Újra felhasználni pedig akkor éri meg, amikor ... megéri. .-) "
    ehhez képest a világ össz előállításának 31%-a újrahasznosított és ennek a 31%-nak több mint 85%-a már egyszer volt hasznosítva. Miért nem magasabb a tényleges újrahasznosítás? Jó kérdés. Az acéltermékek élettartama gyakran 30 év vagy több, így a jelenlegi gyártásban még nem áll rendelkezésre elegendő hulladékacél. Talán lehet ezért?
    Alumínium esetében 32%-os az újrahasznosítás. Az alumínium újrahasznosítás rátája 76%-os ami azt jelenti, hogy az elérhető hulladékból ennyit sikerült ténylegesen visszaforgatni. Ja és egy érdekesség: az alumínium újrahasznosítás kb. 95%-al kevesebb energiát igényel, mint az új alumínium előállítása. Az eddigi legyártott alumínium közel 75%-a még mindig használatban van, ui. rendkívül tartós és könnyen újrahasznosítható.
    Tehát a mondat "megéri" része kb. se az acélra, se az alimíniumra nem vonatkozik.

    " ahol másfélszer akkora az adó meg 3X annyi az állami szabályozás,"

    " ahol másfélszer akkora az adó meg 3X annyi az állami szabályozás,"
    ennek semmi köze nincs mondjuk az újra hasznosításhoz.

    Amit írtál az talán régen igaz volt, de ma, amikor az alumínium újrahasznosítás olcsóbb mint az előállítása, már nem igazán igaz. Aztán az eddig legyártott acél még használatban van ezért nincs újra hasznosítva és ezért kell a gyártásba új acélt bevonni, tehát ugye itt sem az árról van szó (ja és az alumínium nagyrésze szintén még használatban van. Szóval ott is ezért alacsony az újrahasznosítás ráta.)

    némi keresgélés a neten és ennyi.

  • kjhun #7
    Adattömörítésre is felhasználható ez a cucc, valamilyen spéci LLM-el? (A RAR/7z leváltására, kicsit drága játékszer volna.)

    Stílszerűen, én 1TB-nyi memóriát pakoltam volna bele, ha már 1PFLOPS, a számítási teljesítmény. (van több olyan LLM/NN-algo, ahová még a 256GB is kevés lenne.)
  • manypet #6
    "A fém flakonoknál ez pont nem igaz."
    Alumínium flakonnál nem érte meg.

    "már akkor is úgy tanították, hogy a szemét az a rossz helyen levő nyersanyag"
    Igaza volt.

    "ennek ára van, amit a kapitalista világ nem hajlandó megfizetni"
    Tudom, hogy értelmetlen neked ezt leírni, de a többieknek jelezném, hogy szocialista világ van.
    Újrafelhasználni pedig akkor éri meg, amikor ... megéri. .-) Ezt is bizonyára nehezen érted meg, de ettől még akkor fogja megérni újrafelhasználni egy adott anyagot, ha (segítek a gyengébbek kedvéért...) azaz HA OLCSÓBB ÚJRAFELHASZNÁLNI, MINT ÚJONNAN LEGYÁRTANI.
    Nem bonyolult ám ez. Úgy szokott menni, hogy egy cég megnézi, hogy melyik megoldással tudja olcsóbban megvenni (avagy gyártani), és azt csinálják. Ilyen egyszerű ez, nem kell túlkomplikálni. Persze akinek egy olyan rendszer a kapitalizmus (_szabad piac_ <- hangsúly a szabad kifejezésen van), ahol másfélszer akkora az adó meg 3X annyi az állami szabályozás, mint a Kádár-rendszerben, és ugyanazoknak a gyerekei, unokái irányítják az országot, mint Kádár alatt, na annak magyarázhatom én ez ítéletnapig... :-)
  • militavia #5
    A fém flakonoknál ez pont nem igaz. A könnyű fémeket és a vasat mindig megérte újrahasznosítani.

    Az elektronikai szemét újrahasznosítása kb. vonalvastagságányi úgy, hogy egyre többet gyártnuk.

    Amúgy 2007-ben BME-n egy témába vágó órán azt mondta a tanár, hogy Ausztriában már akkor is úgy tanították, hogy a szemét az a rossz helyen levő nyersanyag. Így is lehetne gondolkodni, csak ennek ára van, amit a kapitalista világ nem hajlandó megfizetni. Többnyire.
  • manypet #4
    A világ döntő részén nyersanyagként tekintenek rá, max. még nem minden részét tudják újrafeldolgozni. Régebben pl. az alumínium flakonok miatt rinyáltak sokan, mert tele volt vele a 3. világ minden része és hogy mindjárt belefulladunk. Utána eljött az a technológia, amivel már olcsóbban lehet újrafeldolgozni, mint újat gyártani, és lám, máris eltűntek mindenhonnan az alumíniumból készült flakonok. Így van ezzel is. Az elektronikai hulladék nem hulladék, hanem nyersanyag.
  • Tetsuo #3
    Szerintem nem jó, hogy sok a kacat és megmérgezünk mindent, belefulladunk a szemétbe...
  • AndReWsss #2
    Szabad piac, szabad döntés: ne vedd meg, ha nincs rá szükséges.
    Addig jó, míg van verseny és a cégek ontják a kütyüket magukból. Te meg vagy megveszed, vagy lapozol.
  • Tetsuo #1
    Az jó. Hasznos lesz! Pornógyüjteményeken átfuttatva tud majd 8 másodperces videókat kreálni vagy szövegeken át hülye kérdésekre hülye válaszokat adni.