SG.hu
Az Nvidia bemutatta legújabb MI chipjét, a H200-at
Az Nvidia bejelentette a HGX H200 Tensor Core GPU-t, amely a Hopper architektúrát használja az MI-alkalmazások gyorsítására. Ez a tavaly megjelent H100 GPU folytatása, amely korábban az Nvidia legerősebb MI GPU chipje volt. Ha széles körben elterjed, a közeljövőben sokkal erősebb MI-modelleket - és gyorsabb válaszidőket a meglévők, például a ChatGPT esetében - eredményezhet.
Szakértők szerint a számítási teljesítmény hiánya volt az elmúlt évben az MI fejlődésének egyik fő szűk keresztmetszete, ez akadályozta leginkább a meglévő MI-modellek bevezetését és lassította az újak fejlesztését. Ennek köszönhető az MI-modelleket felgyorsító nagy teljesítményű GPU-k hiánya is, hiszen a számítási szűk keresztmetszet enyhítésének egyik módja, hogy több chipet gyártanak, de jóval egyszerűbb erősebb MI-chipekkel túllendülni a problémán. Ez a második megközelítés teheti a H200-at vonzó termékké a felhőszolgáltatók számára.
A "GPU" névben szereplő "G" ellenére az ilyen adatközponti GPU-k jellemzően nem grafikai célokra szolgálnak. A GPU-k ideálisak a mesterséges intelligencia alkalmazásokhoz, mivel hatalmas mennyiségű párhuzamos mátrixszorzást végeznek, ami a neurális hálózatok működéséhez szükséges. Elengedhetetlenek egy mesterséges intelligenciamodell felépítésének képzési részében és a "következtetés" részében, amikor az emberek bemeneti adatokat táplálnak egy mesterséges intelligenciamodellbe, és az eredményt ad vissza. Az OpenAI például többször elmondta, hogy a GPU-erőforrás hiánya okoz lassulást a ChatGPT-nél. A vállalatnak sebességkorlátozást kellett bevezetnie, hogy egyáltalán szolgáltatást nyújthasson. Elméletileg a H200 használatával a ChatGPT-t futtató meglévő MI-nyelvi modellek több ügyfelet fognak tudni kiszolgálni.
"A generatív MI és a HPC-alkalmazások intelligencia létrehozásához hatalmas mennyiségű adatot kell hatékonyan, nagy sebességgel feldolgozni nagy, gyors GPU-memóriák segítségével" - nyilatkozta Ian Buck, az Nvidia hiperscale és HPC alelnöke. "Az Nvidia H200-zal az iparág vezető végponttól - végpontig terjedő MI szuperszámítógépes platformja még gyorsabb lett a világ legfontosabb kihívásainak megoldásához." A cég közleménye szerint a H200 az első olyan GPU, amely HBM3e memóriát kínál. A HBM3e-nek köszönhetően a H200 141 GB memóriát és 4,8 terabájt/másodperc sávszélességet kínál, ami a társaság szerint 2,4-szerese a 2020-ban megjelent Nvidia A100 memória sávszélességének. (Az A100-asra a kora ellenére még mindig nagy a kereslet, mivel hiány van az erősebb chipekből).
Az Nvidia a H200-at több formában is elérhetővé teszi. Lesznek Nvidia HGX H200 szerverlapok négy- és nyolcutas konfigurációban, amelyek hardveresen és szoftveresen is kompatibilisek a HGX H100 rendszerek hardverével és szoftverével. Az Nvidia GH200 Grace Hopper szuperchipben is elérhető lesz, amely a CPU-t és a GPU-t egy csomagban egyesíti a még nagyobb számítási teljesítmény érdekében. Az Amazon Web Services, a Google Cloud, a Microsoft Azure és az Oracle Cloud Infrastructure lesznek az első felhőszolgáltatók, amelyek jövő évtől kezdve H200-alapú példányokat telepítenek, a H200 "a globális rendszergyártók és felhőszolgáltatók" számára pedig 2024 második negyedévétől lesz elérhető.
Eközben az Nvidia macska-egér játékot játszik az amerikai kormánnyal a nagy teljesítményű GPU-kra vonatkozó exportkorlátozások miatt, amelyek korlátozzák a Kínába történő értékesítést. Tavaly az Egyesült Államok Kereskedelmi Minisztériuma korlátozásokat jelentett be, amelyek célja, hogy "a fejlett technológiák ne kerüljenek rossz kezekbe", például Kínába és Oroszországba. Az Nvidia válaszul új chipeket készített, hogy megkerülje ezeket a korlátokat, de az USA nemrég ezeket is betiltotta. A múlt héten kiderült, hogy az Nvidia ismét nekilátott, és három új, csökkentett teljesítményű MI-chipet (HGX H20, L20 PCIe és L2 PCIe) vezet be a kínai piacra, amely az Nvidia adatközponti chipekből származó bevételeinek negyedét teszi ki. A chipek közül kettő az amerikai korlátozások alá esik, egy harmadik pedig egy "szürke zónában" van, amely egy engedéllyel talán megengedhető lenne. Az elkövetkező hónapokban további oda-vissza mozgásokra lehet számítani az USA és az Nvidia között.
Szakértők szerint a számítási teljesítmény hiánya volt az elmúlt évben az MI fejlődésének egyik fő szűk keresztmetszete, ez akadályozta leginkább a meglévő MI-modellek bevezetését és lassította az újak fejlesztését. Ennek köszönhető az MI-modelleket felgyorsító nagy teljesítményű GPU-k hiánya is, hiszen a számítási szűk keresztmetszet enyhítésének egyik módja, hogy több chipet gyártanak, de jóval egyszerűbb erősebb MI-chipekkel túllendülni a problémán. Ez a második megközelítés teheti a H200-at vonzó termékké a felhőszolgáltatók számára.
A "GPU" névben szereplő "G" ellenére az ilyen adatközponti GPU-k jellemzően nem grafikai célokra szolgálnak. A GPU-k ideálisak a mesterséges intelligencia alkalmazásokhoz, mivel hatalmas mennyiségű párhuzamos mátrixszorzást végeznek, ami a neurális hálózatok működéséhez szükséges. Elengedhetetlenek egy mesterséges intelligenciamodell felépítésének képzési részében és a "következtetés" részében, amikor az emberek bemeneti adatokat táplálnak egy mesterséges intelligenciamodellbe, és az eredményt ad vissza. Az OpenAI például többször elmondta, hogy a GPU-erőforrás hiánya okoz lassulást a ChatGPT-nél. A vállalatnak sebességkorlátozást kellett bevezetnie, hogy egyáltalán szolgáltatást nyújthasson. Elméletileg a H200 használatával a ChatGPT-t futtató meglévő MI-nyelvi modellek több ügyfelet fognak tudni kiszolgálni.
"A generatív MI és a HPC-alkalmazások intelligencia létrehozásához hatalmas mennyiségű adatot kell hatékonyan, nagy sebességgel feldolgozni nagy, gyors GPU-memóriák segítségével" - nyilatkozta Ian Buck, az Nvidia hiperscale és HPC alelnöke. "Az Nvidia H200-zal az iparág vezető végponttól - végpontig terjedő MI szuperszámítógépes platformja még gyorsabb lett a világ legfontosabb kihívásainak megoldásához." A cég közleménye szerint a H200 az első olyan GPU, amely HBM3e memóriát kínál. A HBM3e-nek köszönhetően a H200 141 GB memóriát és 4,8 terabájt/másodperc sávszélességet kínál, ami a társaság szerint 2,4-szerese a 2020-ban megjelent Nvidia A100 memória sávszélességének. (Az A100-asra a kora ellenére még mindig nagy a kereslet, mivel hiány van az erősebb chipekből).
Az Nvidia a H200-at több formában is elérhetővé teszi. Lesznek Nvidia HGX H200 szerverlapok négy- és nyolcutas konfigurációban, amelyek hardveresen és szoftveresen is kompatibilisek a HGX H100 rendszerek hardverével és szoftverével. Az Nvidia GH200 Grace Hopper szuperchipben is elérhető lesz, amely a CPU-t és a GPU-t egy csomagban egyesíti a még nagyobb számítási teljesítmény érdekében. Az Amazon Web Services, a Google Cloud, a Microsoft Azure és az Oracle Cloud Infrastructure lesznek az első felhőszolgáltatók, amelyek jövő évtől kezdve H200-alapú példányokat telepítenek, a H200 "a globális rendszergyártók és felhőszolgáltatók" számára pedig 2024 második negyedévétől lesz elérhető.
Eközben az Nvidia macska-egér játékot játszik az amerikai kormánnyal a nagy teljesítményű GPU-kra vonatkozó exportkorlátozások miatt, amelyek korlátozzák a Kínába történő értékesítést. Tavaly az Egyesült Államok Kereskedelmi Minisztériuma korlátozásokat jelentett be, amelyek célja, hogy "a fejlett technológiák ne kerüljenek rossz kezekbe", például Kínába és Oroszországba. Az Nvidia válaszul új chipeket készített, hogy megkerülje ezeket a korlátokat, de az USA nemrég ezeket is betiltotta. A múlt héten kiderült, hogy az Nvidia ismét nekilátott, és három új, csökkentett teljesítményű MI-chipet (HGX H20, L20 PCIe és L2 PCIe) vezet be a kínai piacra, amely az Nvidia adatközponti chipekből származó bevételeinek negyedét teszi ki. A chipek közül kettő az amerikai korlátozások alá esik, egy harmadik pedig egy "szürke zónában" van, amely egy engedéllyel talán megengedhető lenne. Az elkövetkező hónapokban további oda-vissza mozgásokra lehet számítani az USA és az Nvidia között.