SG.hu
Bemutatta új MI-gyorsító chipjét az Intel, a Gaudi 3-mat
Az Intel a Phoenixben tartott Vision 2024 rendezvényén bemutatta a Gaudi 3 nevű új MI-gyorsító chipet. A nagy nyelvi modellek futtatására optimalizált processzort a cég az Nvidia H100 alternatívájaként pozícionálja, mely adatközponti GPU-ból hatalmas a hiány.
Az Intel közlése szerint az Nvidia H100-as chipjénél 50 százalékkal gyorsabb a Gaudi 3 mind az OpenAI GPT-3 175B LLM, mind a Meta Llama 2 7 milliárd paraméteres verziója esetében. A következtetés (a betanított modell futtatása) tekintetében az Intel azt állítja, hogy új MI chipje 50 százalékkal gyorsabb a H100-nál a Llama 2 és a Falcon 180B esetében. Az Intel a H100-at a magas piaci részesedése miatt veszi célba, de nem ez az Nvidia legerősebb MI-gyorsító chipje. Azóta már bejelentették a H200-at és a Blackwell B200-at, de egyik chip sem jelent még meg - 2024 második negyedévére várhatóak, azaz gyakorlatilag bármelyik nap számíthatunk a szállítások indulására.
A H100 ellátási problémái komoly fejfájást okoztak a technológiai vállalatoknak és az MI-kutatóknak, akiknek küzdeniük kell azért, hogy hozzáférjenek az MI-modellek betanítására alkalmas chipekhez. Ez több technológiai vállalatot - például a Microsoftot, a Metát és az OpenAI-t (a pletykák szerint) - arra késztetett, hogy saját MI-chipet terveztessenek, mely egyedi szilíciumot persze jellemzően ugyanúgy az Intel vagy a TSMC fogja gyártani. A Google saját tensorfeldolgozó egységekkel (TPU) rendelkezik, amelyeket 2015 óta használ. E problémák miatt az Intel Gaudi 3 potenciálisan vonzó alternatívája lehet a H100-nak, ha az ára és az elérhetősége megfelelő lesz. Az Intel a Gaudi 3 árát nem közölte a bejelentésben, de a H100 a hírek szerint 30 000-40 000 dollár körüli összegbe kerül. Az AMD is gyárt MI-chipeket, például az AMD Instinct MI300 sorozatot, ezeket 10 000-15 000 dollár körüli áron adják.
Az új chip a Gaudi 2 architektúrájára épül, két azonos szilíciumlapkát tartalmaz, amelyeket nagy sávszélességű kapcsolat köt össze. Mindkét mag 48 megabájtos központi gyorsítótárat tartalmaz, amelyet négy mátrixszorzó motor és 32 programozható tenzorprocesszor-mag vesz körül, így összesen 64 magról beszélhetünk. A chipgyártó óriás azt állítja, hogy a Gaudi 3 a Gaudi 2 MI számítási teljesítményének kétszeresét nyújtja 8 bites lebegőpontos feladatoknál, ami kulcsfontosságú a transzformációs modellek képzéséhez. A chip négyszeres növekedést ígér a BFloat 16-os számításoknál.
A Gaudi 3-ba 128 GB HBMe2 memóriát szereltek, aminek olcsósága hozzájárulhat az ára alacsonyan tartásához, és 3,7 TB memória-sávszélességgel rendelkezik. A drágább HBM3 vagy HBM3e memóriák elhagyása a teljesítmény és a költséghatékonyság egyensúlyát kínálja. Úgy tűnik, ez a választás az Intel azon stratégiáját hangsúlyozza, hogy ne csak a teljesítmény, hanem az ár tekintetében is versenyezzen. Szintén fontos szempont, hogy mivel az adatközpontok köztudottan energiaéhesek, az Intel kiemeli a Gaudi 3 energiahatékonyságát: az Nvidia H100-hoz képest 40 százalékkal kevesebbet fogyaszt a Llama 7B és 70B paraméteres, valamint a Falcon 180B paraméteres modellek működtetéséhez. Eitan Medina, az Intel Habana Labs vezetője ezt az előnyt a Gaudi nagy mátrixú matematikai motorjainak tulajdonítja, amelyek állítása szerint más architektúrákhoz képest jelentősen alacsonyabb memória-sávszélességet igényelnek.
Az Intel közlése szerint az Nvidia H100-as chipjénél 50 százalékkal gyorsabb a Gaudi 3 mind az OpenAI GPT-3 175B LLM, mind a Meta Llama 2 7 milliárd paraméteres verziója esetében. A következtetés (a betanított modell futtatása) tekintetében az Intel azt állítja, hogy új MI chipje 50 százalékkal gyorsabb a H100-nál a Llama 2 és a Falcon 180B esetében. Az Intel a H100-at a magas piaci részesedése miatt veszi célba, de nem ez az Nvidia legerősebb MI-gyorsító chipje. Azóta már bejelentették a H200-at és a Blackwell B200-at, de egyik chip sem jelent még meg - 2024 második negyedévére várhatóak, azaz gyakorlatilag bármelyik nap számíthatunk a szállítások indulására.
A H100 ellátási problémái komoly fejfájást okoztak a technológiai vállalatoknak és az MI-kutatóknak, akiknek küzdeniük kell azért, hogy hozzáférjenek az MI-modellek betanítására alkalmas chipekhez. Ez több technológiai vállalatot - például a Microsoftot, a Metát és az OpenAI-t (a pletykák szerint) - arra késztetett, hogy saját MI-chipet terveztessenek, mely egyedi szilíciumot persze jellemzően ugyanúgy az Intel vagy a TSMC fogja gyártani. A Google saját tensorfeldolgozó egységekkel (TPU) rendelkezik, amelyeket 2015 óta használ. E problémák miatt az Intel Gaudi 3 potenciálisan vonzó alternatívája lehet a H100-nak, ha az ára és az elérhetősége megfelelő lesz. Az Intel a Gaudi 3 árát nem közölte a bejelentésben, de a H100 a hírek szerint 30 000-40 000 dollár körüli összegbe kerül. Az AMD is gyárt MI-chipeket, például az AMD Instinct MI300 sorozatot, ezeket 10 000-15 000 dollár körüli áron adják.
Az új chip a Gaudi 2 architektúrájára épül, két azonos szilíciumlapkát tartalmaz, amelyeket nagy sávszélességű kapcsolat köt össze. Mindkét mag 48 megabájtos központi gyorsítótárat tartalmaz, amelyet négy mátrixszorzó motor és 32 programozható tenzorprocesszor-mag vesz körül, így összesen 64 magról beszélhetünk. A chipgyártó óriás azt állítja, hogy a Gaudi 3 a Gaudi 2 MI számítási teljesítményének kétszeresét nyújtja 8 bites lebegőpontos feladatoknál, ami kulcsfontosságú a transzformációs modellek képzéséhez. A chip négyszeres növekedést ígér a BFloat 16-os számításoknál.
A Gaudi 3-ba 128 GB HBMe2 memóriát szereltek, aminek olcsósága hozzájárulhat az ára alacsonyan tartásához, és 3,7 TB memória-sávszélességgel rendelkezik. A drágább HBM3 vagy HBM3e memóriák elhagyása a teljesítmény és a költséghatékonyság egyensúlyát kínálja. Úgy tűnik, ez a választás az Intel azon stratégiáját hangsúlyozza, hogy ne csak a teljesítmény, hanem az ár tekintetében is versenyezzen. Szintén fontos szempont, hogy mivel az adatközpontok köztudottan energiaéhesek, az Intel kiemeli a Gaudi 3 energiahatékonyságát: az Nvidia H100-hoz képest 40 százalékkal kevesebbet fogyaszt a Llama 7B és 70B paraméteres, valamint a Falcon 180B paraméteres modellek működtetéséhez. Eitan Medina, az Intel Habana Labs vezetője ezt az előnyt a Gaudi nagy mátrixú matematikai motorjainak tulajdonítja, amelyek állítása szerint más architektúrákhoz képest jelentősen alacsonyabb memória-sávszélességet igényelnek.
