SG.hu
A cégeket sokként éri, hogy az MI-számítások mennyi energiát és hűtést igényelnek
A legtöbb, az MI bevezetésével siető vállalkozás nincs felkészülve arra, hogy az milyen energiaigényt támaszt az infrastruktúrával szemben, és csak kevesen vannak tudatában az MI-rendszerek energiafogyasztásának vagy az adatközpontokra gyakorolt hatásainak.
A SambaNova cég mesterséges intelligenciával működő hardvereket és alkalmazásokat fejleszt, az ő rendszerüket használja például az OTP Bank is. A megbízásukból végzett kutatás szerint a vállalatvezetők 72 százaléka tisztában van azzal, hogy az MI-modellek hatalmas energiaigényűek, és sokan aggódnak emiatt, mégis csak 13 százalékuk ellenőrzi az általuk telepített MI-rendszerek energiafogyasztását.
Az energiafogyasztást a legtöbb esetben az energiaigényes GPU-kra való támaszkodás okozza, amelyeket nagy teljesítményű szerverrendszerekbe zsúfolnak a modellek képzéséhez. A SambaNova vezetője, Rodrigo Liang várakozásai szerint 2027-re a legtöbb vállalatvezető kulcsfontosságú teljesítménymutatóként fogja szorosan ellenőrizni az energiafogyasztást. "A hatékonyabb MI-hardverek és az energiafogyasztás proaktív megközelítése nélkül, különösen az MI-munkafolyamatok növekvő igényeivel szemben, azt kockáztatjuk, hogy aláássuk azt a fejlődést, amelyet az MI ígér”.
Ehhez további lendületet ad az úgynevezett ügynöki MI-modellek térnyerése. Ezek elviekben képesek önállóan cselekedni és többlépcsős problémákat megoldani, de a SambaNova szerint nagyobb komplexitásuk tovább növeli majd az energiagondokat. A SambaNova a GPU-k alacsonyabb energiaigényű alternatívájaként a vállalat szoftvercsomagjával szállított MI-szervereket kínál, azonban nem mindenki szeretné ezt az utat választani.
A GPU-khoz ragaszkodó szervezetek számára az energiafaló hardverek által termelt hő kezelése is nagy kérdéssé válik, mert például az Nvidia Blackwell termékei 1200 W-os teljesítményűek. Ez sok esetben hatékonyabb hűtőrendszereket igényel majd, ezért a folyadékhűtés egyre népszerűbbé válik. Az Omdia elemzőcég tavalyi becslése szerint az adatközpontok folyadékhűtésből származó bevétele 2024 végére meghaladja a 2 milliárd dollárt, 2028-ra pedig az 5 milliárd dollárt.
A Redcentric menedzselt szolgáltatásokat nyújtó szolgáltató szerint azonban nem minden létesítmény lesz alkalmas folyadékhűtés felszerelésére. "A mesterséges intelligencia fejlesztésébe és bevezetésébe történő nagyobb beruházások valószínűleg az adatközpontok iránti kereslet növekedéséhez vezetnek” - állítja Paul Mardling technológiai vezető. Hozzátette, hogy az új létesítmények építése „jelentős beruházás”, amely időt, tervezési engedélyt, áramellátást és fizikai kivitelezést igényel. "Rövid távon ez a meglévő adatközpontok iránti megnövekedett kereslethez vezet, amelyek közül sokat nem arra a sűrűségre vagy energiaigényre terveztek, amelyet az MI-rendszerek igényelnek”.
Az Omdia egyetért azzal, hogy a mesterséges intelligencia növeli az energiaigényt és a hatékonyabb hűtés iránti igényt. "Már most is látjuk ezt, és ennek több következménye is van: láttuk, hogy a közműszolgáltatókhoz fordulnak a nagyobb teljesítmény iránti kérésekkel, és a helyszíni termelés elfogadását akár gázmotorok, akár turbinák révén” - mondta Vlad Galabov vezető kutatási igazgató. Míg a hagyományos létesítmények 2-5 kW teljesítménysűrűségű rackekre lettek kialakítva, addig az új épületeknek már sokkal nagyobb teljesítménysűrűségeket kell befogadniuk - mondta. "A 10 kW-nál nagyobb rackeknél elengedhetetlen a folyadékhűtés, de az 5-10 kW-os tartományban is kívánatos. Ilyenkor már valószínűleg a felesleges hő hatékony felhasználásának igénye is megjelenik, akár termikus regeneratív energiatermelés, akár közösségi fűtési projektek során.”
Az áramellátás korszerűsítései magukban foglalják az előre gyártott modulokat is, amelyekben extra kapcsolóberendezések, UPS-ek és akkumulátorok találhatók, míg egyes helyszíneken a kábelek helyett nagy kapacitású síneket építettek be, hogy több áramot juttassanak el a rackekbe. Galabov azonban úgy véli, hogy az ilyen típusú utólagos felszerelés a költségek miatt kevésbé optimális a régebbi adatközpontokban. "Van egy felső határ, ameddig a sűrűség növelhető. Az egyik Equinix telephelyen azt láttam, hogy egy utólagos átalakítási projekt eredményeként a rack-sűrűség 10 kW-ról 30 kW-ra nőtt rackenként.” A folyadékhűtés témájával kapcsolatban elmondta, hogy a levegő-folyadék hűtés jó módszer az adatközpontokon belüli csőhálózat teljes frissítésének elkerülésére, és a Microsoft is nagy támogatója ennek a megközelítésnek. Az Omdia kutatási igazgatója szerint azonban ennek elfogadása korlátozott lehet, mert így lehetővé váló sűrűség nem alkalmas az olyan jövőbeli MI-infrastruktúrák támogatására, mint az Nvidia Blackwell rack-szintű referenciadizájnja.
„Azokon a területeken, ahol az üzemeltetők nem akarták frissíteni a rackeket, és nem akartak gyűjtőcsöveket telepíteni a közvetlen a chipet érintő folyadékhűtéshez, hátsó hőcserélők telepítésével is találkoztunk, amelyek jó megoldást jelentenek” - mondta Galabov. A gyártók szerint ezzel az elrendezéssel akár 100 kW-ig is el lehet jutni, ehhez azonban a környezeti levegő hőmérsékletét jelentősen csökkenteni kell, ami már nagyon drága.
A SambaNova cég mesterséges intelligenciával működő hardvereket és alkalmazásokat fejleszt, az ő rendszerüket használja például az OTP Bank is. A megbízásukból végzett kutatás szerint a vállalatvezetők 72 százaléka tisztában van azzal, hogy az MI-modellek hatalmas energiaigényűek, és sokan aggódnak emiatt, mégis csak 13 százalékuk ellenőrzi az általuk telepített MI-rendszerek energiafogyasztását.
Az energiafogyasztást a legtöbb esetben az energiaigényes GPU-kra való támaszkodás okozza, amelyeket nagy teljesítményű szerverrendszerekbe zsúfolnak a modellek képzéséhez. A SambaNova vezetője, Rodrigo Liang várakozásai szerint 2027-re a legtöbb vállalatvezető kulcsfontosságú teljesítménymutatóként fogja szorosan ellenőrizni az energiafogyasztást. "A hatékonyabb MI-hardverek és az energiafogyasztás proaktív megközelítése nélkül, különösen az MI-munkafolyamatok növekvő igényeivel szemben, azt kockáztatjuk, hogy aláássuk azt a fejlődést, amelyet az MI ígér”.
Ehhez további lendületet ad az úgynevezett ügynöki MI-modellek térnyerése. Ezek elviekben képesek önállóan cselekedni és többlépcsős problémákat megoldani, de a SambaNova szerint nagyobb komplexitásuk tovább növeli majd az energiagondokat. A SambaNova a GPU-k alacsonyabb energiaigényű alternatívájaként a vállalat szoftvercsomagjával szállított MI-szervereket kínál, azonban nem mindenki szeretné ezt az utat választani.
A GPU-khoz ragaszkodó szervezetek számára az energiafaló hardverek által termelt hő kezelése is nagy kérdéssé válik, mert például az Nvidia Blackwell termékei 1200 W-os teljesítményűek. Ez sok esetben hatékonyabb hűtőrendszereket igényel majd, ezért a folyadékhűtés egyre népszerűbbé válik. Az Omdia elemzőcég tavalyi becslése szerint az adatközpontok folyadékhűtésből származó bevétele 2024 végére meghaladja a 2 milliárd dollárt, 2028-ra pedig az 5 milliárd dollárt.
A Redcentric menedzselt szolgáltatásokat nyújtó szolgáltató szerint azonban nem minden létesítmény lesz alkalmas folyadékhűtés felszerelésére. "A mesterséges intelligencia fejlesztésébe és bevezetésébe történő nagyobb beruházások valószínűleg az adatközpontok iránti kereslet növekedéséhez vezetnek” - állítja Paul Mardling technológiai vezető. Hozzátette, hogy az új létesítmények építése „jelentős beruházás”, amely időt, tervezési engedélyt, áramellátást és fizikai kivitelezést igényel. "Rövid távon ez a meglévő adatközpontok iránti megnövekedett kereslethez vezet, amelyek közül sokat nem arra a sűrűségre vagy energiaigényre terveztek, amelyet az MI-rendszerek igényelnek”.
Az Omdia egyetért azzal, hogy a mesterséges intelligencia növeli az energiaigényt és a hatékonyabb hűtés iránti igényt. "Már most is látjuk ezt, és ennek több következménye is van: láttuk, hogy a közműszolgáltatókhoz fordulnak a nagyobb teljesítmény iránti kérésekkel, és a helyszíni termelés elfogadását akár gázmotorok, akár turbinák révén” - mondta Vlad Galabov vezető kutatási igazgató. Míg a hagyományos létesítmények 2-5 kW teljesítménysűrűségű rackekre lettek kialakítva, addig az új épületeknek már sokkal nagyobb teljesítménysűrűségeket kell befogadniuk - mondta. "A 10 kW-nál nagyobb rackeknél elengedhetetlen a folyadékhűtés, de az 5-10 kW-os tartományban is kívánatos. Ilyenkor már valószínűleg a felesleges hő hatékony felhasználásának igénye is megjelenik, akár termikus regeneratív energiatermelés, akár közösségi fűtési projektek során.”
Az áramellátás korszerűsítései magukban foglalják az előre gyártott modulokat is, amelyekben extra kapcsolóberendezések, UPS-ek és akkumulátorok találhatók, míg egyes helyszíneken a kábelek helyett nagy kapacitású síneket építettek be, hogy több áramot juttassanak el a rackekbe. Galabov azonban úgy véli, hogy az ilyen típusú utólagos felszerelés a költségek miatt kevésbé optimális a régebbi adatközpontokban. "Van egy felső határ, ameddig a sűrűség növelhető. Az egyik Equinix telephelyen azt láttam, hogy egy utólagos átalakítási projekt eredményeként a rack-sűrűség 10 kW-ról 30 kW-ra nőtt rackenként.” A folyadékhűtés témájával kapcsolatban elmondta, hogy a levegő-folyadék hűtés jó módszer az adatközpontokon belüli csőhálózat teljes frissítésének elkerülésére, és a Microsoft is nagy támogatója ennek a megközelítésnek. Az Omdia kutatási igazgatója szerint azonban ennek elfogadása korlátozott lehet, mert így lehetővé váló sűrűség nem alkalmas az olyan jövőbeli MI-infrastruktúrák támogatására, mint az Nvidia Blackwell rack-szintű referenciadizájnja.
„Azokon a területeken, ahol az üzemeltetők nem akarták frissíteni a rackeket, és nem akartak gyűjtőcsöveket telepíteni a közvetlen a chipet érintő folyadékhűtéshez, hátsó hőcserélők telepítésével is találkoztunk, amelyek jó megoldást jelentenek” - mondta Galabov. A gyártók szerint ezzel az elrendezéssel akár 100 kW-ig is el lehet jutni, ehhez azonban a környezeti levegő hőmérsékletét jelentősen csökkenteni kell, ami már nagyon drága.