SG.hu
Az OpenAI a Broadcommal és az Nvidiával építi fel az MI új infrastruktúráját
A ChatGPT és a Sora gyártója saját sorsát akarja irányítani, ami azt jelenti, hogy a szoftverét futtató hardvert is irányítani akarja. Sam Altman víziója szerint az OpenAI jövője a saját tervezésű chipeken múlik, amelyekkel egyszerre csökkentenék a költségeket és növelnék a teljesítményt.
Senki sem vádolhatja az OpenAI vezérigazgatóját, Sam Altmant azzal, hogy kicsiben gondolkodik. Egyszer azt javasolta, hogy építsenek napelemeket a Nap köré, hogy azok energiával lássák el a jövőbeli mesterséges intelligenciákat. Cégének új megállapodása a Broadcommal, amelynek keretében az OpenAI jövőbeli ügyfeleinek igényeire szabott chipeket gyártanak, talán nem olyan elképesztő, de mindenképpen merész. Altman szerint ahhoz, hogy a fogyasztók által igényelt mesterséges intelligencia szolgáltatásokat biztosítani tudják, a cég adatközpontjainak legalább egy MI-specifikus chipre lesz szükségük felhasználónként. Más szóval, milliárdnyi chipre.
A szakértők is egyetértenek ezzel a véleménnyel. Ha az MI átveszi az összes feladatot, amit ígértek nekünk, akkor a világnak annyi MI mikrochipre lesz szüksége, amennyi hagyományos mikrochip van jelenleg - mondja Ali Farhadi, egy nonprofit kutatószervezet, az Allen Institute for AI vezérigazgatója. Az Nvidia továbbra is az első számú választás, amikor a vállalatok adatközpontokat építenek mesterséges intelligenciájuk képzésére. Az egyedi chipek azonban gyorsabbá és olcsóbbá tehetik a mesterséges intelligencia szolgáltatásait, az úgynevezett következtetést. Ez segíthet az OpenAI-nak pénzt megtakarítani a jövedelmezőség elérése érdekében, ami jelenleg még messze van.
Az OpenAI legutóbbi megállapodásai a Broadcommal és az Nvidiával a mesterséges intelligencia világának mogyoróvaja és csokoládéja. Mindkettő szükséges ahhoz, hogy az OpenAI elérje céljait: a világ legkiválóbb modelljeinek kiképzését - az Nvidia chipjein -, majd azok eredményeinek bankrobbantást nem igénylő szállítását - a Broadcom egyedi chipjein. Az Amazon és a Google már régóta egyedi szilíciumot párosít komplex szoftverekkel a felhőalapú számítástechnika működtetéséhez, és mindkettő saját egyedi chipeket is tervez az MI kiképzéséhez és a válaszadáshoz. A Meta és a Microsoft még a saját egyedi MI chipjeik kifejlesztésének korai szakaszában járnak.
Optimális esetben a szoftverfejlesztőknek olyan programokat kell írniuk, amelyek a meglévő hardverhez, és különösen azon mikrochipekhez vannak igazítva, amelyeken futnak. Amikor egy vállalat elkezdi saját chipjeinek tervezését, ahogyan az Apple tette a 2000-es évek közepén, akkor lehetőségük nyílik a chipek és a szoftverek szorosabb összehangolására. Ezért gyors és energiahatékony az iPhone. Az OpenAI számára a hatékonyabb chipek azt jelentik, hogy kevesebbet kell költenie áramra, hogy termékét eljuttassa az ügyfelekhez.
Az Nvidia chipjei rugalmasak. Nagy teljesítményűek és sokoldalúak, hogy bármilyen MI-alkalmazáshoz illeszkedni tudjanak. A modellek képzése tekintetében az iparág vezetői egyetértenek abban, hogy ez a legjobb választás: több becslés szerint az Nvidia piaci részesedése a modellek képzésében meghaladja a 70%-ot. De amikor egy mesterséges intelligencia modell következtetés útján választ ad a felhasználóknak, a hardverigények eltérnek a modell képzéséhez szükségesektől. Ez lehetőséget teremt a mesterséges intelligencia vállalatok számára, amelyek a saját alkalmazásaikhoz igazított chipeket használhatnak a gyorsabb és hatékonyabb működés érdekében.
A Broadcom lehetőséget ad az OpenAI-nak arra, hogy újraértelmezze az MI-chipek hagyományos receptjét - mondja Jordan Nanos, a Hewlett Packard Enterprise korábbi mérnöke, a SemiAnalysis félvezető- és MI-kutató cég műszaki munkatársa. A következtetés fázisában az OpenAI modelljei legjobban olyan chipeken futnak, amelyek nagy mennyiségű, nagy sávszélességű memóriát támogatnak, mondja Nanos. A hónap elején a vállalat bejelentette, hogy partnerségre lépett a két vezető gyártóval, a Samsunggal és az SK Hynixszel, amelyek ilyen memóriákat gyártanak.
A nagy sávszélességű memóriától való függőség gyakori az MI-modellek körében, de nem általános. Az OpenAI igénye az ilyen típusú chipekre bizonyos szempontból specifikus az általa gyártott modellekre és azokra az alkalmazásokra, amelyeket jövőbeli ügyfelei várhatóan a legnagyobb mértékben fognak használni. Az OpenAI nem hozza nyilvánosságra, hogy melyek ezek a jövőbeli alkalmazások, de a vállalat bejelentése során Altman elmondta, hogy Pulse termékük - amely mesterséges intelligencia ügynököket használ az internet átkutatására és a felhasználóknak minden reggel érdekes témákról szóló összefoglalók készítésére - olyan nagy számítási teljesítményt igényel, hogy a vállalat kénytelen a bevezetését kizárólag azokra korlátozni, akik havi 200 dollárt fizetnek a Pro szintért.
Egy másik tényező is összekapcsolja a chiptervezést az energiafelhasználással, ez pedig a „ritkaság” (sparsity). A korábbi modellek „sűrűk” voltak: minden alkalommal, amikor parancsot kaptak, a neurális hálózatukon belül a csomópontok jelentős részét aktiválni kellett, hogy válaszolhassanak. Ez arányosan nagy számítási teljesítményt igényelt. Az újabb modellek felosztják a tudást a neurális háló különböző részei között, így az egyes szakaszok egy-egy adott típusú kérdés megválaszolásában a legjobbak. Mivel kevesebb „szakértőt” kell aktiválni, a számítási igény is csökken. A korai modellek egy tipikus kérdés megválaszolásához akár a neurális hálózatuk negyedét is működésbe hozták, míg a legújabbak csupán a hálózat töredék százalékát használják. Egy olyan chip, amelyet kifejezetten az ilyen módon működő modellekhez terveztek, sokkal hatékonyabban tud működni.
Bár az MI-chipek állnak az OpenAI és a Broadcom megállapodásának középpontjában, a tágabb cél egy teljes, gigawattos léptékű MI-szuperszámítógép-hálózat kiépítése. Ez azt jelenti, hogy a Broadcomnak a hálózatépítő chipeket, kábeleket és optikai összeköttetéseket is szállítania kell, amelyek szükségesek az egész rendszer összekapcsolásához. Altman szerint az OpenAI teljes MI-számítási teljesítménye 2 gigawatt, bár nincs minden egy helyen. A Broadcommal kötött megállapodás keretében 2030-ig legfeljebb 10 gigawatt teljesítményű, az OpenAI és a Broadcom által közösen fejlesztett MI-rendszereket hoznak létre. Ez az elmúlt három hétben bejelentett, az AMD-vel és az Nvidiával kötött, 16 gigawatt teljesítményű megállapodásokon felül jön, ami elképesztő számítási teljesítményt jelent. Összességében ezek a kötelezettségvállalások közel egy billió dollár befektetést és New York városának kétszeresét kitevő villamos energiát igényelhetnek.
Az OpenAI nem az egyetlen, amely chipeket és energiát halmoz fel. Szeptemberben az xAI bejelentette, hogy Memphis AI Colossus szuperszámítógépe elérte az 1,21 gigawatt teljesítményt. A Meta engedélyt kapott 2,3 gigawatt teljesítményű áramtermelésre a Louisiana AI szuperszámítógépénél, amelynek kódneve Hyperion. Júliusban Mark Zuckerberg vezérigazgató kijelentette, hogy a végső teljesítmény 5 gigawatt lesz.
Altman a Broadcom-megállapodást bejelentő podcastban az MI-infrastruktúra kiépítését „a történelem legnagyobb közös ipari projektjének” nevezte. Ugyanakkor hozzátette, hogy ez a megállapodás „csepp a tengerben ahhoz képest, ahová el kell jutnunk”. A megállapodás további célja az OpenAI beszállítóinak diverzifikálása. Az Oracle által a texasi Abilene-ben építendő OpenAI Stargate telephely képzési célokat szolgál, ezért valószínűleg szinte kizárólag Nvidia chipekből áll majd, amelyek továbbra is az iparági szabványnak számítanak ezen a területen. Az OpenAI az AMD-től is vásárolni fog, de ezek a chipek valószínűleg elsősorban következtetések levonására szolgálnak majd. "Az OpenAI elég messzire tekint a jövőbe, és megpróbálja biztosítani, hogy elegendő chip álljon rendelkezésére” - mondja Nanos.
Senki sem vádolhatja az OpenAI vezérigazgatóját, Sam Altmant azzal, hogy kicsiben gondolkodik. Egyszer azt javasolta, hogy építsenek napelemeket a Nap köré, hogy azok energiával lássák el a jövőbeli mesterséges intelligenciákat. Cégének új megállapodása a Broadcommal, amelynek keretében az OpenAI jövőbeli ügyfeleinek igényeire szabott chipeket gyártanak, talán nem olyan elképesztő, de mindenképpen merész. Altman szerint ahhoz, hogy a fogyasztók által igényelt mesterséges intelligencia szolgáltatásokat biztosítani tudják, a cég adatközpontjainak legalább egy MI-specifikus chipre lesz szükségük felhasználónként. Más szóval, milliárdnyi chipre.
A szakértők is egyetértenek ezzel a véleménnyel. Ha az MI átveszi az összes feladatot, amit ígértek nekünk, akkor a világnak annyi MI mikrochipre lesz szüksége, amennyi hagyományos mikrochip van jelenleg - mondja Ali Farhadi, egy nonprofit kutatószervezet, az Allen Institute for AI vezérigazgatója. Az Nvidia továbbra is az első számú választás, amikor a vállalatok adatközpontokat építenek mesterséges intelligenciájuk képzésére. Az egyedi chipek azonban gyorsabbá és olcsóbbá tehetik a mesterséges intelligencia szolgáltatásait, az úgynevezett következtetést. Ez segíthet az OpenAI-nak pénzt megtakarítani a jövedelmezőség elérése érdekében, ami jelenleg még messze van.
Az OpenAI legutóbbi megállapodásai a Broadcommal és az Nvidiával a mesterséges intelligencia világának mogyoróvaja és csokoládéja. Mindkettő szükséges ahhoz, hogy az OpenAI elérje céljait: a világ legkiválóbb modelljeinek kiképzését - az Nvidia chipjein -, majd azok eredményeinek bankrobbantást nem igénylő szállítását - a Broadcom egyedi chipjein. Az Amazon és a Google már régóta egyedi szilíciumot párosít komplex szoftverekkel a felhőalapú számítástechnika működtetéséhez, és mindkettő saját egyedi chipeket is tervez az MI kiképzéséhez és a válaszadáshoz. A Meta és a Microsoft még a saját egyedi MI chipjeik kifejlesztésének korai szakaszában járnak.
Optimális esetben a szoftverfejlesztőknek olyan programokat kell írniuk, amelyek a meglévő hardverhez, és különösen azon mikrochipekhez vannak igazítva, amelyeken futnak. Amikor egy vállalat elkezdi saját chipjeinek tervezését, ahogyan az Apple tette a 2000-es évek közepén, akkor lehetőségük nyílik a chipek és a szoftverek szorosabb összehangolására. Ezért gyors és energiahatékony az iPhone. Az OpenAI számára a hatékonyabb chipek azt jelentik, hogy kevesebbet kell költenie áramra, hogy termékét eljuttassa az ügyfelekhez.
Az Nvidia chipjei rugalmasak. Nagy teljesítményűek és sokoldalúak, hogy bármilyen MI-alkalmazáshoz illeszkedni tudjanak. A modellek képzése tekintetében az iparág vezetői egyetértenek abban, hogy ez a legjobb választás: több becslés szerint az Nvidia piaci részesedése a modellek képzésében meghaladja a 70%-ot. De amikor egy mesterséges intelligencia modell következtetés útján választ ad a felhasználóknak, a hardverigények eltérnek a modell képzéséhez szükségesektől. Ez lehetőséget teremt a mesterséges intelligencia vállalatok számára, amelyek a saját alkalmazásaikhoz igazított chipeket használhatnak a gyorsabb és hatékonyabb működés érdekében.
A Broadcom lehetőséget ad az OpenAI-nak arra, hogy újraértelmezze az MI-chipek hagyományos receptjét - mondja Jordan Nanos, a Hewlett Packard Enterprise korábbi mérnöke, a SemiAnalysis félvezető- és MI-kutató cég műszaki munkatársa. A következtetés fázisában az OpenAI modelljei legjobban olyan chipeken futnak, amelyek nagy mennyiségű, nagy sávszélességű memóriát támogatnak, mondja Nanos. A hónap elején a vállalat bejelentette, hogy partnerségre lépett a két vezető gyártóval, a Samsunggal és az SK Hynixszel, amelyek ilyen memóriákat gyártanak.
A nagy sávszélességű memóriától való függőség gyakori az MI-modellek körében, de nem általános. Az OpenAI igénye az ilyen típusú chipekre bizonyos szempontból specifikus az általa gyártott modellekre és azokra az alkalmazásokra, amelyeket jövőbeli ügyfelei várhatóan a legnagyobb mértékben fognak használni. Az OpenAI nem hozza nyilvánosságra, hogy melyek ezek a jövőbeli alkalmazások, de a vállalat bejelentése során Altman elmondta, hogy Pulse termékük - amely mesterséges intelligencia ügynököket használ az internet átkutatására és a felhasználóknak minden reggel érdekes témákról szóló összefoglalók készítésére - olyan nagy számítási teljesítményt igényel, hogy a vállalat kénytelen a bevezetését kizárólag azokra korlátozni, akik havi 200 dollárt fizetnek a Pro szintért.
Egy másik tényező is összekapcsolja a chiptervezést az energiafelhasználással, ez pedig a „ritkaság” (sparsity). A korábbi modellek „sűrűk” voltak: minden alkalommal, amikor parancsot kaptak, a neurális hálózatukon belül a csomópontok jelentős részét aktiválni kellett, hogy válaszolhassanak. Ez arányosan nagy számítási teljesítményt igényelt. Az újabb modellek felosztják a tudást a neurális háló különböző részei között, így az egyes szakaszok egy-egy adott típusú kérdés megválaszolásában a legjobbak. Mivel kevesebb „szakértőt” kell aktiválni, a számítási igény is csökken. A korai modellek egy tipikus kérdés megválaszolásához akár a neurális hálózatuk negyedét is működésbe hozták, míg a legújabbak csupán a hálózat töredék százalékát használják. Egy olyan chip, amelyet kifejezetten az ilyen módon működő modellekhez terveztek, sokkal hatékonyabban tud működni.
Bár az MI-chipek állnak az OpenAI és a Broadcom megállapodásának középpontjában, a tágabb cél egy teljes, gigawattos léptékű MI-szuperszámítógép-hálózat kiépítése. Ez azt jelenti, hogy a Broadcomnak a hálózatépítő chipeket, kábeleket és optikai összeköttetéseket is szállítania kell, amelyek szükségesek az egész rendszer összekapcsolásához. Altman szerint az OpenAI teljes MI-számítási teljesítménye 2 gigawatt, bár nincs minden egy helyen. A Broadcommal kötött megállapodás keretében 2030-ig legfeljebb 10 gigawatt teljesítményű, az OpenAI és a Broadcom által közösen fejlesztett MI-rendszereket hoznak létre. Ez az elmúlt három hétben bejelentett, az AMD-vel és az Nvidiával kötött, 16 gigawatt teljesítményű megállapodásokon felül jön, ami elképesztő számítási teljesítményt jelent. Összességében ezek a kötelezettségvállalások közel egy billió dollár befektetést és New York városának kétszeresét kitevő villamos energiát igényelhetnek.
Az OpenAI nem az egyetlen, amely chipeket és energiát halmoz fel. Szeptemberben az xAI bejelentette, hogy Memphis AI Colossus szuperszámítógépe elérte az 1,21 gigawatt teljesítményt. A Meta engedélyt kapott 2,3 gigawatt teljesítményű áramtermelésre a Louisiana AI szuperszámítógépénél, amelynek kódneve Hyperion. Júliusban Mark Zuckerberg vezérigazgató kijelentette, hogy a végső teljesítmény 5 gigawatt lesz.
Altman a Broadcom-megállapodást bejelentő podcastban az MI-infrastruktúra kiépítését „a történelem legnagyobb közös ipari projektjének” nevezte. Ugyanakkor hozzátette, hogy ez a megállapodás „csepp a tengerben ahhoz képest, ahová el kell jutnunk”. A megállapodás további célja az OpenAI beszállítóinak diverzifikálása. Az Oracle által a texasi Abilene-ben építendő OpenAI Stargate telephely képzési célokat szolgál, ezért valószínűleg szinte kizárólag Nvidia chipekből áll majd, amelyek továbbra is az iparági szabványnak számítanak ezen a területen. Az OpenAI az AMD-től is vásárolni fog, de ezek a chipek valószínűleg elsősorban következtetések levonására szolgálnak majd. "Az OpenAI elég messzire tekint a jövőbe, és megpróbálja biztosítani, hogy elegendő chip álljon rendelkezésére” - mondja Nanos.