SG.hu
Egy mesterséges intelligencia létrehozása egy 1 milliárd dolláros fogadás
Ha valaki GPU-val teli klasztereket akar építeni csillogó új eszközökkel, hogy mesterséges intelligenciát tréningezzen és létrehozzon egy un. nagy nyelvi modellt vagy egy profi, tanulásra és profilalkotásra képes ajánlórendszert, akkor először össze kell szednie 1 milliárd dollárt. Persze ennél jóval kevesebből is el lehet kezdeni a munkát régebbi GPU-rendszereken kapacitás bérlésével, de az újabb és erősebb GPU-k felhőben való használatához már sorba kell állni, annyira nem tudják teljesíteni az igényeket a szolgáltatók. Néhány százmillió dollár birtokában már elég jó helyre kerülünk a várólistán, de még ebben a ligában is nagy álmokkal bíró startupok sora vár arra, hogy nagyot tudjon villantani. Mert a mesterséges intelligencia azon kevés területek egyike, amibe a kockázati tőkebefektetők, a fedezeti alapok és a független, tehetős befektetők rengeteg pénzt hajlandóak pumpálni, így akinek van egy nagyszerű ötlete és persze megfelelő kapcsolatai, annak minden esélye megvan a nagy dobásra.
Az Inflection AI-t 2022 márciusában alapították, és az életútja tökéletesen megmutatja mi a helyzet ma ebben az iparágban pénz, gépek és szoftverek tekintetében. Eddig 1 milliárd dollárnyi tőkét gyűjtött össze befektetőktől, de olyan kemény a verseny a jelenlegi MI-robbanásban, hogy így sem biztos a túlélése. Céljuk egy személyes asszisztens létrehozása, amihez egy hatalmas saját rendszert építenek Nvidia Hopper H100 GPU-kkal, és mely a Föld legerősebb rendszerei közé fog tartozni.
A céget három olyan ember hozta létre, aki már letett valamit az asztalra. Az egyik Reid Hoffman, a LinkedIn üzleti közösségi hálózat társalapítója, akihez csatlakozott Mustafa Suleyman, a DeepMind alapítója, és Karén Simonyan, a DeepMind vezető MI-kutatója. Ők hárman már kezdettől részesei az egy évtizeddel ezelőtt kezdődött mesterséges intelligencia forradalomnak. Amikor a Microsoft 2016-ban 26 milliárd dollárért megvette a LinkedInt, Hoffman főrészvényesként 2,84 milliárd dollárt kapott, és az ő személyes pénzéből finanszírozzák az Inflection AI-t. Az ötletükhöz megnyerték a Microsoft társalapítója, Bill Gates, és a Sun Microsystems és a Google korábbi vezetője, Eric Schmidt támogatását is. Azt is érdemes kiemelni, hogy Hoffman idén márciusig tagja volt az OpenAI igazgatótanácsának is, ahonnan az Inflection AI-val kapcsolatos összeférhetetlenség miatt mondott le. Valószínűleg tarthatatlan lesz a helyzete a Microsoft igazgatótanácsában is, mivel a szoftveróriás és az OpenAI szoros partnerségben van, de úgy tűnik, hogy a Microsoftnak nincs ellenére ez, mert így két vasat tudnak tartani a tűzben.
Simonyan az Oxfordi Egyetemről katapultált a 2010-ben alapított DeepMind nevű MI-startup vezető kutatói székébe, ahol Szulejmán volt a termékért felelős vezető, majd az alkalmazott mesterséges intelligencia vezetője, amikor a Google belépett a színre és felvásárolta a DeepMindot. A Facebookkal versenyezve valahol 400 millió és 650 millió dollár között fizettek a megerősítő tanulási MI-technológiáért, amiből némi apró természetesen másik két neves befektetőnek, Elon Musknak és Peter Thielnek is járt. Az Inflection AI 2022 májusában 225 millió dollárt gyűjtött, amikor a nagyobb játékosok, mint a Microsoft és Gates, valamint Eric Schmidt beszálltak a buliba, és így összesen 1,3 milliárd dolláros pénzeszsákkal kezdhettek gazdálkodni.
Reid Hoffman
Az Inflection AI célja, hogy a PI (Personal Intelligence, azaz személyes intelligencia) - nevű MI-asszisztensüket a Földön mindenki számára elérhetővé tegyék. Célja elérése érdekében az Inflection AI eddig jó úton jár, olyan befektetőket szerzett, akik értenek a mesterséges intelligenciához, és akiknek sok pénzzel rendelkező barátaik vannak, valamint akiknek az a céljuk, hogy meggazdagodjanak a mesterséges intelligencián. Második lépésként az Inflection AI megépítette a saját LLM-jét (ezt Inflection-1-nek hívják), és az OpenAI-hoz hasonlóan egy vagyont fognak befektetni a modell pontosságának növelésébe és a Pi szolgáltatás egyre nagyobb számú felhasználójára való kiterjesztéséhez szükséges hardverbe. Ez figyelembe véve az LLM-ek képzéséhez szükséges számítási motorok magas költségeit óriási összegeket fog igénybe venni.
Az Nvidia segítségével dolgoznak egy felhőben lévő MI-klaszter létrehozásán, amely több mint 22 000 H100 GPU-gyorsítóval képzi majd az Inflection-2 LLM-et. Az Inflection AI azzal büszkélkedik, hogy ez a 22 000 darab H100 GPU "elképesztő, 22 exaflops teljesítményt nyújtana 16 bites pontossággal dolgozva", és a High Performance Linpack (HPL) mátrixmatematikai teszt alapján a szuperszámítógépek jelenlegi Top500-as listáján a második helyen állna. De mibe kerül ez a hatalmas kapacitás? H100-as PCI-Express kártyákkal számolva, melyek darabonként 20 000 dollárba kerülnek, ez 440 millió dollárt jelent. (Persze ez csak közelítő becslés, nehéz megmondani, hogy valójában mennyi pénzről van szó.) Ennyi GPU elhelyezéséhez csomópontonként nyolc darabbal számolva 2750 szerverre van szükség, melyekbe kell egy pár erős CPU, 2 TB memória és néhány TB flash memória az adatok és az operációs rendszer tárolására; máris valahol 150 000 dollár körül vagyunk darabonként, ami összesen további 412,5 millió dollárt jelent. Minderre az Nvidia közlése szerint az InfiniBand-hálózat még 20 százalékot tesz rá, azaz 213 millió dollárt. Az összköltség tehát 1,07 milliárd dollár, NVLink Switch összeköttetést használva pedig 1,35 milliárd dollárra ugrik.
A chatbotot már ki lehet próbálni
Ez sokkal több pénz, mint amennyit az amerikai kormány az exascale osztályú szuperszámítógépeire költ, amelyek ára 500-600 millió dollár körül mozog az egyszeri mérnöki költségekkel együtt. Egy számítási felhő létrehozásának általános költségei - amelyek magukban foglalják a rendszerirányítási, ingatlan- és villamosenergia-költségeket - könnyen hozzáadhatnak további 200 millió dollárt, plusz erre rájön még az építettő haszonkulcsa, 1,63 milliárd dollárra növelve a költségeket. Ez több, mint amit az Inflection AI eddig a befektetőktől összegyűjtött; szerencséjük, hogy mivel felhőről van szó, nem kell egyszerre kifizetniük az egészet. Ebből következően mennyi lesz egy Pi előfizetés ára, és hány felhasználó kell hozzá - és milyen gyorsan - hogy ez kifizetődjön? Bill Gatesnek van elég pénze ahhoz, hogy ne kelljen törődnie vele, ahogy az Nvidia és a Microsoft is nyugodt lehet. Talán Reid Hoffman sem forog nyugtalanul éjszaka. Valószínűleg ezeken a matekpéldákon már rég végigmentek, és az jött ki eredményül, hogy a Pi szolgáltatás képzésének és működtetésének havi költsége végül jóval kevesebb lesz, mint a szolgáltatás végfelhasználói ára.
Az Inflection AI-t 2022 márciusában alapították, és az életútja tökéletesen megmutatja mi a helyzet ma ebben az iparágban pénz, gépek és szoftverek tekintetében. Eddig 1 milliárd dollárnyi tőkét gyűjtött össze befektetőktől, de olyan kemény a verseny a jelenlegi MI-robbanásban, hogy így sem biztos a túlélése. Céljuk egy személyes asszisztens létrehozása, amihez egy hatalmas saját rendszert építenek Nvidia Hopper H100 GPU-kkal, és mely a Föld legerősebb rendszerei közé fog tartozni.
A céget három olyan ember hozta létre, aki már letett valamit az asztalra. Az egyik Reid Hoffman, a LinkedIn üzleti közösségi hálózat társalapítója, akihez csatlakozott Mustafa Suleyman, a DeepMind alapítója, és Karén Simonyan, a DeepMind vezető MI-kutatója. Ők hárman már kezdettől részesei az egy évtizeddel ezelőtt kezdődött mesterséges intelligencia forradalomnak. Amikor a Microsoft 2016-ban 26 milliárd dollárért megvette a LinkedInt, Hoffman főrészvényesként 2,84 milliárd dollárt kapott, és az ő személyes pénzéből finanszírozzák az Inflection AI-t. Az ötletükhöz megnyerték a Microsoft társalapítója, Bill Gates, és a Sun Microsystems és a Google korábbi vezetője, Eric Schmidt támogatását is. Azt is érdemes kiemelni, hogy Hoffman idén márciusig tagja volt az OpenAI igazgatótanácsának is, ahonnan az Inflection AI-val kapcsolatos összeférhetetlenség miatt mondott le. Valószínűleg tarthatatlan lesz a helyzete a Microsoft igazgatótanácsában is, mivel a szoftveróriás és az OpenAI szoros partnerségben van, de úgy tűnik, hogy a Microsoftnak nincs ellenére ez, mert így két vasat tudnak tartani a tűzben.
Simonyan az Oxfordi Egyetemről katapultált a 2010-ben alapított DeepMind nevű MI-startup vezető kutatói székébe, ahol Szulejmán volt a termékért felelős vezető, majd az alkalmazott mesterséges intelligencia vezetője, amikor a Google belépett a színre és felvásárolta a DeepMindot. A Facebookkal versenyezve valahol 400 millió és 650 millió dollár között fizettek a megerősítő tanulási MI-technológiáért, amiből némi apró természetesen másik két neves befektetőnek, Elon Musknak és Peter Thielnek is járt. Az Inflection AI 2022 májusában 225 millió dollárt gyűjtött, amikor a nagyobb játékosok, mint a Microsoft és Gates, valamint Eric Schmidt beszálltak a buliba, és így összesen 1,3 milliárd dolláros pénzeszsákkal kezdhettek gazdálkodni.
Reid Hoffman
Az Inflection AI célja, hogy a PI (Personal Intelligence, azaz személyes intelligencia) - nevű MI-asszisztensüket a Földön mindenki számára elérhetővé tegyék. Célja elérése érdekében az Inflection AI eddig jó úton jár, olyan befektetőket szerzett, akik értenek a mesterséges intelligenciához, és akiknek sok pénzzel rendelkező barátaik vannak, valamint akiknek az a céljuk, hogy meggazdagodjanak a mesterséges intelligencián. Második lépésként az Inflection AI megépítette a saját LLM-jét (ezt Inflection-1-nek hívják), és az OpenAI-hoz hasonlóan egy vagyont fognak befektetni a modell pontosságának növelésébe és a Pi szolgáltatás egyre nagyobb számú felhasználójára való kiterjesztéséhez szükséges hardverbe. Ez figyelembe véve az LLM-ek képzéséhez szükséges számítási motorok magas költségeit óriási összegeket fog igénybe venni.
Az Nvidia segítségével dolgoznak egy felhőben lévő MI-klaszter létrehozásán, amely több mint 22 000 H100 GPU-gyorsítóval képzi majd az Inflection-2 LLM-et. Az Inflection AI azzal büszkélkedik, hogy ez a 22 000 darab H100 GPU "elképesztő, 22 exaflops teljesítményt nyújtana 16 bites pontossággal dolgozva", és a High Performance Linpack (HPL) mátrixmatematikai teszt alapján a szuperszámítógépek jelenlegi Top500-as listáján a második helyen állna. De mibe kerül ez a hatalmas kapacitás? H100-as PCI-Express kártyákkal számolva, melyek darabonként 20 000 dollárba kerülnek, ez 440 millió dollárt jelent. (Persze ez csak közelítő becslés, nehéz megmondani, hogy valójában mennyi pénzről van szó.) Ennyi GPU elhelyezéséhez csomópontonként nyolc darabbal számolva 2750 szerverre van szükség, melyekbe kell egy pár erős CPU, 2 TB memória és néhány TB flash memória az adatok és az operációs rendszer tárolására; máris valahol 150 000 dollár körül vagyunk darabonként, ami összesen további 412,5 millió dollárt jelent. Minderre az Nvidia közlése szerint az InfiniBand-hálózat még 20 százalékot tesz rá, azaz 213 millió dollárt. Az összköltség tehát 1,07 milliárd dollár, NVLink Switch összeköttetést használva pedig 1,35 milliárd dollárra ugrik.
A chatbotot már ki lehet próbálni
Ez sokkal több pénz, mint amennyit az amerikai kormány az exascale osztályú szuperszámítógépeire költ, amelyek ára 500-600 millió dollár körül mozog az egyszeri mérnöki költségekkel együtt. Egy számítási felhő létrehozásának általános költségei - amelyek magukban foglalják a rendszerirányítási, ingatlan- és villamosenergia-költségeket - könnyen hozzáadhatnak további 200 millió dollárt, plusz erre rájön még az építettő haszonkulcsa, 1,63 milliárd dollárra növelve a költségeket. Ez több, mint amit az Inflection AI eddig a befektetőktől összegyűjtött; szerencséjük, hogy mivel felhőről van szó, nem kell egyszerre kifizetniük az egészet. Ebből következően mennyi lesz egy Pi előfizetés ára, és hány felhasználó kell hozzá - és milyen gyorsan - hogy ez kifizetődjön? Bill Gatesnek van elég pénze ahhoz, hogy ne kelljen törődnie vele, ahogy az Nvidia és a Microsoft is nyugodt lehet. Talán Reid Hoffman sem forog nyugtalanul éjszaka. Valószínűleg ezeken a matekpéldákon már rég végigmentek, és az jött ki eredményül, hogy a Pi szolgáltatás képzésének és működtetésének havi költsége végül jóval kevesebb lesz, mint a szolgáltatás végfelhasználói ára.