SG.hu·
A tokenköltségek megugrása miatt egyre több vállalat fordul a DeepSeek és a nyílt forráskódú MI felé
A MI kiszolgálásának költségei meredeken emelkednek, miközben az előfizetéses modell elérte az árazási korlátait. Egy 200 dolláros ChatGPT-előfizetés API-alapú árazás mellett akár 14 000 dollárba is kerülhetne. Emiatt a vállalatok egyre inkább kínai nagy nyelvi modellekhez és nyílt forráskódú megoldásokhoz fordulnak, hogy kordában tartsák kiadásaikat.
A MI-szolgáltatások előfizetéses modellben történő biztosításának költsége folyamatosan nő a fejlesztő cégek számára, különösen azért, mert az egy tokenre jutó költség csökkenése nem tud lépést tartani a tokenfelhasználás robbanásszerű növekedésével. A SemiAnalysis elemzése szerint mind az Anthropic, mind az OpenAI olyan előfizetéseket kínál, amelyek ára jóval alacsonyabb annál, mint amennyibe a szolgáltatás ténylegesen kerülne, ha a felhasználók maximálisan kihasználnák azokat. Az elemzőcég mindkét MI-szolgáltató összes előfizetését megvásárolta, és arra jutott, hogy a maximálisan lehetséges költés hozzávetőleges értéke API-árazást feltételezve messze meghaladja azt az összeget, amelyet az ügyfelek havonta ténylegesen fizetnek.
A Claude Max 20x előfizetés például havi 200 dollárba kerül, azonban teljes kihasználtság mellett a tokenfelhasználás költsége havi 8000 dollárra rúgna. A szintén havi 200 dolláros ChatGPT Pro 20x esetében a maximális költés körülbelül 14 000 dollár lenne. Az Anthropic két alacsonyabb csomagja, a Claude Pro és a Claude Max 5x, körülbelül 20 százalékos kihasználtság mellett még fedezi a költségeket. Az OpenAI viszont már akkor veszteséget termel az alapcsomagjain, vagyis a ChatGPT Plus és a ChatGPT Pro 5x előfizetéseken, ha a felhasználók kihasználtsága meghaladja a 11,4 százalékot.
A helyzet még kedvezőtlenebb a két vállalat legdrágább ajánlatai esetében. Ha a kihasználtság eléri a 10 százalékot, az Anthropic felső kategóriás csomagjainál a bruttó árrés nullára csökken. Az OpenAI pedig már veszteségessé válik, amennyiben a használat túllépi az 5,7 százalékot. Ez a helyzet hosszú távon nyilvánvalóan nem fenntartható, ugyanakkor sem a funkciók csökkentése, sem az előfizetési díjak jelentős emelése nem tűnik reális opciónak ezeknek a vállalatoknak.
A kép ugyanakkor nem teljesen borús. Ahogy új modellek jelennek meg, és egyre több adatközpont áll üzembe, a meglévő modellek kiszolgálásának költsége várhatóan csökkenni fog. A SemiAnalysis előrejelzése szerint hamarosan nyereségessé válhat az Opus 4.8 szintű modellek havi 20 dolláros előfizetés keretében történő működtetése. A legfejlettebb, úgynevezett élvonalbeli modellek azonban továbbra is lényegesen drágábbak maradnak. A Mythoshoz hasonló rendszerek működtetése olyan költségekkel jár, amelyek miatt elképzelhető, hogy a legújabb és legfejlettebb funkciók kizárólag API-hozzáféréssel lesznek elérhetők. Ez azt jelenti, hogy a felhasználóknak tokenalapú díjazás szerint kell majd fizetniük.
A SemiAnalysis rámutatott arra is, hogy az előfizetéses konstrukciók általában kedvezőbbek az API-hozzáférésnél. Ugyanakkor a modellek teljes képességkészletének kihasználásához továbbra is szükség van API-ra, és itt kezdődnek az igazán komoly költségproblémák. A fejlett, ügynökalapú MI-rendszerek akár ezerszer több tokent is felhasználhatnak, mint az átlagos modellek. A Microsoft, a Meta és az Amazon is visszafogta a "tokenmaxxing" néven emlegetett gyakorlatot, mivel a költségek kezelhetetlen mértékben emelkedtek. Egy meg nem nevezett vállalat például egyetlen hónap alatt 500 millió dollárt költött el, miután elmulasztotta felhasználási korlátok bevezetését a dolgozók számára biztosított licenceken. Ennek következtében egyes cégek olyan eszközöket kezdtek használni, amelyek automatikusan lecserélik a drága élvonalbeli modelleket olcsóbb alternatívákra. Ezek között kínai nyílt forráskódú megoldások is megtalálhatók, például a DeepSeek.
A költségek akár 95 százalékkal is csökkenthetők, ha az MI-ügynökök az adott feladatnak megfelelően képesek váltani a különböző modellek között. "Nem szükséges olyan modell, amely ért a kvantumgravitációhoz" - mondta Vishal Misra, a Columbia Egyetem dékánhelyettese az újságnak. "Ezek a nyílt forráskódú modellek rendkívül alkalmasak a feladataik ellátására, és a MI-ért felszámítható jelentős felár lehetősége fokozatosan csökkenni fog." Flo Crivello, a Lindy nevű startup alapítója - amely MI-alapú vezetői asszisztensszolgáltatásokat nyújt - úgy véli, vállalata átáll a DeepSeek V4 használatára. Tapasztalataik szerint ez a modell képességeit tekintve a Sonnet szintjét hozza, miközben tízszer olcsóbban működtethető. Bár a vállalat továbbra is fenntartja az Anthropic modelljeit az összetettebb feladatokra, például programozási munkákra, Crivello szerint az olcsóbb modell alkalmazása "millió dollárokat takarított meg a vállalatnak".
Más cégek saját MI-rendszerek fejlesztésébe kezdtek nyílt forráskódú modellek felhasználásával. Ezeket a rendszereket az adott vállalat konkrét igényeire szabják, és a cégen belül rendelkezésre álló adatokon tanítják be. Bár első pillantásra ez bonyolultnak és költségesnek tűnhet, hosszabb távon jelentős megtakarítást eredményezhet. A vállalatok így nem szorulnak külső szolgáltatókra MI-igényeik kielégítésében. Egyes szakértők szerint az ilyen célzottan fejlesztett rendszerek még az élvonalbeli modelleket is felülmúlhatják bizonyos területeken, mivel kifejezetten az adott szervezet sajátos feladataihoz és működési folyamataihoz készülnek.
Az olcsóbb modellek megjelenése, valamint azok az MI-ügynökök, amelyek csak szükség esetén veszik igénybe a drágább rendszereket, egyre nagyobb nyomást helyeznek az OpenAI-ra és az Anthropicra az árak csökkentése érdekében. Sam Altman, az OpenAI vezérigazgatója korábban maga is beszélt a tokenköltségek gyors növekedésének problémájáról. Elmondása szerint a vállalat olyan megoldásokon dolgozik, amelyek segítségével a felhasználók "kevesebb ráfordítás mellett nagyobb értéket kaphatnak" a ChatGPT használata során.
A MI-szolgáltatások előfizetéses modellben történő biztosításának költsége folyamatosan nő a fejlesztő cégek számára, különösen azért, mert az egy tokenre jutó költség csökkenése nem tud lépést tartani a tokenfelhasználás robbanásszerű növekedésével. A SemiAnalysis elemzése szerint mind az Anthropic, mind az OpenAI olyan előfizetéseket kínál, amelyek ára jóval alacsonyabb annál, mint amennyibe a szolgáltatás ténylegesen kerülne, ha a felhasználók maximálisan kihasználnák azokat. Az elemzőcég mindkét MI-szolgáltató összes előfizetését megvásárolta, és arra jutott, hogy a maximálisan lehetséges költés hozzávetőleges értéke API-árazást feltételezve messze meghaladja azt az összeget, amelyet az ügyfelek havonta ténylegesen fizetnek.
A Claude Max 20x előfizetés például havi 200 dollárba kerül, azonban teljes kihasználtság mellett a tokenfelhasználás költsége havi 8000 dollárra rúgna. A szintén havi 200 dolláros ChatGPT Pro 20x esetében a maximális költés körülbelül 14 000 dollár lenne. Az Anthropic két alacsonyabb csomagja, a Claude Pro és a Claude Max 5x, körülbelül 20 százalékos kihasználtság mellett még fedezi a költségeket. Az OpenAI viszont már akkor veszteséget termel az alapcsomagjain, vagyis a ChatGPT Plus és a ChatGPT Pro 5x előfizetéseken, ha a felhasználók kihasználtsága meghaladja a 11,4 százalékot.
A helyzet még kedvezőtlenebb a két vállalat legdrágább ajánlatai esetében. Ha a kihasználtság eléri a 10 százalékot, az Anthropic felső kategóriás csomagjainál a bruttó árrés nullára csökken. Az OpenAI pedig már veszteségessé válik, amennyiben a használat túllépi az 5,7 százalékot. Ez a helyzet hosszú távon nyilvánvalóan nem fenntartható, ugyanakkor sem a funkciók csökkentése, sem az előfizetési díjak jelentős emelése nem tűnik reális opciónak ezeknek a vállalatoknak.
A kép ugyanakkor nem teljesen borús. Ahogy új modellek jelennek meg, és egyre több adatközpont áll üzembe, a meglévő modellek kiszolgálásának költsége várhatóan csökkenni fog. A SemiAnalysis előrejelzése szerint hamarosan nyereségessé válhat az Opus 4.8 szintű modellek havi 20 dolláros előfizetés keretében történő működtetése. A legfejlettebb, úgynevezett élvonalbeli modellek azonban továbbra is lényegesen drágábbak maradnak. A Mythoshoz hasonló rendszerek működtetése olyan költségekkel jár, amelyek miatt elképzelhető, hogy a legújabb és legfejlettebb funkciók kizárólag API-hozzáféréssel lesznek elérhetők. Ez azt jelenti, hogy a felhasználóknak tokenalapú díjazás szerint kell majd fizetniük.
A SemiAnalysis rámutatott arra is, hogy az előfizetéses konstrukciók általában kedvezőbbek az API-hozzáférésnél. Ugyanakkor a modellek teljes képességkészletének kihasználásához továbbra is szükség van API-ra, és itt kezdődnek az igazán komoly költségproblémák. A fejlett, ügynökalapú MI-rendszerek akár ezerszer több tokent is felhasználhatnak, mint az átlagos modellek. A Microsoft, a Meta és az Amazon is visszafogta a "tokenmaxxing" néven emlegetett gyakorlatot, mivel a költségek kezelhetetlen mértékben emelkedtek. Egy meg nem nevezett vállalat például egyetlen hónap alatt 500 millió dollárt költött el, miután elmulasztotta felhasználási korlátok bevezetését a dolgozók számára biztosított licenceken. Ennek következtében egyes cégek olyan eszközöket kezdtek használni, amelyek automatikusan lecserélik a drága élvonalbeli modelleket olcsóbb alternatívákra. Ezek között kínai nyílt forráskódú megoldások is megtalálhatók, például a DeepSeek.
A költségek akár 95 százalékkal is csökkenthetők, ha az MI-ügynökök az adott feladatnak megfelelően képesek váltani a különböző modellek között. "Nem szükséges olyan modell, amely ért a kvantumgravitációhoz" - mondta Vishal Misra, a Columbia Egyetem dékánhelyettese az újságnak. "Ezek a nyílt forráskódú modellek rendkívül alkalmasak a feladataik ellátására, és a MI-ért felszámítható jelentős felár lehetősége fokozatosan csökkenni fog." Flo Crivello, a Lindy nevű startup alapítója - amely MI-alapú vezetői asszisztensszolgáltatásokat nyújt - úgy véli, vállalata átáll a DeepSeek V4 használatára. Tapasztalataik szerint ez a modell képességeit tekintve a Sonnet szintjét hozza, miközben tízszer olcsóbban működtethető. Bár a vállalat továbbra is fenntartja az Anthropic modelljeit az összetettebb feladatokra, például programozási munkákra, Crivello szerint az olcsóbb modell alkalmazása "millió dollárokat takarított meg a vállalatnak".
Más cégek saját MI-rendszerek fejlesztésébe kezdtek nyílt forráskódú modellek felhasználásával. Ezeket a rendszereket az adott vállalat konkrét igényeire szabják, és a cégen belül rendelkezésre álló adatokon tanítják be. Bár első pillantásra ez bonyolultnak és költségesnek tűnhet, hosszabb távon jelentős megtakarítást eredményezhet. A vállalatok így nem szorulnak külső szolgáltatókra MI-igényeik kielégítésében. Egyes szakértők szerint az ilyen célzottan fejlesztett rendszerek még az élvonalbeli modelleket is felülmúlhatják bizonyos területeken, mivel kifejezetten az adott szervezet sajátos feladataihoz és működési folyamataihoz készülnek.
Az olcsóbb modellek megjelenése, valamint azok az MI-ügynökök, amelyek csak szükség esetén veszik igénybe a drágább rendszereket, egyre nagyobb nyomást helyeznek az OpenAI-ra és az Anthropicra az árak csökkentése érdekében. Sam Altman, az OpenAI vezérigazgatója korábban maga is beszélt a tokenköltségek gyors növekedésének problémájáról. Elmondása szerint a vállalat olyan megoldásokon dolgozik, amelyek segítségével a felhasználók "kevesebb ráfordítás mellett nagyobb értéket kaphatnak" a ChatGPT használata során.