SG.hu·
Hatalmas növekedés vár a tokenköltségeket csökkentő MI-piacterekre
A vállalatok egyre gyakrabban fordulnak olyan platformokhoz, amelyek lehetővé teszik a különböző MI-modellek közötti váltást, így mérsékelhetik a tokenekre fordított kiadásaikat.
A számbavételhez használt egység hasznos dolog. Már jóval azelőtt, hogy a pénz általánosan elterjedt volna, az emberek megpróbáltak szabványos módszereket kidolgozni a dolgok értékének elszámolására. Az Iliászban a bronzból vagy aranyból készült páncélok értékét ökrök számával fejezték ki: a bronzpáncél kilenc, az aranypáncél pedig száz ökörnek felelt meg. A prémek, a hatalmas kövek és a halmokba rakott só szintén szolgáltak már mérési alapként.
A mesterséges intelligencia univerzumát a saját mértékegysége, a token határozza meg. Ezek olyan szövegrészletek, amelyek jellemzően négy karakterből állnak, és amelyeket egy MI-modell beolvas, illetve amelyekkel válaszol. A tokenekkel azonban az a probléma, hogy nem működnek olyan egyszerűen, mint egykor az ökrök vagy a prémek. Egyrészt előre nem lehet pontosan tudni, hogy egy adott feladat elvégzése hány tokent igényelhet. A modellkészítők ráadásul drámaian eltérő árakat számítanak fel: a kínai DeepSeek startup egyik népszerű modellje tokenenként körülbelül negyvenedannyiba kerül, mint az Anthropic, az egyik vezető amerikai MI-laboratórium által készített, legkorszerűbb modell.
Az MI-t használó vállalatok számára ez a helyzet frusztrációhoz vezethet. Egy egyszerű feladat, például ha egy modellt számlák feldolgozására kérnek, hatalmas költséget eredményezhet. Ennek elkerülése érdekében egyes vállalkozások korlátozzák, hogy az alkalmazottak legfeljebb hány tokent használhatnak fel. Ez azonban a termelékenység rovására mehet. Ez a zavaros helyzet egy új típusú vállalkozás létrejöttéhez vezetett: megjelentek a modellpiacterek.
E piacterek közül a legismertebb az OpenRouter, amelyet Alex Atallah 2023-ban alapított társaival. A ChatGPT megjelenése után Atallah elkezdett azon gondolkodni, milyen világ következhet ezután. „Akkoriban az volt a legnagyobb kérdésem, hogy vajon olyan piac alakul-e ki, ahol egyetlen szereplő visz mindent, és az OpenAI kerül fölénybe” - mondja. Kételkedett abban, hogy ez történik majd, és arra a következtetésre jutott, hogy a piacterek központi szerepet játszanak majd az MI-iparágban.
Az OpenRouter lehetővé teszi az ügyfelek számára, hogy könnyedén váltsanak a különböző modellek között. Ha az Anthropic Claude modellje nem elérhető, használhatnak helyette egy OpenAI-modellt. Vagy akkor is válthatnak, ha valamelyik laboratórium kedvezményes tokenárakat kínál. Az OpenRouter szerény díjat számít fel a platformján keresztül továbbított használatért. Az üzlet annyira jól megy, hogy augusztusban a Stripe, a fizetési szolgáltatások egyik óriása megállapodott a piactér felvásárlásáról. A hírek szerint 7,5 milliárd dollárt fizet majd egy olyan vállalatért, amely még hároméves sincs.
Az OpenRouter nem az egyetlen modellpiactér, hasonló szolgáltatásokat kínálnak a nagy felhőszolgáltatók is. Az Amazon a Bedrockon keresztül számos modellt tesz elérhetővé, amelyek használatát a meglévő felhőszolgáltatási megállapodásokon keresztül számlázza ki. A Google ugyanezt kínálja a Vertex AI szolgáltatásán keresztül. Sok ügyfél azonban gyanakvással tekint ezekre a lehetőségekre: a felhőszolgáltatási óriások ugyanis saját modelleket fejlesztenek, és a legfejlettebb modelleket készítő laboratóriumokba is befektetnek, ezért aligha tekinthetők semleges szereplőknek.
Az OpenRouter először a fejlesztők körében tett szert népszerűségre, mivel lehetőséget kínált számos különböző modell kipróbálására, valamint arra, hogy gyorsan felmérjék, melyik teljesít a legjobban. A ChatGPT megjelenése után számos MI-laboratórium a „benchmaxxing” gyakorlatához folyamodott: olyan modelleket készítettek, amelyek kiváló eredményeket értek el bizonyos teszteken, például az amerikai egyetemi felvételi vizsgán, a SAT-on, ám a hasznosabb feladatokkal nehezen boldogultak. Az OpenRouter piacterén az ügyfelek a pénzükkel szavaznak, így igazságosabb rangsor alakul ki.
Az utóbbi időben a vállalatok a költségek ellenőrzésének eszközeként is az OpenRouterhez fordultak. Sokatmondó, hogy a platformon felhasznált tokenek túlnyomó részéért a DeepSeek, valamint két másik kínai modellfejlesztő, a Z.ai és a Xiaomi olcsó rendszerei felelnek, bár jelenleg egy OpenAI-modell is jól teljesít.
Atallah ennek ellenére úgy véli, hogy sok vállalat továbbra is kiforratlan módon közelíti meg a tokenek felhasználását. A vállalati ügyfeleknek azt javasolja, hogy a feladatokat alacsony, közepes és magas „entrópiájú” kategóriákra osszák fel aszerint, mennyire nyitott végű az adott munka. Az olcsó modellek gyakran elegendőek az alacsony entrópiájú feladatokhoz, például annak eldöntéséhez, hogy melyik modell vizsgáljon át egy kódrészletet. Számos közepes entrópiájú feladat elvégzésére is alkalmasak, például magának a kódnak az átvizsgálására. A legfejlettebb modelleket pedig a magas entrópiájú feladatokra lehet fenntartani, például arra, hogy a kódot a semmiből írják meg. „Azt látom, hogy sok vállalat ott követi el a hibát, hogy egyszerűen nem bontja fel ezeket a feladatokat kisebb részekre. Számukra minden ugyanaz” - mondja Atallah. „Ez egyszerűen óriási pénzpazarlás.”
A számbavételhez használt egység hasznos dolog. Már jóval azelőtt, hogy a pénz általánosan elterjedt volna, az emberek megpróbáltak szabványos módszereket kidolgozni a dolgok értékének elszámolására. Az Iliászban a bronzból vagy aranyból készült páncélok értékét ökrök számával fejezték ki: a bronzpáncél kilenc, az aranypáncél pedig száz ökörnek felelt meg. A prémek, a hatalmas kövek és a halmokba rakott só szintén szolgáltak már mérési alapként.
A mesterséges intelligencia univerzumát a saját mértékegysége, a token határozza meg. Ezek olyan szövegrészletek, amelyek jellemzően négy karakterből állnak, és amelyeket egy MI-modell beolvas, illetve amelyekkel válaszol. A tokenekkel azonban az a probléma, hogy nem működnek olyan egyszerűen, mint egykor az ökrök vagy a prémek. Egyrészt előre nem lehet pontosan tudni, hogy egy adott feladat elvégzése hány tokent igényelhet. A modellkészítők ráadásul drámaian eltérő árakat számítanak fel: a kínai DeepSeek startup egyik népszerű modellje tokenenként körülbelül negyvenedannyiba kerül, mint az Anthropic, az egyik vezető amerikai MI-laboratórium által készített, legkorszerűbb modell.
Az MI-t használó vállalatok számára ez a helyzet frusztrációhoz vezethet. Egy egyszerű feladat, például ha egy modellt számlák feldolgozására kérnek, hatalmas költséget eredményezhet. Ennek elkerülése érdekében egyes vállalkozások korlátozzák, hogy az alkalmazottak legfeljebb hány tokent használhatnak fel. Ez azonban a termelékenység rovására mehet. Ez a zavaros helyzet egy új típusú vállalkozás létrejöttéhez vezetett: megjelentek a modellpiacterek.
E piacterek közül a legismertebb az OpenRouter, amelyet Alex Atallah 2023-ban alapított társaival. A ChatGPT megjelenése után Atallah elkezdett azon gondolkodni, milyen világ következhet ezután. „Akkoriban az volt a legnagyobb kérdésem, hogy vajon olyan piac alakul-e ki, ahol egyetlen szereplő visz mindent, és az OpenAI kerül fölénybe” - mondja. Kételkedett abban, hogy ez történik majd, és arra a következtetésre jutott, hogy a piacterek központi szerepet játszanak majd az MI-iparágban.
Az OpenRouter lehetővé teszi az ügyfelek számára, hogy könnyedén váltsanak a különböző modellek között. Ha az Anthropic Claude modellje nem elérhető, használhatnak helyette egy OpenAI-modellt. Vagy akkor is válthatnak, ha valamelyik laboratórium kedvezményes tokenárakat kínál. Az OpenRouter szerény díjat számít fel a platformján keresztül továbbított használatért. Az üzlet annyira jól megy, hogy augusztusban a Stripe, a fizetési szolgáltatások egyik óriása megállapodott a piactér felvásárlásáról. A hírek szerint 7,5 milliárd dollárt fizet majd egy olyan vállalatért, amely még hároméves sincs.
Az OpenRouter nem az egyetlen modellpiactér, hasonló szolgáltatásokat kínálnak a nagy felhőszolgáltatók is. Az Amazon a Bedrockon keresztül számos modellt tesz elérhetővé, amelyek használatát a meglévő felhőszolgáltatási megállapodásokon keresztül számlázza ki. A Google ugyanezt kínálja a Vertex AI szolgáltatásán keresztül. Sok ügyfél azonban gyanakvással tekint ezekre a lehetőségekre: a felhőszolgáltatási óriások ugyanis saját modelleket fejlesztenek, és a legfejlettebb modelleket készítő laboratóriumokba is befektetnek, ezért aligha tekinthetők semleges szereplőknek.
Az OpenRouter először a fejlesztők körében tett szert népszerűségre, mivel lehetőséget kínált számos különböző modell kipróbálására, valamint arra, hogy gyorsan felmérjék, melyik teljesít a legjobban. A ChatGPT megjelenése után számos MI-laboratórium a „benchmaxxing” gyakorlatához folyamodott: olyan modelleket készítettek, amelyek kiváló eredményeket értek el bizonyos teszteken, például az amerikai egyetemi felvételi vizsgán, a SAT-on, ám a hasznosabb feladatokkal nehezen boldogultak. Az OpenRouter piacterén az ügyfelek a pénzükkel szavaznak, így igazságosabb rangsor alakul ki.
Az utóbbi időben a vállalatok a költségek ellenőrzésének eszközeként is az OpenRouterhez fordultak. Sokatmondó, hogy a platformon felhasznált tokenek túlnyomó részéért a DeepSeek, valamint két másik kínai modellfejlesztő, a Z.ai és a Xiaomi olcsó rendszerei felelnek, bár jelenleg egy OpenAI-modell is jól teljesít.
Atallah ennek ellenére úgy véli, hogy sok vállalat továbbra is kiforratlan módon közelíti meg a tokenek felhasználását. A vállalati ügyfeleknek azt javasolja, hogy a feladatokat alacsony, közepes és magas „entrópiájú” kategóriákra osszák fel aszerint, mennyire nyitott végű az adott munka. Az olcsó modellek gyakran elegendőek az alacsony entrópiájú feladatokhoz, például annak eldöntéséhez, hogy melyik modell vizsgáljon át egy kódrészletet. Számos közepes entrópiájú feladat elvégzésére is alkalmasak, például magának a kódnak az átvizsgálására. A legfejlettebb modelleket pedig a magas entrópiájú feladatokra lehet fenntartani, például arra, hogy a kódot a semmiből írják meg. „Azt látom, hogy sok vállalat ott követi el a hibát, hogy egyszerűen nem bontja fel ezeket a feladatokat kisebb részekre. Számukra minden ugyanaz” - mondja Atallah. „Ez egyszerűen óriási pénzpazarlás.”