SG.hu·
Katasztrofális túlköltekezést okozott a mesterséges intelligencia az Amazonnál
Az Amazon munkatársai olyan eseteket azonosítottak, amikor a mesterséges intelligencia alkalmazása ellenőrizetlen költekezéshez vezetett technológiai projektekben. Az e-kereskedelmi óriásvállalat dolgozói szerint az új technológia olyan költségtúllépéseket okozott, amelyek észlelése egyes esetekben hónapokig tartott.
Az Amazon munkatársai több olyan esetet is feltártak, amelyeket "katasztrofálisan drága" költségtúllépésnek neveztek. Ezeket a problémákat a vállalat szerint a mesterséges intelligencia hibás alkalmazása, valamint a megfelelő költségellenőrzési mechanizmusok hiánya okozta. Egy a héten tartott belső munkatársi értekezleten vezető mérnökök arról tájékoztatták kollégáikat, hogy a hagyományos programozási feladatok MI-modellekre történő átállítására tett kísérletek "nem tervezett" kiadásokat eredményeztek. A mérnökök jelenleg olyan automatikus védelmi mechanizmusokon dolgoznak, amelyek a jövőbeni projektek során korlátozhatják a költségek elszabadulását. Emellett más intézkedéseket is bevezetnek annak érdekében, hogy kordában tartsák a kiadásokat.
Az eset jól mutatja, hogy még a világ legnagyobb technológiai vállalatai számára is komoly kihívást jelent a mesterséges intelligencia mindennapi működésbe történő beillesztése anélkül, hogy a költségek elszállnának. "Nehéz megállapítani, hogy bármi, ami a mesterséges intelligenciához kapcsolódik, valójában mennyibe kerül" - mondta az Amazon egyik vezető munkatársa. A héten tartott prezentáción a dolgozók megtudták, hogy az egyik projekt során a vállalat 1,8 millió dollárt költött arra, hogy az Anthropic Claude Sonnet MI-modell segítségével szerzői adatokat párosítson az Amazon webáruházának terméklistáival. A projekt végül nem járt sikerrel. A kiadás 860 százalékkal haladta meg az eredetileg jóváhagyott költségvetést, és a problémát csak öt hónappal később fedezték fel.
A dolgozóknak azt is elmondták, hogy azok a programozási hibák, amelyek a hagyományos rendszerekben "elhanyagolható költséggel" jártak volna, az MI-modellek alkalmazása során "katasztrofálisan drágává" váltak, amikor a csapatok ezeket a modelleket kezdték használni különböző feladatok elvégzésére. A vezető mérnökök hangsúlyozták, hogy a túlköltekezés nem elszigetelt jelenség volt. Egy másik projekt során a vállalat hozzávetőleg 541 ezer dollárnyi váratlan költséget halmozott fel pénzügyi auditálási eszközök fejlesztése közben. Egy harmadik esetben, amikor a mesterséges intelligenciát a vállalat logisztikai hálózatában a kiszállítási idők csökkentésére használták, véletlenül 134 ezer dollárnyi többletköltség keletkezett. A hibát több mint két hét elteltével sikerült felfedezni.
Az Amazon a következő közleményt adta ki: "Mint minden új technológia esetében, folyamatosan kísérletezünk, tanulunk és fejlesztjük annak felhasználását, beleértve azt is, hogyan növeljük a költséghatékonyságot. Kiragadni néhány apró, elszigetelt példát, amelyek során a csapatok egymástól tanulnak, és ezt a vállalat általános működéseként bemutatni, nem tükrözi azt, ahogyan az Amazon csapatai a mesterséges intelligenciát használják." A cég azt is kiemelte, hogy ezek az esetek csupán néhány csapatot érintettek az Amazonnál, amelynek mintegy 300 ezer vállalati alkalmazottja van, és negyedévente körülbelül 180 milliárd dolláros árbevételt ér el.
A 2,5 billió dollár értékű vállalat jelenleg nagyszabású létszámleépítéseket hajt végre annak érdekében, hogy csökkentse költségeit és finanszírozni tudja hatalmas MI-beruházásait. Az elemzői várakozások szerint az Amazon idén mintegy 200 milliárd dollárt fordít tőkebefektetésekre, amelyek túlnyomó része mesterséges intelligenciával kapcsolatos fejlesztésekre és adatközponti infrastruktúrára megy majd.
A vállalatok egyre nagyobb kihívással szembesülnek az MI-eszközök használatának költségei miatt, mivel a szolgáltatók folyamatosan módosítják árazási modelljeiket. Az Anthropic és az OpenAI is átállított bizonyos szolgáltatásokat a fix előfizetéses díjazásról az úgynevezett tokenalapú elszámolásra, amely a modellek által feldolgozott adatmennyiség alapján számolja fel a költségeket. Az új árazási modellek következtében sok vállalat a legfejlettebb MI-modellek helyett olcsóbb, középkategóriás modellek vagy alternatív megoldások felé fordult. Ezek közé tartoznak a nyílt súlyozású modellek is, amelyek esetében a felhasználóknak csupán a futtatáshoz szükséges számítási kapacitásért kell fizetniük.
Az Amazon az év elején megszüntette azt a belső ranglistát is, amely a dolgozók Kiro fejlesztői platformjának használatát értékelte. A rendszer ugyanis egy úgynevezett "tokenmaxxing" jelenséghez vezetett, amely során az alkalmazottak mesterségesen növelték az általuk felhasznált MI-tokenek mennyiségét. A vállalat vezetői elismerték: a szolgáltatást "jó szándékkal" hozták létre, ám végül jelentősen megemelte a vállalat költségeit.
Az Amazon munkatársai több olyan esetet is feltártak, amelyeket "katasztrofálisan drága" költségtúllépésnek neveztek. Ezeket a problémákat a vállalat szerint a mesterséges intelligencia hibás alkalmazása, valamint a megfelelő költségellenőrzési mechanizmusok hiánya okozta. Egy a héten tartott belső munkatársi értekezleten vezető mérnökök arról tájékoztatták kollégáikat, hogy a hagyományos programozási feladatok MI-modellekre történő átállítására tett kísérletek "nem tervezett" kiadásokat eredményeztek. A mérnökök jelenleg olyan automatikus védelmi mechanizmusokon dolgoznak, amelyek a jövőbeni projektek során korlátozhatják a költségek elszabadulását. Emellett más intézkedéseket is bevezetnek annak érdekében, hogy kordában tartsák a kiadásokat.
Az eset jól mutatja, hogy még a világ legnagyobb technológiai vállalatai számára is komoly kihívást jelent a mesterséges intelligencia mindennapi működésbe történő beillesztése anélkül, hogy a költségek elszállnának. "Nehéz megállapítani, hogy bármi, ami a mesterséges intelligenciához kapcsolódik, valójában mennyibe kerül" - mondta az Amazon egyik vezető munkatársa. A héten tartott prezentáción a dolgozók megtudták, hogy az egyik projekt során a vállalat 1,8 millió dollárt költött arra, hogy az Anthropic Claude Sonnet MI-modell segítségével szerzői adatokat párosítson az Amazon webáruházának terméklistáival. A projekt végül nem járt sikerrel. A kiadás 860 százalékkal haladta meg az eredetileg jóváhagyott költségvetést, és a problémát csak öt hónappal később fedezték fel.
A dolgozóknak azt is elmondták, hogy azok a programozási hibák, amelyek a hagyományos rendszerekben "elhanyagolható költséggel" jártak volna, az MI-modellek alkalmazása során "katasztrofálisan drágává" váltak, amikor a csapatok ezeket a modelleket kezdték használni különböző feladatok elvégzésére. A vezető mérnökök hangsúlyozták, hogy a túlköltekezés nem elszigetelt jelenség volt. Egy másik projekt során a vállalat hozzávetőleg 541 ezer dollárnyi váratlan költséget halmozott fel pénzügyi auditálási eszközök fejlesztése közben. Egy harmadik esetben, amikor a mesterséges intelligenciát a vállalat logisztikai hálózatában a kiszállítási idők csökkentésére használták, véletlenül 134 ezer dollárnyi többletköltség keletkezett. A hibát több mint két hét elteltével sikerült felfedezni.
Az Amazon a következő közleményt adta ki: "Mint minden új technológia esetében, folyamatosan kísérletezünk, tanulunk és fejlesztjük annak felhasználását, beleértve azt is, hogyan növeljük a költséghatékonyságot. Kiragadni néhány apró, elszigetelt példát, amelyek során a csapatok egymástól tanulnak, és ezt a vállalat általános működéseként bemutatni, nem tükrözi azt, ahogyan az Amazon csapatai a mesterséges intelligenciát használják." A cég azt is kiemelte, hogy ezek az esetek csupán néhány csapatot érintettek az Amazonnál, amelynek mintegy 300 ezer vállalati alkalmazottja van, és negyedévente körülbelül 180 milliárd dolláros árbevételt ér el.
A 2,5 billió dollár értékű vállalat jelenleg nagyszabású létszámleépítéseket hajt végre annak érdekében, hogy csökkentse költségeit és finanszírozni tudja hatalmas MI-beruházásait. Az elemzői várakozások szerint az Amazon idén mintegy 200 milliárd dollárt fordít tőkebefektetésekre, amelyek túlnyomó része mesterséges intelligenciával kapcsolatos fejlesztésekre és adatközponti infrastruktúrára megy majd.
A vállalatok egyre nagyobb kihívással szembesülnek az MI-eszközök használatának költségei miatt, mivel a szolgáltatók folyamatosan módosítják árazási modelljeiket. Az Anthropic és az OpenAI is átállított bizonyos szolgáltatásokat a fix előfizetéses díjazásról az úgynevezett tokenalapú elszámolásra, amely a modellek által feldolgozott adatmennyiség alapján számolja fel a költségeket. Az új árazási modellek következtében sok vállalat a legfejlettebb MI-modellek helyett olcsóbb, középkategóriás modellek vagy alternatív megoldások felé fordult. Ezek közé tartoznak a nyílt súlyozású modellek is, amelyek esetében a felhasználóknak csupán a futtatáshoz szükséges számítási kapacitásért kell fizetniük.
Az Amazon az év elején megszüntette azt a belső ranglistát is, amely a dolgozók Kiro fejlesztői platformjának használatát értékelte. A rendszer ugyanis egy úgynevezett "tokenmaxxing" jelenséghez vezetett, amely során az alkalmazottak mesterségesen növelték az általuk felhasznált MI-tokenek mennyiségét. A vállalat vezetői elismerték: a szolgáltatást "jó szándékkal" hozták létre, ám végül jelentősen megemelte a vállalat költségeit.