SG.hu
Felhő helyett az iPhone-on futtatná az MI-t az Apple
A készülékgyártók és a chipgyártók azt remélik, hogy az új MI funkciók segítenek majd feléleszteni az okostelefonok piacát, amely az elmúlt évtized legrosszabb évén van túl: a Counterpoint Research becslései szerint a szállítások 5 százalékkal csökkentek.
Az Apple legújabb kutatása a nagyméretű nyelvi modellek okostelefonokon való futtatásáról az eddigi legegyértelműbb jelét adja annak, hogy az iPhone-gyártó a generatív mesterséges intelligencia terén utol szeretné érni Szilícium-völgyi riválisait. Az "LLM in a Flash" című tanulmány "megoldást kínál egy jelenlegi számítási szűk keresztmetszetre" - írják kutatói. Megközelítésük "megnyitja az utat az LLM-ek hatékony következtetése előtt a korlátozott memóriával rendelkező eszközökön" - írták. A következtetés arra utal, hogy a nagy nyelvi modellek, a ChatGPT-hez hasonló alkalmazásokhoz hasonló nagy adattárak hogyan reagálnak a felhasználók lekérdezéseire. A csevegőrobotok és az LLM-ek általában hatalmas adatközpontokban futnak, amelyek sokkal nagyobb számítási teljesítményűek, mint egy iPhone.
A tanulmányt december 12-én publikálták, de szélesebb körű figyelmet csak azután keltett, miután a Hugging Face - egy MI-kutatók munkáit bemutató népszerű oldal - kiemelte azt. Ez a második Apple-dokumentum a generatív mesterséges intelligenciáról ebben a hónapban, és korábbi lépéseket követ, amelyek lehetővé teszik, hogy a képgeneráló modellek, mint például a Stable Diffusion, a cég egyedi chipjein fussanak. Annak ellenére, hogy már 2011-ben elindította az egyik első virtuális asszisztenst, a Sirit, az Apple nagyrészt kimaradt a generatív mesterséges intelligenciával kapcsolatos hullámból, amely az OpenAI áttörését hozó chatbot elindítása óta eltelt egy évben végigsöpört a Szilícium-völgyön. Az Apple-re az MI-közösségben sokan úgy tekintenek, mint aki lemaradt a nagy technológiai riválisok mögött, annak ellenére, hogy 2018-ban alkalmazták a Google vezető MI-vezetőjét, John Giannandreát.
Míg a Microsoft és a Google nagyrészt a chatbotok és más generatív AI-szolgáltatások interneten keresztüli, hatalmas felhőalapú számítástechnikai platformjaikról történő szállítására összpontosítottak, addig az Apple kutatásai azt sugallják, hogy ők egy közvetlenül az iPhone-on futtatható MI-ra összpontosítanak. Az Apple riválisai - például a Samsung - jövőre szintén egy újfajta "MI okostelefon" bevezetésére készülnek. A Counterpoint becslése szerint 2024-ben több mint 100 millió MI-fókuszú okostelefont szállítanak majd, 2027-re pedig az új készülékek 40 százaléka kínál ilyen képességeket.
A világ legnagyobb mobilchipgyártójának vezetője, a Qualcomm vezérigazgatója, Cristiano Amon azt jósolja, hogy az MI okostelefonokba való bevezetése teljesen új élményt hoz a fogyasztóknak, és megfordítaná a csökkenő mobileladásokat. "2024 elején számos generatív mesterséges intelligencia-felhasználási esettel rendelkező eszközt fogunk látni" - mondta. "Ahogy ezek a dolgok felskálázódnak, elkezdik érdemben megváltoztatni a felhasználói élményt, és új innovációt tesznek lehetővé, ami új frissítési ciklust indíthat el az okostelefonoknál." Szerinte a kifinomult virtuális asszisztensek képesek lesznek előre jelezni a felhasználók olyan műveleteit, mint például az SMS-ezés vagy a találkozó időpontjának egyeztetése, miközben a készülékek újfajta fotószerkesztési technikákra is képesek lesznek. A Google ebben a hónapban mutatta be az új Gemini LLM egy olyan változatát, amely "natívan" fut majd a Pixel okostelefonjain.
Egy olyan nagyméretű MI-modell telefonon való futtatása, mint a ChatGPT vagy a Google Bard komoly technikai kihívásokkal jár, mivel ezek az aprócska masinák híján vannak az adatközpontokban rendelkezésre álló hatalmas számítási erőforrásoknak és energiának. Ennek a problémának a megoldása viszont azt jelentheti, hogy az MI-asszisztensek gyorsabban reagálnak, mint a felhőből dolgozó személyi számítógépek és akár offline is működhetnek. Annak biztosítása, hogy a lekérdezésekre az egyén saját készülékén válaszoljanak anélkül, hogy az adatokat a felhőbe küldenék, adatvédelmi előnyökkel is jár, ami az Apple egyik legfontosabb megkülönböztető jegye volt az elmúlt években.
"Kísérletünk célja a következtetés hatékonyságának optimalizálása személyes eszközökön" - mondták a kutatói. Az Apple olyan modelleken tesztelte a megközelítését, mint a Falcon 7B, amely egy eredetileg az Abu Dhabi-i Technológiai Innovációs Intézet által kifejlesztett nyílt forráskódú LLM kisebb változata. Az LLM-ek optimalizálása akkumulátoros eszközökön való futtatásra egyre nagyobb hangsúlyt kap az MI-kutatók körében. Az akadémiai tanulmányok nem közvetlen mutatói annak, hogy az Apple hogyan kívánja új funkciókkal bővíteni termékeit, de ritka betekintést nyújtanak a titkos kutatólaboratóriumaiba és a vállalat legújabb technikai áttöréseibe. "Munkánk nemcsak egy jelenlegi számítási szűk keresztmetszetre nyújt megoldást, hanem precedenst teremt a jövőbeli kutatások számára" - írták az Apple kutatói a tanulmányuk konklúziójában. "Úgy véljük, hogy ahogy az LLM-ek mérete és összetettsége tovább növekszik, az ehhez a munkához hasonló megközelítések elengedhetetlenek lesznek ahhoz, hogy az eszközök és alkalmazások széles körében kiaknázhassuk a bennük rejlő lehetőségeket."
Az Apple legújabb kutatása a nagyméretű nyelvi modellek okostelefonokon való futtatásáról az eddigi legegyértelműbb jelét adja annak, hogy az iPhone-gyártó a generatív mesterséges intelligencia terén utol szeretné érni Szilícium-völgyi riválisait. Az "LLM in a Flash" című tanulmány "megoldást kínál egy jelenlegi számítási szűk keresztmetszetre" - írják kutatói. Megközelítésük "megnyitja az utat az LLM-ek hatékony következtetése előtt a korlátozott memóriával rendelkező eszközökön" - írták. A következtetés arra utal, hogy a nagy nyelvi modellek, a ChatGPT-hez hasonló alkalmazásokhoz hasonló nagy adattárak hogyan reagálnak a felhasználók lekérdezéseire. A csevegőrobotok és az LLM-ek általában hatalmas adatközpontokban futnak, amelyek sokkal nagyobb számítási teljesítményűek, mint egy iPhone.
A tanulmányt december 12-én publikálták, de szélesebb körű figyelmet csak azután keltett, miután a Hugging Face - egy MI-kutatók munkáit bemutató népszerű oldal - kiemelte azt. Ez a második Apple-dokumentum a generatív mesterséges intelligenciáról ebben a hónapban, és korábbi lépéseket követ, amelyek lehetővé teszik, hogy a képgeneráló modellek, mint például a Stable Diffusion, a cég egyedi chipjein fussanak. Annak ellenére, hogy már 2011-ben elindította az egyik első virtuális asszisztenst, a Sirit, az Apple nagyrészt kimaradt a generatív mesterséges intelligenciával kapcsolatos hullámból, amely az OpenAI áttörését hozó chatbot elindítása óta eltelt egy évben végigsöpört a Szilícium-völgyön. Az Apple-re az MI-közösségben sokan úgy tekintenek, mint aki lemaradt a nagy technológiai riválisok mögött, annak ellenére, hogy 2018-ban alkalmazták a Google vezető MI-vezetőjét, John Giannandreát.
Míg a Microsoft és a Google nagyrészt a chatbotok és más generatív AI-szolgáltatások interneten keresztüli, hatalmas felhőalapú számítástechnikai platformjaikról történő szállítására összpontosítottak, addig az Apple kutatásai azt sugallják, hogy ők egy közvetlenül az iPhone-on futtatható MI-ra összpontosítanak. Az Apple riválisai - például a Samsung - jövőre szintén egy újfajta "MI okostelefon" bevezetésére készülnek. A Counterpoint becslése szerint 2024-ben több mint 100 millió MI-fókuszú okostelefont szállítanak majd, 2027-re pedig az új készülékek 40 százaléka kínál ilyen képességeket.
A világ legnagyobb mobilchipgyártójának vezetője, a Qualcomm vezérigazgatója, Cristiano Amon azt jósolja, hogy az MI okostelefonokba való bevezetése teljesen új élményt hoz a fogyasztóknak, és megfordítaná a csökkenő mobileladásokat. "2024 elején számos generatív mesterséges intelligencia-felhasználási esettel rendelkező eszközt fogunk látni" - mondta. "Ahogy ezek a dolgok felskálázódnak, elkezdik érdemben megváltoztatni a felhasználói élményt, és új innovációt tesznek lehetővé, ami új frissítési ciklust indíthat el az okostelefonoknál." Szerinte a kifinomult virtuális asszisztensek képesek lesznek előre jelezni a felhasználók olyan műveleteit, mint például az SMS-ezés vagy a találkozó időpontjának egyeztetése, miközben a készülékek újfajta fotószerkesztési technikákra is képesek lesznek. A Google ebben a hónapban mutatta be az új Gemini LLM egy olyan változatát, amely "natívan" fut majd a Pixel okostelefonjain.
Egy olyan nagyméretű MI-modell telefonon való futtatása, mint a ChatGPT vagy a Google Bard komoly technikai kihívásokkal jár, mivel ezek az aprócska masinák híján vannak az adatközpontokban rendelkezésre álló hatalmas számítási erőforrásoknak és energiának. Ennek a problémának a megoldása viszont azt jelentheti, hogy az MI-asszisztensek gyorsabban reagálnak, mint a felhőből dolgozó személyi számítógépek és akár offline is működhetnek. Annak biztosítása, hogy a lekérdezésekre az egyén saját készülékén válaszoljanak anélkül, hogy az adatokat a felhőbe küldenék, adatvédelmi előnyökkel is jár, ami az Apple egyik legfontosabb megkülönböztető jegye volt az elmúlt években.
"Kísérletünk célja a következtetés hatékonyságának optimalizálása személyes eszközökön" - mondták a kutatói. Az Apple olyan modelleken tesztelte a megközelítését, mint a Falcon 7B, amely egy eredetileg az Abu Dhabi-i Technológiai Innovációs Intézet által kifejlesztett nyílt forráskódú LLM kisebb változata. Az LLM-ek optimalizálása akkumulátoros eszközökön való futtatásra egyre nagyobb hangsúlyt kap az MI-kutatók körében. Az akadémiai tanulmányok nem közvetlen mutatói annak, hogy az Apple hogyan kívánja új funkciókkal bővíteni termékeit, de ritka betekintést nyújtanak a titkos kutatólaboratóriumaiba és a vállalat legújabb technikai áttöréseibe. "Munkánk nemcsak egy jelenlegi számítási szűk keresztmetszetre nyújt megoldást, hanem precedenst teremt a jövőbeli kutatások számára" - írták az Apple kutatói a tanulmányuk konklúziójában. "Úgy véljük, hogy ahogy az LLM-ek mérete és összetettsége tovább növekszik, az ehhez a munkához hasonló megközelítések elengedhetetlenek lesznek ahhoz, hogy az eszközök és alkalmazások széles körében kiaknázhassuk a bennük rejlő lehetőségeket."