kvp#6
Mar az nagy elorelepes volt, amikor a 32/64/128 bites lebegopontos szamok helyett elkezdtek 8/16/24 bites fixpontos szamokat hasznalni a neuralis modellek. Ugyanis nem csak a memoriaigeny csokkent le, hanem a sebesseg is nott. Igy jottek az altalanos gpu-k helyett a gyorsabb, de csak fixpontot (es persze integer-t) ismero vektoros MI gyoritok. Ha nem kell a teljes trigonometriai fuggvenysor es nem kellenek lebegopontos szamok, akkor az MI alapmuveleteket (szorzatok osszege vektorokon) sokkal kevesebb tranzisztorral sokkal gyorsabban el lehet vegezni. Es mellekhataskent ram is valamivel kevesebb kell hozza, azaz igy tobbet lehet ugyanannyi ram-mal elvegezni. Az MI-k eseten a kulonbozo meretu nyelvi modellekhez szukseges muveletek szoftveres es hardveres optimalizaciojat nagyon komolyan veszik.
Igazabol a kerdes az, hogy meddig terul meg egyre tobb szamitasi kapacitast dobni egy adott problemara. A valasz persze az, hogy soha nem terult meg idaig, de hat ezert is hivjak ezt az egeszet MI buboreknak. (valodi MI-khez kevesebb szamitasi kapacitas, tobb logika kellene, de az egy az LLM-ektol eltero dinamikus feedback-es architektura lenne)
ps: Egyebkent az oriasi programmeretek konnyen kezelhetoek lennenek ha a statikus es a dinamikus linkeles helyett dinamikus just in time forditas lenne, tehat az adott program osszeallitasakor mindig csak azt linkelnek bele ami tenyleg kell is az adott feladathoz es a library-kben levo dinamikus kodreszleteket betolteskor is szelektiven kezelne a rendszer. Ez persze nagymertekben elbonyolitana a logisztikat az os szintjen es nem ved az olyan "emberi" hulyesegek ellen, amikor valaki az x+y matematikai muvelethez egy MI hivast rak be, annak minden hatter infrastrukturajaval egyutt. Meg persze mennyivel egyszerubb egy feladatnal minden igenyt jocskan felulbecsulni mint dinamikusan kezelni a memoriat vagy a hattertarat es folyamatosan ellenorizgetni, hogy van-e meg belole.