kvp#4
A klasszikus neuralis modellek lebegopontosak voltak, de viszonylag hamar elterjedtek a fixpontos megoldasok es most mar a 8, sot a 4 bites integer alapu modellekkel probalkoznak. Reszben hogy csokkentsek a rendszerek memoriaigenyet, reszben az integer muveletek gyorsabb vegrehajthatosaga miatt. Amennyiben a sulytenyezok egy adott kisebb es jol behatarolhato intervallumon belul vannak, akkor at lehet skalazni fixpontos vagy akar integer alapura oket. Ez azt jelenti, hogy pl. a +-2.147483647 kozti sulyok beskalazhatoak a +-2147483647 kozti tartomanyba es onnantol 32 bites integer egysegekkel kezelhetoek. (de pl. a +-2147.483648 kozotti is ugyanoda skalazhato, csak a fix tizedespont helye es a szamitasi precizitas valtozik) Ez a modszer csak a jelentos nagysagrendekkel eltero sulyokat es +-vegtelent zarja ki, de a legtobb neuralis matrix normalt, 0-ra levagva a precizitas miatt alul kieso sulyokat. Ez sokat segit, mivel igy sparse-a teheto a matrix, ami igy gyorsabban futtathato.
ps: A nagy memoriaigeny a pciexpress csatlasokon at kezelheto kulso tarolokkal is (ram, ssd, akar merevlemez is), de a leggyakoribb megoldas a cluster-ezes, amikor egy nagy matrixot tobb neuralis egyseg (kartya) kozott osztanak szet es igy csak az egysegek kozott atmeno kapcsolatok jeleit kell atvinni a feldolgozo kartyak kozott. Ezt a helyi csoportositast egyebkent az emberi agy is hasznalja. Az agyon belul jelentosen surubbek a helyi kapcsolatok mint a mas teruletekre atmenoek.