kvp#3
Az mi gyorsitokbol jelenleg haromfele van, a GPU alapu, az optimalizalt csak fixpontot tudo GPU-khoz hasonlo es a regi DSP alapu segedprocesszorokra epulok. A legtobb MI pc-be vagy a GPU-kat rakjak vagy az eddig hang es kriptografiai segedprocesszornak hivott DSP alapu fixpontos egysegeket. Egyik se uj talalmany, csak uj szoftvert kaptak. Egyik se igenyelt uj hardver fejlesztest es nem noveli a gyartasi koltsegeket sem.
Dedikalt hardveres CNND neuralis matrix alapu chipeket csak a nagy cegek hasznalnak es pc-kbe rakhato valtozatok nem igazan keszulnek. Elnezve a mostani modellek mukodeset a fixpontos pipeline-okat tamogato GPU-k boven elegsegesek a legtobb lokalis feladatra. A nagyobb modellek futtatasahoz pedig igazabol csak RAM kell a matrixot futtato hardverbe (legyen az rendszer vagy video RAM), csak a betanitas igenyel sokkal tobb eroforrast. A nagyon nagy chatgpt-hez hasonlo szoveg predikcios fuggenytablakhoz pedig a pc-k alapvetoen kevesek.