"A ChatGPT-ben semmifele ilyen algoritmus nincs, igy a tudasa nagyon szuk az emberi tudashoz kepest. Szamara minden forrasnak egyforma a sulya, meg akkor is ha nem relevans."
Mi az amiben jo egy neuralis matrix? A sulyozott kapcsolatokban. Ertem, hogy egyforma sullyal vettek fel a wikipediat, a tudomanyos cikkeket es a reddit forumok hozzaszolasait, de ez a tanito adathalmaz hibaja, tehat fejlesztesi hiba. A rendszer tud(na) sulyozni, csak rosszak a sulyok.
A masik, hogy a tanulas soran a neuralis halozatokat treningeztek es ez a celfuggveny a minel jobban tetszo valasz volt, nem a minel helyesebb. Ennek az oka az, hogy nem volt helyes adatbazisuk, mert ahhoz fel kellett volna dolgozni az osszes bemeno adatot, ahelyett, hogy rosszul fizetett, afrikai es azsiai munkasokkal csak belapatoltak mindent a rendszerbe.
Itt talalhato a mukodes egy viszonylag konnyebben megertheto leirasa:
https://www.scalablepath.com/machine-learning/chatgpt-architecture-explained
Szoval nagy mennyisegu szemetet tartalmazo adatkeszleteken treningeztek es hibas jutalmazasi modellel.