Sequoyah#5
Van par eleg komoly kulonbseg az emberi agy es az LLM kozott, ami a jelen architecturaval nem athidalhato...
- Az LLM attol jo, hogy egy statikus, merev algoritmus helyett egy dinamikus, folyamatosan formalodo neuralis halo mukodteti. De egyelore kozel sem olyan dinamikus, mint az agy. Az agy az egyetlen nagy neuralis halo, ami dinamikusan formalodik az elet soran. Mig az LLM meg most is erosen strukturalt, es tobb elkulonulo, a fejlesztok altal definialt fazisbol all a valasz generalasa.
- Az LLM mediafogyasztasbol tanul. Mig az emberi agy a kornyezettel es masokkal valo interakciokbol tanul, aminek a mediafogyasztas az csak egy resze (a multban eleg kicsi resze). Az LLM az olyan mint valaki aki az egesz eletet egy sotet pinceben bezarva elte le, egy internetkapcsolattal.
- Az LLM tudasa statikus. Ha a ChatGPT 2024-11-20-as verziojat hasznalom, akkor az 2024-11-20-ben lett tanitva, es csak azt ismeri ami elotte tortent. Nem tanul a tovabbi kommunikaciokbol semmit, olyan mint egy aranyhal. Az emberi agynak komoly resze a rovidtavu memoria hosszutavu memoriava alakitasa (pl ezert alszunk/almodunk), ami teljesen hianyzik a modern architecturakbol.
Egyik se megoldhatatlan, de uj architecturara lesz ra szukseg, nem csak nagyobb parameter-szamra es finetuningra.