Informatika és tudomány

  • Sequoyah
    #4
    "Meg a mondatok kozti osszefuggeseket se erti"
    De erti. Az egesz "attention" mechanizmus lenyege, hogy a teljes prompt szovegen belul kepes megtalalni az osszefuggeseket. Peldaul ha szerepel benne az a szo, hogy "nap", akkor az 5 mondattal korabbi szavakbol ki tudja talalni, hogy most egy csillagrol, vagy egy idotartamrol beszelsz.

    Es nem, nem hasznal statisztikai eszkozoket. 2010 korul voltak olyan AI verziok, amik statisztikai eszkozokkel talaltak ki hogy mi a kovetkezo szo, es viszonylag ertelmes eredmenye volt, de kozel sem jart ahhoz amit a ChatGPT tud generalni.
    Az LLM erti a koncepciot a kerdes mogott, es kitalalja hogy melyik szo viszi kozelebb a valasz mogotti koncepciot a kerdes mogotti koncepciohoz.