Meg kell értenünk hogyan gondolkodik a mesterséges intelligencia
Jelentkezz be a hozzászóláshoz.
#3
A jelenleg letezo nagy nyelvi modelleknek van egy viszonylag egyszeru alapszintu mukodesuk, hasonloan ahogy az emberi neuronok is eleg egyszeruen mukodnek. Csak ahogy az embereknek sok neuronjuk van, ugy a nagy nyelvi modelleknek is nagyon sok virtualis neuronjuk van. Valojaban a fuggvenytabla megkozelites akkor helyes ha a nyelvi modell statikus, ami egyebkent a mostaniakra jellemzo, tehat a tanitasi es a lekerdezesi fazisok elkulonulnek. A context amit latnak csak a bemeneti adatokhoz fuzodik hozza, tehat valojaban minden lekerdezes mindig a context elejetol fut es statikus kimenetet produkal, amit kulso folymatokkal epitenek be a context-be. Ez elter a biologiai modelltol.
Nagy elorelepes lenne ha dinamikus ontanulo halozatokat hasznalnanak, de azok jelenleg meg egyreszt instabilak, masreszt az egyszeru futtatasukhoz is akkora infrastruktura kell mint a mostani nagy nyelvi modellek teljes betanitasahoz. Ezek hasonlitananak jobban az emberi (azaz biologiai) gondolkodasra.
A masik pedig a betanito adatok sorrendjenek kerdese. Most csak beontenek mindent, ahelyett, hogy ugyanolyan sorrendben kapnak a modellek az adatokat ahogy az ember is fejlodik es tanul. Ezzel az a gond, hogy jelen technologiai szinten ez a betanitasi rendszer tul sokaig tartana es tudtommal egyelore rendes betanitasi adatbazis sincs hozza, ami egy ember teljes fiatal eletenek minden bemeneti adatat tartalmazna, idorendi sorrendben. Plusz ott van a visszacsatolas problemaja, hogy kulso context helyett belso neuralis memoriat kellene hasznalni, viszont ezek a neuralis matrixok egy belso context-el rendelkeznek csak, tehat egy modell csak egyetlen context futtatasara kepes, azaz egyetlen memoriaja es egyetlen szemelyisege lesz. Igy egyetlen a modellel beszelgeto felhasznalonak annyi eroforrasra van szuksege minden mondathoz mint a mostani statikus nyelvi modellek teljes betanitasahoz szukseges volt.
Kisebb, butabb rendszerek ugyan letrehozhatoak es mar most is dolgoznak kisebb, de belso memorias modelleken, amiknek legalabb van matematikai eselyuk arra, hogy a valos biologiai gondokodast szimulaljak. A mostani modellek csak egy kulso, folyamatosan bovulo context-en futo befagyott fuggvenytablak, amik nem kepesek modositani magukat. Kb. mint egy rovidtavu memoria nelkuli ember, aki egy papirtekercsre irja le a beszelgeteseit es minden mondata elott ujra el kell olvasnia az egesz eddigi terkercset, mert nem kepes uj memoriakat formalni. (egyebkent ezert is van, hogy minel hosszabb a kontextus, annal lassabb a modell es annal tobb eroforras kell hozza, mig biologiai elolenyek eseten a belso kontextus miatt joreszt csak a feladat nehezsegetol fugg a futasi ido)
ps: Minden misztikus es termeszeti jelenseg alapu megkozelites, ami a cikkben is szoba kerul azt jelenti, hogy az illeto nincs tisztaban a rendszer mukodesevel es ezert probal kvazi vallasi es/vagy miszikus modon hozzaallni. Igy lettek anno a termeszeti jelensegeknek dedikalt istenei, amig meg nem ertettuk oket. Aki errol a megertesrol lemond, az a tudasrol mond le. (igen, tudom, hogy az atlagos ember szamara egy mobiltelefon is a varazslat es a csoda hataran van, de a kutatoknak nem lenne szabad ennyire butanak lenniuk)
Nagy elorelepes lenne ha dinamikus ontanulo halozatokat hasznalnanak, de azok jelenleg meg egyreszt instabilak, masreszt az egyszeru futtatasukhoz is akkora infrastruktura kell mint a mostani nagy nyelvi modellek teljes betanitasahoz. Ezek hasonlitananak jobban az emberi (azaz biologiai) gondolkodasra.
A masik pedig a betanito adatok sorrendjenek kerdese. Most csak beontenek mindent, ahelyett, hogy ugyanolyan sorrendben kapnak a modellek az adatokat ahogy az ember is fejlodik es tanul. Ezzel az a gond, hogy jelen technologiai szinten ez a betanitasi rendszer tul sokaig tartana es tudtommal egyelore rendes betanitasi adatbazis sincs hozza, ami egy ember teljes fiatal eletenek minden bemeneti adatat tartalmazna, idorendi sorrendben. Plusz ott van a visszacsatolas problemaja, hogy kulso context helyett belso neuralis memoriat kellene hasznalni, viszont ezek a neuralis matrixok egy belso context-el rendelkeznek csak, tehat egy modell csak egyetlen context futtatasara kepes, azaz egyetlen memoriaja es egyetlen szemelyisege lesz. Igy egyetlen a modellel beszelgeto felhasznalonak annyi eroforrasra van szuksege minden mondathoz mint a mostani statikus nyelvi modellek teljes betanitasahoz szukseges volt.
Kisebb, butabb rendszerek ugyan letrehozhatoak es mar most is dolgoznak kisebb, de belso memorias modelleken, amiknek legalabb van matematikai eselyuk arra, hogy a valos biologiai gondokodast szimulaljak. A mostani modellek csak egy kulso, folyamatosan bovulo context-en futo befagyott fuggvenytablak, amik nem kepesek modositani magukat. Kb. mint egy rovidtavu memoria nelkuli ember, aki egy papirtekercsre irja le a beszelgeteseit es minden mondata elott ujra el kell olvasnia az egesz eddigi terkercset, mert nem kepes uj memoriakat formalni. (egyebkent ezert is van, hogy minel hosszabb a kontextus, annal lassabb a modell es annal tobb eroforras kell hozza, mig biologiai elolenyek eseten a belso kontextus miatt joreszt csak a feladat nehezsegetol fugg a futasi ido)
ps: Minden misztikus es termeszeti jelenseg alapu megkozelites, ami a cikkben is szoba kerul azt jelenti, hogy az illeto nincs tisztaban a rendszer mukodesevel es ezert probal kvazi vallasi es/vagy miszikus modon hozzaallni. Igy lettek anno a termeszeti jelensegeknek dedikalt istenei, amig meg nem ertettuk oket. Aki errol a megertesrol lemond, az a tudasrol mond le. (igen, tudom, hogy az atlagos ember szamara egy mobiltelefon is a varazslat es a csoda hataran van, de a kutatoknak nem lenne szabad ennyire butanak lenniuk)
#2
Az emberi társadalom egy felettéb szétszórt, laza szabályokkal működő szervezet.
Mivel ezeket a modelleket ilyen rendszeren tanítják, így nem csoda, ha pont úgy működnek, ahogy. Lazán.
Eleve nincsenek megtanítva nekik az alapok. Mint az abc. Így hogyan lehet elvárni tőle, hogy betűzzön?
A szavak jelentései sincsenek megtanítva neki, egyszerűen csak úgy rakja egymás után őket, ahogy az algoritmusa jónak látja a megfelelő eredmény elérése érdekében.
És mindezt úgy teszi, hogy nem ellenőrzött anyagon, hanem a neten lett betanítva.
Mivel ezeket a modelleket ilyen rendszeren tanítják, így nem csoda, ha pont úgy működnek, ahogy. Lazán.
Eleve nincsenek megtanítva nekik az alapok. Mint az abc. Így hogyan lehet elvárni tőle, hogy betűzzön?
A szavak jelentései sincsenek megtanítva neki, egyszerűen csak úgy rakja egymás után őket, ahogy az algoritmusa jónak látja a megfelelő eredmény elérése érdekében.
És mindezt úgy teszi, hogy nem ellenőrzött anyagon, hanem a neten lett betanítva.
Warning! Cargo bay open, shields are down!
#1
'...tudni akarja "pontosan mely molekuláris jellemzők összessége vezet a döntéshez"'
Embernél tudjuk már? Na ugye....
Embernél tudjuk már? Na ugye....