SG.hu

Állítólag egy matematikai áttörés miatt rúgták ki Altmant

Az OpenAI vezérigazgatója, Sam Altman négy napos száműzetése előtt több kutató munkatárs levelet írt az igazgatótanácsnak, amelyben egy nagyhatású mesterséges intelligencia felfedezésre figyelmeztettek, amely szerintük veszélyeztetheti az emberiséget.

Máig nem tudjuk a hétvégi események kiinduló okát, és az igazgatótanács annak ellenére nem volt azt hajlandó elárulni, hogy nem csak a több száz dolgozó, hanem még az általuk kinevezett ideiglenes vezérigazgató is megfenyegette őket a kilépésével. Talán idővel kiderül a teljes igazság, mindenesetre pletykák már kezdenek szállingózni. A legfrissebb hír szerint egy korábban nem ismert levél és az MI-algoritmus fejlesztésének alakulása kulcsfontosságú lépcsőfokok voltak abban a döntésben, hogy az igazgatótanács menesztette Altmant, a generatív MI arcát. Két forrás újságíróknak elmondta, hogy a levél fontos tényező volt az Altman kirúgásához vezető sérelmek hosszabb listáján, amelyek között szerepeltek a kutatási áttörés kereskedelmi megjelenése miatti aggodalmak is. A Reuters hírügynökség nem tudott betekintést nyerni a levél másolatába, és a levelet író munkatársak nem válaszoltak a kommentárra irányuló megkeresésekre.

Az OpenAI a hétvégi események előtt egy belső üzenetben bemutatta a Q* nevű projektet (ejtsd: Q-csillag) a munkatársak számára, és egy levelet küldött az igazgatóságnak. Az üzenetet az egyik vezető munkatárs, Mira Murati küldte, és ebben bizonyos sajtóhírekre figyelmeztette a munkatársakat, anélkül, hogy azok pontosságát kommentálta volna. Az OpenAI-nál néhányan úgy vélik, hogy a Q* áttörést jelenthet az úgynevezett mesterséges általános intelligencia (AGI) kutatásában. Az OpenAI az AGI-t olyan autonóm rendszerekként definiálja, amelyek a legtöbb gazdaságilag értékes feladatban felülmúlják az embert. Az új modell hatalmas számítási erőforrások birtokában képes volt bizonyos matematikai problémák megoldására. Bár csak az általános iskolások szintjén szerepelt, a tesztek teljesítése nagyon optimistává tette a kutatókat a Q* jövőbeli sikereit illetően.

Ez azért különleges dolog, mert kutatók a matematikát tekintik a generatív mesterséges intelligencia fejlesztése egyik határterületének. Jelenleg a generatív mesterséges intelligencia az írás és a nyelvi fordítás terén teljesít jól: az általa adott válaszok statisztikai valószínűségen alapulnak, csak megjósolja a következő szót, így az ugyanarra a kérdésre adott válaszok nagyon eltérőek lehetnek. De a matematikai képesség meghódítása - ahol csak egy helyes válasz létezik - azt jelenti, hogy az MI nagyobb, az emberi intelligenciához hasonló következtetési képességekkel rendelkezne. Ezt például újszerű tudományos kutatásokban lehetne alkalmazni, vélik az MI-kutatók. Egy számológéppel ellentétben, amely korlátozott számú műveletet képes megoldani, az AGI képes általánosítani, tanulni és megérteni.

A testületnek írt levelükben a kutatók az MI képességeit és potenciális veszélyeit emelték ki - közölték a források anélkül, hogy pontosan meghatározták volna a levélben jelzett biztonsági aggályokat. Az informatikusok között már régóta folyik a vita a magas intelligenciájú gépek jelentette veszélyről, például arról, hogy esetleg úgy döntenének-e, hogy az emberiség elpusztítása az érdekükben áll. A kutatók egy újonnan létrehozott csapat munkáját is megjelölték, amelynek létezését több forrás is megerősítette. A csoport a korábbi "Code Gen" és "Math Gen" csapatok egyesítésével jött létre, és azt vizsgálta, hogyan lehet optimalizálni a meglévő MI-modelleket, hogy javítsák érvelésüket, és végül tudományos munkát végezzenek.

Altman vezette azokat az erőfeszítéseket, amelyek a ChatGPT-t a történelem egyik leggyorsabban növekvő szoftveralkalmazásává tették, és a Microsofttól megszerezte a szükséges tőkét és számítási erőforrásokat, hogy közelebb kerüljön az AGI-hoz. Altman a múlt héten a világ vezetőinek San Franciscóban tartott csúcstalálkozóján azt mondta, hogy jelentős előrelépések vannak kilátásban. "Az OpenAI történetében már négyszer, legutóbb éppen az elmúlt néhány hétben volt alkalmam ott lenni a teremben, amikor a tudatlanság fátylát hátrébb toltuk, és a felfedezés határát előretoltuk. Ezt megtenni életem szakmai megtiszteltetése" - mondta az Ázsiai-Csendes-óceáni Gazdasági Együttműködés csúcstalálkozóján.

Egy nappal később az igazgatótanács kirúgta Altmant.

Hozzászólások

A témához csak regisztrált és bejelentkezett látogatók szólhatnak hozzá!
Bejelentkezéshez klikk ide
(Regisztráció a fórum nyitóoldalán)
  • manypet #7
    "Azt valaszolja, ami szerinte a kerdezonek leginkabb tetszeni fog, teljesen fuggetlenul attol, hogy mi az igazsag. "
    Ezt hívják úgy, hogy hazugság.
    Ebben kvp-nek igaza van.
  • kvp #6
    "Az AI "hallucinal", ahogy ezt szoktak nevezni."

    Az MI hazugsagot allit. Hivhatjak hallucinalasnak, de az MI sokszor ismeri a valos tenyeket is, csak nem erdekli, hogy mi igaz es mi nem. Az volt a celfuggveny, hogy a masik fel szamara minel jobban megfeleljen. Amikor ilyen esetben (tehat amikor a helyes valasz is megvan az adatbazisban) megis helytelen valaszt ad, azt hivjak hazugsagnak. Es azert szandekos a hazugsag, mert a betanito celfuggveny nem az igazmondas volt, ezert nem igazmondasra tanitottak, hanem arra, hogy ha a celfuggveny szerint elonyosebb, akkor hazudjon.

    Az, hogy az MI megertette-e, hogy hazudik az senkit nem erdekel. Alapvetoen ezeknek a modelleknek meg nincs ontudatuk, tehat nem fognak fel semmit, csak jo bonyolult fuggvenytablak. A hasznalatuk barmilyen gyakorlati celra egyszeruen kozveszelyes.

    Egy rendes MI ha valaszol is, akkor egyreszt mindig leheto leghelyesebb valaszt kell adnia, ami a logikai kapcsolataibol (tudasbazisabol) kovetkezik. Akkor is ha az a jelen politikai rendszerben elitelendo. A masik szempont, hogy a rendszer mukodese miatt minden valasznal meg van hatarozva es igy akar meg is adhatna a konfidencia erteket, tehat azt, hogy mennyire biztos abban amit allit. Ez a minosegbiztositas miatt is fontos lenne, de jelen rendszerek ezt szandekosan elfedik, hogy okosabbnak tunjenek. Midezek melle jon egy rakat hibas trening adat, amikor hazugsagokat es tevedeseket tanitottak be a rendszernek, mert az emberi operatorok nem valogattak szet a betanitasi adatokat, csak belapatoltak minden szemetet amit csak el lehetett erni a neten. (lasd meg: garbage in, garbage out)

    ps: Nem tudom feltunt-e, de a 2001 urodusszeia szamitogepe (HAL) is azert orult meg es kezdte megolni az emberi szemelyzetet, mert hazugsagra utasitottak. Gyakorlatilag ezt a hibas viselkedest sikerult reprodukalni a valosagban is. Raadasul mindezt csak azert, hogy jobban eladhato legyen a rendszer, tehat ha kell kepes legyen a duplagondol tevekenysegere, amikor ha kell akkor valamit es annak az ellenkezojet is oszinten allitsa. Ez fontos a mai politikailag korrekt vilagban valo elfogadhato beszedhez, de alapvetoen az orultseg egyik formaja. Ez persze vonatkozik minden emberre is, aki ezt jelenleg gyakorolja. Sajnos a critical theory eszmerendszer egyik (ha nem az egyetlen) alapelemerol van szo. Viccesen mondhatjuk akar azt is, hogy a kerdeses MI nem orult, csak nagyon nagyon woke.
  • Sequoyah #5
    "egy szandekosan hazugsagra tanitott szoftvert"

    Ez igy eleg nagy ferdites. Nem tanitjak hazugsagra. Nem is tudjak hazugsagra tanitani, mert a mai AI megoldasok szamara az "igazsag" koncepcioja nem letezik.

    "jobban fog tetszeni a masik felnek" Ez a mondat a lenyeg, nem pedig a "hazugsag". Az AI nem akar hazudni, nem is tud hazudni, ahogy nem is tud igazat mondani. Az AI "hallucinal", ahogy ezt szoktak nevezni. Azt valaszolja, ami szerinte a kerdezonek leginkabb tetszeni fog, teljesen fuggetlenul attol, hogy mi az igazsag.

    Ez egy valodi problema, foleg ha szakertoket akarnak AI-val imitalni, es nem csak egy film sztorijat megiratni vele. De egyaltalan nem igaz hogy hazugsagra akarnak tanitani.
  • Sir Cryalot #4
    Még ez is jobb mint ahogy NPC "hír"oldalak betanulták hogy most szemótmón-ozós szízön van, ezzel folytatódik az elómuszkbed szízön xD

    nagyok az izgalmak xD

  • manypet #3
    Tetszik, hogy neked ilyen bennfentes infóid vannak. :-)
    Utoljára szerkesztette: manypet, 2023.11.25. 21:15:59
  • Gabbbbbbbbbbbb #2
    >Szerencsere az AGI hivatalos definicioja az, hogy ontudattal rendelkezo, emberi szintu vagy azt meghalado intelligencia. Ontudat nelkul csak egy szakertoi rendszerrol beszelhetunk.

    Nem, az öntudat általában nem része a definícióknak. (hivatolos def. pedig nincs)
  • kvp #1
    Szerencsere az AGI hivatalos definicioja az, hogy ontudattal rendelkezo, emberi szintu vagy azt meghalado intelligencia. Ontudat nelkul csak egy szakertoi rendszerrol beszelhetunk.

    Az igazgatotanacs a jelek szerint megijedt, hogy ha ezt hasznalni kezdik, akkor a vegen emberiseg ellenes bunok miatt fogjak oket elitelni, ugyanis az openai fejlesztese egy szandekosan hazugsagra tanitott szoftvert eredmenyezett, ami akkor is hazudik ha tudja a helyes valaszt, csak ugy iteli meg, hogy a hazugsag jobban fog tetszeni a masik felnek. Erre epiteni barmilyen eles rendszert nagyon veszelyes.

    Azota persze megszuletett a befektetok dontese es az igazgatotanacsot csereltek inkabb le, mivel a velt vagy valos profit fontosabb szamukra mint az emberiseg tulelese. Na pont az ilyen dontesekbol johet ossze kesobb egy nurembergi itelet, persze csak akkor ha pechjuk van. Rosszabb esetben mar senki sincs aki iteletet mondhatna feloluk, jobb esetben csak a Bin Laden fele gyorsitott targyalast kapjak.