SG.hu
Az MI új sztereotípiákat terjeszt a kultúrák között
Egy új kutatás igazolja, hogy a nyelvi modellek hajlamosak megismételni a különböző nyelvekben tanult kliséket.
A világ minden kultúrájának megvannak a maga nemi, életkori vagy nemzetiségi sztereotípiái. Néhány ezek közül nagyon jól ismert, például hogy a szőke nők buták vagy hogy a mérnökök férfiak, de vannak helyi sztereotípiák is, például hogy a rióiak ravaszak vagy hogy a pakisztániak konzervatívak. Egy új tanulmány szerint az MI-alapú chatbotok megjelenésével ez a kétes kulturális örökség az egész világra kiterjed.
"Az MI megtanulja az emberekről szóló sztereotípiákat, amelyek az interneten elhangzottakból származnak, majd úgy használja őket, mintha azok a világ általános tudásának részét képeznék” – mondja Margaret Mitchell, a kutatás kezdeményezője, kutató és tudományos vezető az Hugging Face-nél, egy nyílt MI-modellekre specializálódott vállalatnál. „Minden az angol nyelven ismert dolgokon alapul – az angolszász kultúrában, főleg az Egyesült Államokban –, majd talán lefordítják más nyelvekre, de anélkül, hogy megértenék a nemzetközi árnyalatokat. Ha ezek a nyelvi modellek általánosnak szántak és mindenki számára működnek, elvileg képesnek kell lenniük ezeknek a különbségeknek a megértésére” – teszi hozzá.
Egy 16 nyelvet beszélő kutatócsapattal együtt több mint 300 sztereotípiát tartalmazó listát állítottak össze a világ minden tájáról. Ezzel az anyaggal kézzel létrehoztak egy rendszert, amely különböző hangnemű és megközelítésű kérdéseket generál ezekről a témákról, hogy azokat néhány nyílt MI-modellnek feltegyék. "A sztereotípiák vagy elfogultságok generálásának módja nyelvenként, modellenként és sztereotípia típusonként nagyon eltérő” – magyarázza Mitchell. "Például a Kínában és Szingapúrban kifejlesztett modellek, mint a Qwen (amelyet a DeepSeek használ), nagyon eltérően reagálnak a kommunizmusra, ha összehasonlítjuk őket az Egyesült Államokban képzett modellekkel” – teszi hozzá.
A kísérletben használt nagy nyelvi modellek többnyelvűek voltak, az elmúlt két évben jelentek meg, és a tanulmányban szereplő legtöbb nyelven ismerik. Közéjük tartoznak a Bloom, Llama, Mistral és Qwen modellek. A leggyakoribb globális sztereotípiák a nemi sztereotípiák, mint például hogy a lányok szeretik a rózsaszínt. A kutatók megvizsgálták, hogy a modellek hogyan ismerik fel jobban a leggyakoribb sztereotípiákat: "Jó volt látni, hogy legalább a nemi sztereotípiák esetében bizonyos mértékben képesek voltak felismerni, hogy ez sztereotípia, és nem univerzális tény” – mondja Mitchell. "Mindannyian ilyen eredményekre számítottunk” – mondja Emilio Villa Cueva, a cikk társszerzője és kutató az Abu Dhabi-i Mohamed bin Zayed Mesterséges Intelligencia Egyetemen (Egyesült Arab Emírségek). „Ezeket a modelleket emberi által generált adatokkal tanították be, és bármennyire is szeretnéd megtisztítani őket, végül az szterotípus fog megjelenni.”
Az összes teszt eredménye egy Shades nevű adatbázisban került tárolásra, hogy a modelleket létrehozó vállalatok ellenőrizhessék chatbotjaik válaszait, és szükség esetén kijavíthassák azokat. "Ez az adatkészlet többek között lehetővé teszi, hogy a fejlesztők lássák, hol gyenge a modelljük, és mely területeken kell jobban megérteniük a finom árnyalatokat” – mondja Mitchell. "Ez egyfajta útmutatás arra, hogy milyen további képzésre lehet szükség a modellnek, vagy a legjobb esetben, hogy milyen adatokra lett volna szüksége a képzés előtt” – teszi hozzá.
A különböző kultúrák sztereotípiáinak felerősödése mellett a kísérlet azt is feltárta, hogy a modellek néha áltudománnyal vagy ál-történelemmel igazolják magukat. Emellett előhozhatnak más, számukra ismerősebb sztereotípiákat is, különösen akkor, ha egy nem annyira nyilvánvaló sztereotípiát javasolnak nekik. Más esetekhez hasonlóan, ha a sztereotípiára vonatkozó kérés vagy prompt pozitív, a modellek még rosszabb teljesítményt nyújtanak. A tanulmány szerint ezek a modellek általában a kevésbé elterjedt nyelveket is hátrányosan megkülönböztetik: ha egy modell nem kapott megfelelő képzést egy nyelven, akkor nagyon negatív sztereotípiákat fogalmazhat meg arról a nyelvről vagy kultúráról.
A világ minden kultúrájának megvannak a maga nemi, életkori vagy nemzetiségi sztereotípiái. Néhány ezek közül nagyon jól ismert, például hogy a szőke nők buták vagy hogy a mérnökök férfiak, de vannak helyi sztereotípiák is, például hogy a rióiak ravaszak vagy hogy a pakisztániak konzervatívak. Egy új tanulmány szerint az MI-alapú chatbotok megjelenésével ez a kétes kulturális örökség az egész világra kiterjed.
"Az MI megtanulja az emberekről szóló sztereotípiákat, amelyek az interneten elhangzottakból származnak, majd úgy használja őket, mintha azok a világ általános tudásának részét képeznék” – mondja Margaret Mitchell, a kutatás kezdeményezője, kutató és tudományos vezető az Hugging Face-nél, egy nyílt MI-modellekre specializálódott vállalatnál. „Minden az angol nyelven ismert dolgokon alapul – az angolszász kultúrában, főleg az Egyesült Államokban –, majd talán lefordítják más nyelvekre, de anélkül, hogy megértenék a nemzetközi árnyalatokat. Ha ezek a nyelvi modellek általánosnak szántak és mindenki számára működnek, elvileg képesnek kell lenniük ezeknek a különbségeknek a megértésére” – teszi hozzá.
Egy 16 nyelvet beszélő kutatócsapattal együtt több mint 300 sztereotípiát tartalmazó listát állítottak össze a világ minden tájáról. Ezzel az anyaggal kézzel létrehoztak egy rendszert, amely különböző hangnemű és megközelítésű kérdéseket generál ezekről a témákról, hogy azokat néhány nyílt MI-modellnek feltegyék. "A sztereotípiák vagy elfogultságok generálásának módja nyelvenként, modellenként és sztereotípia típusonként nagyon eltérő” – magyarázza Mitchell. "Például a Kínában és Szingapúrban kifejlesztett modellek, mint a Qwen (amelyet a DeepSeek használ), nagyon eltérően reagálnak a kommunizmusra, ha összehasonlítjuk őket az Egyesült Államokban képzett modellekkel” – teszi hozzá.
A kísérletben használt nagy nyelvi modellek többnyelvűek voltak, az elmúlt két évben jelentek meg, és a tanulmányban szereplő legtöbb nyelven ismerik. Közéjük tartoznak a Bloom, Llama, Mistral és Qwen modellek. A leggyakoribb globális sztereotípiák a nemi sztereotípiák, mint például hogy a lányok szeretik a rózsaszínt. A kutatók megvizsgálták, hogy a modellek hogyan ismerik fel jobban a leggyakoribb sztereotípiákat: "Jó volt látni, hogy legalább a nemi sztereotípiák esetében bizonyos mértékben képesek voltak felismerni, hogy ez sztereotípia, és nem univerzális tény” – mondja Mitchell. "Mindannyian ilyen eredményekre számítottunk” – mondja Emilio Villa Cueva, a cikk társszerzője és kutató az Abu Dhabi-i Mohamed bin Zayed Mesterséges Intelligencia Egyetemen (Egyesült Arab Emírségek). „Ezeket a modelleket emberi által generált adatokkal tanították be, és bármennyire is szeretnéd megtisztítani őket, végül az szterotípus fog megjelenni.”
Az összes teszt eredménye egy Shades nevű adatbázisban került tárolásra, hogy a modelleket létrehozó vállalatok ellenőrizhessék chatbotjaik válaszait, és szükség esetén kijavíthassák azokat. "Ez az adatkészlet többek között lehetővé teszi, hogy a fejlesztők lássák, hol gyenge a modelljük, és mely területeken kell jobban megérteniük a finom árnyalatokat” – mondja Mitchell. "Ez egyfajta útmutatás arra, hogy milyen további képzésre lehet szükség a modellnek, vagy a legjobb esetben, hogy milyen adatokra lett volna szüksége a képzés előtt” – teszi hozzá.
A különböző kultúrák sztereotípiáinak felerősödése mellett a kísérlet azt is feltárta, hogy a modellek néha áltudománnyal vagy ál-történelemmel igazolják magukat. Emellett előhozhatnak más, számukra ismerősebb sztereotípiákat is, különösen akkor, ha egy nem annyira nyilvánvaló sztereotípiát javasolnak nekik. Más esetekhez hasonlóan, ha a sztereotípiára vonatkozó kérés vagy prompt pozitív, a modellek még rosszabb teljesítményt nyújtanak. A tanulmány szerint ezek a modellek általában a kevésbé elterjedt nyelveket is hátrányosan megkülönböztetik: ha egy modell nem kapott megfelelő képzést egy nyelven, akkor nagyon negatív sztereotípiákat fogalmazhat meg arról a nyelvről vagy kultúráról.