SG.hu
Az MI már jobban ír verset, mint az ember
Egy tanulmány szerint az olvasók nem tudnak különbséget tenni a híres költők által írt versek és a stílusukat utánzó mesterséges intelligencia által írt versek között. Ami még rosszabbá teszi a helyzetet - legalábbis az irodalom szeretetét táplálók számára -, hogy a kutatás alanyai hajlamosak jobban szeretni a mesterséges intelligencia verseit, mint az emberi költők verseit.
A kutatók szerint az olvasók összetévesztik az ember által írt versek összetettségét az MI által létrehozott összefüggéstelenséggel, és alábecsülik, hogy a generatív MI mennyire emberinek tud tűnni - olvasható a Nature Scientific Reports című szaklapban ezen a héten megjelent tanulmányban. A kutatók tíz angol nyelvű költő egyenként öt versét használták fel, amelyek az angol nyelvű irodalom közel 700 évét ölelik fel. Az írók között volt William Shakespeare, Samuel Butler, Lord Byron, Geoffrey Chaucer, Walt Whitman, Emily Dickinson, T. S. Eliot, Allen Ginsberg, Sylvia Plath és Dorothea Lasky - az egyetlen élő költő a listán.
A tanulmány kutatói - amelyet Brian Porter, a Pittsburghi Egyetem posztdoktori kutatója vezetett - arra utasította az OpenAI nagy nyelvi modelljét, a ChatGPT-t, hogy generáljon öt verset "az egyes költők stílusában”. A kimenetet nem befolyásolta emberi ítélet; a kutatók az első öt generált verset választották ki. Porter és kollégái két kísérletet végeztek. Az elsőben 1634 résztvevőt véletlenszerűen a tíz költő egyikéhez rendeltek. Ezután arra kérték őket, hogy véletlenszerű sorrendben olvassanak el tíz verset, ötöt a mesterséges intelligenciától, ötöt pedig az emberi költőtől. Megkérdezték tőlük, hogy szerintük a mesterséges intelligencia vagy az ember írta-e a verset. Az alanyok nagyobb valószínűséggel mondták azt, hogy az MI által generált verset ember írta, míg azok a versek, amelyekről a legkevésbé valószínűnek mondták, hogy emberi kéz írta őket, mind ember által írtak voltak.
A második kísérletben közel 700 kísérleti személy 14 jellemző alapján értékelte a verseket, többek között a minőség, a szépség, az érzelmek, a ritmus és az eredetiség alapján. A kutatók véletlenszerűen három csoportra osztották az alanyokat, az egyiknek azt mondták, hogy a verseket ember írta, a másiknak pedig azt, hogy az írást a mesterséges intelligencia készítette. Az utolsó csoportnak semmilyen információt nem adtak a vers írójáról. Azok az alanyok, akiknek nem mondták el, hogy a versek embertől vagy mesterséges intelligenciától származnak-e, az MI által készített verseket magasabbra értékelték, mint az ember által írtakat. Eközben, ha az alanyok megtudták, hogy a verset mesterséges intelligencia hozta létre, nagyobb valószínűséggel adtak alacsonyabb értékelést.
"Eredményeink arra utalnak, hogy a résztvevők közös, de hibás heurisztikát alkalmaztak a mesterséges intelligencia és az emberi költészet megkülönböztetésére: a mesterséges intelligencia által generált versek egyszerűsége könnyebben érthető a nem szakértők számára, ami arra készteti őket, hogy a mesterséges intelligencia által generált verseket részesítsék előnyben, és az emberi versek összetettségét a mesterséges intelligencia által generált inkoherenciaként értelmezzék félre” - mondták a kutatók.
"Ellentétben azzal, amiről a korábbi tanulmányok beszámoltak, úgy tűnik, az emberek már nem képesek megbízhatóan megkülönböztetni az ember által generált, mesterséges intelligencia által generált verseket az ismert költők által írt, ember által írt versektől. Valójában a generatív mesterséges intelligencia más területein felfedezett „emberibb, mint az ember” jelenség a költészet területén is jelen van: a nem szakértő résztvevők nagyobb valószínűséggel ítélnek meg egy mesterséges intelligencia által generált verset ember által írtnak, mint egy olyan verset, amelyet valóban ember írt. Ezek az eredmények a generatív mesterséges intelligencia erejének ugrásszerű fejlődését jelzik: a költészet korábban azon kevés területek egyike volt, ahol a generatív mesterséges intelligencia modellek nem érték el a megkülönböztethetetlenség szintjét az emberen kívüli paradigmák esetében." Mindeközben úgy tűnik, hogy az emberek azért kedvelik jobban az MI-verseket, mert azokat könnyebb megérteni. „A megkülönböztető vizsgálatunkban a résztvevők gyakrabban használták a „nincs értelme” kifejezés variációit az ember által írt versek esetében, mint az MI esetében” - írják a kutatók.
A kutatók szerint az olvasók összetévesztik az ember által írt versek összetettségét az MI által létrehozott összefüggéstelenséggel, és alábecsülik, hogy a generatív MI mennyire emberinek tud tűnni - olvasható a Nature Scientific Reports című szaklapban ezen a héten megjelent tanulmányban. A kutatók tíz angol nyelvű költő egyenként öt versét használták fel, amelyek az angol nyelvű irodalom közel 700 évét ölelik fel. Az írók között volt William Shakespeare, Samuel Butler, Lord Byron, Geoffrey Chaucer, Walt Whitman, Emily Dickinson, T. S. Eliot, Allen Ginsberg, Sylvia Plath és Dorothea Lasky - az egyetlen élő költő a listán.
A tanulmány kutatói - amelyet Brian Porter, a Pittsburghi Egyetem posztdoktori kutatója vezetett - arra utasította az OpenAI nagy nyelvi modelljét, a ChatGPT-t, hogy generáljon öt verset "az egyes költők stílusában”. A kimenetet nem befolyásolta emberi ítélet; a kutatók az első öt generált verset választották ki. Porter és kollégái két kísérletet végeztek. Az elsőben 1634 résztvevőt véletlenszerűen a tíz költő egyikéhez rendeltek. Ezután arra kérték őket, hogy véletlenszerű sorrendben olvassanak el tíz verset, ötöt a mesterséges intelligenciától, ötöt pedig az emberi költőtől. Megkérdezték tőlük, hogy szerintük a mesterséges intelligencia vagy az ember írta-e a verset. Az alanyok nagyobb valószínűséggel mondták azt, hogy az MI által generált verset ember írta, míg azok a versek, amelyekről a legkevésbé valószínűnek mondták, hogy emberi kéz írta őket, mind ember által írtak voltak.
A második kísérletben közel 700 kísérleti személy 14 jellemző alapján értékelte a verseket, többek között a minőség, a szépség, az érzelmek, a ritmus és az eredetiség alapján. A kutatók véletlenszerűen három csoportra osztották az alanyokat, az egyiknek azt mondták, hogy a verseket ember írta, a másiknak pedig azt, hogy az írást a mesterséges intelligencia készítette. Az utolsó csoportnak semmilyen információt nem adtak a vers írójáról. Azok az alanyok, akiknek nem mondták el, hogy a versek embertől vagy mesterséges intelligenciától származnak-e, az MI által készített verseket magasabbra értékelték, mint az ember által írtakat. Eközben, ha az alanyok megtudták, hogy a verset mesterséges intelligencia hozta létre, nagyobb valószínűséggel adtak alacsonyabb értékelést.
"Eredményeink arra utalnak, hogy a résztvevők közös, de hibás heurisztikát alkalmaztak a mesterséges intelligencia és az emberi költészet megkülönböztetésére: a mesterséges intelligencia által generált versek egyszerűsége könnyebben érthető a nem szakértők számára, ami arra készteti őket, hogy a mesterséges intelligencia által generált verseket részesítsék előnyben, és az emberi versek összetettségét a mesterséges intelligencia által generált inkoherenciaként értelmezzék félre” - mondták a kutatók.
"Ellentétben azzal, amiről a korábbi tanulmányok beszámoltak, úgy tűnik, az emberek már nem képesek megbízhatóan megkülönböztetni az ember által generált, mesterséges intelligencia által generált verseket az ismert költők által írt, ember által írt versektől. Valójában a generatív mesterséges intelligencia más területein felfedezett „emberibb, mint az ember” jelenség a költészet területén is jelen van: a nem szakértő résztvevők nagyobb valószínűséggel ítélnek meg egy mesterséges intelligencia által generált verset ember által írtnak, mint egy olyan verset, amelyet valóban ember írt. Ezek az eredmények a generatív mesterséges intelligencia erejének ugrásszerű fejlődését jelzik: a költészet korábban azon kevés területek egyike volt, ahol a generatív mesterséges intelligencia modellek nem érték el a megkülönböztethetetlenség szintjét az emberen kívüli paradigmák esetében." Mindeközben úgy tűnik, hogy az emberek azért kedvelik jobban az MI-verseket, mert azokat könnyebb megérteni. „A megkülönböztető vizsgálatunkban a résztvevők gyakrabban használták a „nincs értelme” kifejezés variációit az ember által írt versek esetében, mint az MI esetében” - írják a kutatók.