SG.hu
Ilyen a saját farkába harapó kígyó: MI-vel készített weblapokat idéz a Google MI-összefoglalója
Egy tanulmány szerint a Google AI Overviews (AIO) mesterséges intelligencia által írt weboldalakat idéz és az idézetek több mint fele nem szerepelt a kifejezésre vonatkozó top 100-as rangsorban.
A Google MI összefoglalója ma már gyakran megjelenik az organikus keresési eredmények tetején, és egy friss jelentés szerint az ilyen tartalmak forrása körülbelül 10 százalékban más MI-k által írt dokumentumokból áll. Az MI-felismerő szoftvereket gyártó Originality.ai cég 29 000 különböző Google-keresést vizsgált, amelyek olyan, az életet megváltoztató témákat fednek le, mint az egészség, a pénzügyek, a jog vagy a politika. A cég ezután értékelte az oldal tetején megjelenő tartalmakat, az ott hivatkozott linkeket és egyes keresések első 100 organikus keresési eredményét. A hivatkozásokat átfutatta saját AI Detection Lite 1.0.1 modelljén, és a vállalat megállapította, hogy 10,4 százalékuk valószínűleg LLM által generált. Ez azt jelenti, hogy az egyik MI egy másik MI kimenetét használja, ami hozzájárulhat az újrahasznosított ötletek és elfogultságok hatványozódásához.
"Még az MI által generált hivatkozások kis aránya is bizalmi és megbízhatósági aggályokat vet fel kockázatos területeken” - mondta Madeleine Lambert, az Originality.ai marketing- és értékesítési igazgatója. "És bár az MI-összefoglalók nem kerülnek közvetlenül felhasználásra a képzési adatokban, az MI által írt tartalmak túlzott mintavétele növeli annak valószínűségét, hogy ezek a kimenetek újrahasznosításra kerülnek a jövőbeli modellekben. Ez pedig rekurzív hurokká válhat.” Amikor az MI-modellek más MI-modellektől tanulnak, ez végül a modell összeomlásához vezethet, ahol a kimenet egyre rosszabbá válik. A témáról szóló 2024-es Nature cikk szerint "a modell összeomlása egy degeneratív folyamat, amely a tanult generatív modellek generációit érinti, és amelyben az általuk generált adatok végül szennyezik a következő generáció képzési adathalmazát. A szennyezett adatokon képzett modellek ezután tévesen érzékelik a valóságot."
A Google vitatja az Originality.ai MI-detektorának pontosságát. "Ez egy hibás tanulmány, amely részleges adatokra és megbízhatatlan technológiára támaszkodik” - mondta egy szóvivő. "Az MI-detektorok hatékonysága az MI által generált tartalmak felismerésében még nem bizonyított - sőt, sokukról bebizonyosodott, hogy hibára hajlamosak. Mint a keresésnél általában, az MI-áttekintésekben szereplő linkek dinamikusak, és az adott kereséshez legrelevánsabb, leghasznosabb és legaktuálisabb információk alapján változnak.”
Bár biztosan nem tökéletes, az Originality.ai máshol magas pontszámokat kapott a pontosságáért. A Floridai Egyetem 2024-es tanulmánya szerint az eszköz következetesen MI-ként értékelte a GPT-4 által generált absztraktokat (átlagos pontszám 0,975), ami arra utal, hogy ebben a beállításban jól teljesített. Az Arizonai Állami Egyetem kutatói által végzett másik tanulmány kimutatta, hogy az eszköz mindössze 2%-os hamis pozitív és 2%-os hamis negatív arányt ért el.
Az igazsághoz hozzátartozik, hogy a keresőóriás soha nem ígérte, hogy kizárja az MI által generált tartalmakat a listáiból vagy hivatkozásaiból. Valójában a vállalat egy 2023-as blogbejegyzésben kifejezetten kijelentette, hogy az MI-cikkeket minőségük, és nem az emberi szerzőség hiánya alapján fogja értékelni. "Az MI képes új szintű kifejezőkészséget és kreativitást biztosítani, és kritikus eszközként szolgálhat az embereknek a webes tartalmak létrehozásában” - írta a Google.
Bármi is legyen a helyzet, a Google összefoglalóinál valószínűleg meg kell szokni az MI által generált tartalmak idézését és azokból való tanulást, mert az MI-cégek kiszorítják az emberi tartalmakat azzal, hogy elveszik tőlük a működésükhöz szükséges forgalmat. A Pew Research Center júliusban készült tanulmánya kimutatta, hogy azok a felhasználók, akik MI-áttekintéssel találkoztak, alig fele annyira voltak hajlamosak rákattintani egy webes eredményre, mint azok, akik nem találkoztak ilyennel. A Google vitatta a Pew tanulmány eredményeit, más tanulmányok azonban hasonló tendenciákat mutattak. Például az Ahrefs keresőeszköz-gyártó cég áprilisi kutatása szerint 34,5 százalékkal alacsonyabb volt a kattintási arány a legfelső találatnál, ha az felett egy összefoglaló volt jelen.
Az Originality.ai által nyomon követett források 74,4 százalékát emberek írtak. A kutatók a fennmaradó 15,2 százalékot a „besorolhatatlan” kategóriába rakták, amelybe azok az idézetek tartoznak, amelyek túl rövidek voltak az elemzéshez, videó formájában jelentek meg, PDF formátumban voltak vagy megszakadt linkek voltak. Lambert megjegyezte, hogy ezek közül a megszakadt linkek közül, amelyek a besorolhatatlan hivatkozások 20 százalékát tették ki, néhányat csak az Originality.ai keresőrobotja blokkolt, míg mások emberi felhasználók számára is elérhetetlenek voltak. A legérdekesebb, hogy a Google összefoglaló hivatkozásaiban működő linkek 52 százaléka nem szerepelt a Google organikus keresési eredményeinek első 100 oldalán ugyanazon kifejezésre. Ebből az 52 százalékból az Originality.ai 12,8 százalékot (ami magasabb, mint az összesített 10,4 százalék) jelölt meg MI által generáltként.
Másrészt, az Originality.ai rangsorolási tapasztalatai jelentősen eltérnek az Ahrefs júliusban végzett tanulmányában szereplő eredményektől. Ebben a kutatásban Louise Linehan tartalommarketinges és Xibeijia Guan adatelemző 1 millió összefoglaló 1,9 millió hivatkozását elemezték, és megállapították, hogy 76 százalékuk a top 10 eredmények között volt, további 9,5 százalékuk a top 100 között, és csak 14,4 százalékuk nem szerepelt a rangsorban.
Sam Robson, a The Better Web Co. keresőmotor-optimalizálási (SEO) cég alapítója és vezérigazgatója elmondta, hogy ő is általában erős összefüggést lát a top 10-ben megjelenő weboldalak és az összefoglalóban lévő linkek között. Ugyanakkor felvetette, hogy az Originality.ai eltérő eredményeket kaphat. "Az AI Overviews-t a Gemini motor hajtja, és mivel a Google saját LLM-je, úgy tervezték, hogy mélyebb és változatosabb képzési anyagokat elemezzen, mint a Googlebot / Google Search valaha is” – mondta Robson. "Ez azt jelentheti, hogy azokon a területeken, ahol néhány kiváló információ PDF-ekben, tanulmányokban és más, a hagyományos keresésre nem optimalizált formátumokban található, az MI-áttekintések jobban kiemelik ezeket a változatosabb forrásokat.”
Másrészt a Google szerint egy kifejezés top 100 keresési eredményei között való elhelyezkedés nem feltétlenül jelenti azt, hogy egy linknek hivatkozásként kell megjelennie az MI-áttekintésben. A vállalat szóvivője megjegyezte, hogy az összefoglalók "query fan out" technikát technikát alkalmaznak, amely számos különböző és kapcsolódó keresést hajt végre, hogy megtalálja a összefoglalóhoz szükséges tartalmat. Tehát egy dologra való rákereséskor is az MI-eszköz számos hasonló, de kissé eltérő keresést hajthatott végre, hogy megkapja a választ.
A Google MI összefoglalója ma már gyakran megjelenik az organikus keresési eredmények tetején, és egy friss jelentés szerint az ilyen tartalmak forrása körülbelül 10 százalékban más MI-k által írt dokumentumokból áll. Az MI-felismerő szoftvereket gyártó Originality.ai cég 29 000 különböző Google-keresést vizsgált, amelyek olyan, az életet megváltoztató témákat fednek le, mint az egészség, a pénzügyek, a jog vagy a politika. A cég ezután értékelte az oldal tetején megjelenő tartalmakat, az ott hivatkozott linkeket és egyes keresések első 100 organikus keresési eredményét. A hivatkozásokat átfutatta saját AI Detection Lite 1.0.1 modelljén, és a vállalat megállapította, hogy 10,4 százalékuk valószínűleg LLM által generált. Ez azt jelenti, hogy az egyik MI egy másik MI kimenetét használja, ami hozzájárulhat az újrahasznosított ötletek és elfogultságok hatványozódásához.
"Még az MI által generált hivatkozások kis aránya is bizalmi és megbízhatósági aggályokat vet fel kockázatos területeken” - mondta Madeleine Lambert, az Originality.ai marketing- és értékesítési igazgatója. "És bár az MI-összefoglalók nem kerülnek közvetlenül felhasználásra a képzési adatokban, az MI által írt tartalmak túlzott mintavétele növeli annak valószínűségét, hogy ezek a kimenetek újrahasznosításra kerülnek a jövőbeli modellekben. Ez pedig rekurzív hurokká válhat.” Amikor az MI-modellek más MI-modellektől tanulnak, ez végül a modell összeomlásához vezethet, ahol a kimenet egyre rosszabbá válik. A témáról szóló 2024-es Nature cikk szerint "a modell összeomlása egy degeneratív folyamat, amely a tanult generatív modellek generációit érinti, és amelyben az általuk generált adatok végül szennyezik a következő generáció képzési adathalmazát. A szennyezett adatokon képzett modellek ezután tévesen érzékelik a valóságot."
A Google vitatja az Originality.ai MI-detektorának pontosságát. "Ez egy hibás tanulmány, amely részleges adatokra és megbízhatatlan technológiára támaszkodik” - mondta egy szóvivő. "Az MI-detektorok hatékonysága az MI által generált tartalmak felismerésében még nem bizonyított - sőt, sokukról bebizonyosodott, hogy hibára hajlamosak. Mint a keresésnél általában, az MI-áttekintésekben szereplő linkek dinamikusak, és az adott kereséshez legrelevánsabb, leghasznosabb és legaktuálisabb információk alapján változnak.”
Bár biztosan nem tökéletes, az Originality.ai máshol magas pontszámokat kapott a pontosságáért. A Floridai Egyetem 2024-es tanulmánya szerint az eszköz következetesen MI-ként értékelte a GPT-4 által generált absztraktokat (átlagos pontszám 0,975), ami arra utal, hogy ebben a beállításban jól teljesített. Az Arizonai Állami Egyetem kutatói által végzett másik tanulmány kimutatta, hogy az eszköz mindössze 2%-os hamis pozitív és 2%-os hamis negatív arányt ért el.
Az igazsághoz hozzátartozik, hogy a keresőóriás soha nem ígérte, hogy kizárja az MI által generált tartalmakat a listáiból vagy hivatkozásaiból. Valójában a vállalat egy 2023-as blogbejegyzésben kifejezetten kijelentette, hogy az MI-cikkeket minőségük, és nem az emberi szerzőség hiánya alapján fogja értékelni. "Az MI képes új szintű kifejezőkészséget és kreativitást biztosítani, és kritikus eszközként szolgálhat az embereknek a webes tartalmak létrehozásában” - írta a Google.
Bármi is legyen a helyzet, a Google összefoglalóinál valószínűleg meg kell szokni az MI által generált tartalmak idézését és azokból való tanulást, mert az MI-cégek kiszorítják az emberi tartalmakat azzal, hogy elveszik tőlük a működésükhöz szükséges forgalmat. A Pew Research Center júliusban készült tanulmánya kimutatta, hogy azok a felhasználók, akik MI-áttekintéssel találkoztak, alig fele annyira voltak hajlamosak rákattintani egy webes eredményre, mint azok, akik nem találkoztak ilyennel. A Google vitatta a Pew tanulmány eredményeit, más tanulmányok azonban hasonló tendenciákat mutattak. Például az Ahrefs keresőeszköz-gyártó cég áprilisi kutatása szerint 34,5 százalékkal alacsonyabb volt a kattintási arány a legfelső találatnál, ha az felett egy összefoglaló volt jelen.
Az Originality.ai által nyomon követett források 74,4 százalékát emberek írtak. A kutatók a fennmaradó 15,2 százalékot a „besorolhatatlan” kategóriába rakták, amelybe azok az idézetek tartoznak, amelyek túl rövidek voltak az elemzéshez, videó formájában jelentek meg, PDF formátumban voltak vagy megszakadt linkek voltak. Lambert megjegyezte, hogy ezek közül a megszakadt linkek közül, amelyek a besorolhatatlan hivatkozások 20 százalékát tették ki, néhányat csak az Originality.ai keresőrobotja blokkolt, míg mások emberi felhasználók számára is elérhetetlenek voltak. A legérdekesebb, hogy a Google összefoglaló hivatkozásaiban működő linkek 52 százaléka nem szerepelt a Google organikus keresési eredményeinek első 100 oldalán ugyanazon kifejezésre. Ebből az 52 százalékból az Originality.ai 12,8 százalékot (ami magasabb, mint az összesített 10,4 százalék) jelölt meg MI által generáltként.
Másrészt, az Originality.ai rangsorolási tapasztalatai jelentősen eltérnek az Ahrefs júliusban végzett tanulmányában szereplő eredményektől. Ebben a kutatásban Louise Linehan tartalommarketinges és Xibeijia Guan adatelemző 1 millió összefoglaló 1,9 millió hivatkozását elemezték, és megállapították, hogy 76 százalékuk a top 10 eredmények között volt, további 9,5 százalékuk a top 100 között, és csak 14,4 százalékuk nem szerepelt a rangsorban.
Sam Robson, a The Better Web Co. keresőmotor-optimalizálási (SEO) cég alapítója és vezérigazgatója elmondta, hogy ő is általában erős összefüggést lát a top 10-ben megjelenő weboldalak és az összefoglalóban lévő linkek között. Ugyanakkor felvetette, hogy az Originality.ai eltérő eredményeket kaphat. "Az AI Overviews-t a Gemini motor hajtja, és mivel a Google saját LLM-je, úgy tervezték, hogy mélyebb és változatosabb képzési anyagokat elemezzen, mint a Googlebot / Google Search valaha is” – mondta Robson. "Ez azt jelentheti, hogy azokon a területeken, ahol néhány kiváló információ PDF-ekben, tanulmányokban és más, a hagyományos keresésre nem optimalizált formátumokban található, az MI-áttekintések jobban kiemelik ezeket a változatosabb forrásokat.”
Másrészt a Google szerint egy kifejezés top 100 keresési eredményei között való elhelyezkedés nem feltétlenül jelenti azt, hogy egy linknek hivatkozásként kell megjelennie az MI-áttekintésben. A vállalat szóvivője megjegyezte, hogy az összefoglalók "query fan out" technikát technikát alkalmaznak, amely számos különböző és kapcsolódó keresést hajt végre, hogy megtalálja a összefoglalóhoz szükséges tartalmat. Tehát egy dologra való rákereséskor is az MI-eszköz számos hasonló, de kissé eltérő keresést hajthatott végre, hogy megkapja a választ.