Berta Sándor
Automatikusan kiszűrhetők a téves vagy hiányos Wikipédia-hivatkozások
Hamarosan a múlté lehetnek a népszerű internetes lexikonban az érintett linkek, mivel egy új fejlesztés automatikusan felkutatja azokat.
A Meta kiadta a Sphere-t, egy új mesterséges intelligencia eszközt az információkereséshez, amely a tudásintenzív természetes nyelvi feldolgozás (AI-NLP) területéhez tartozik. A Sphere egy nyílt szövegkorpusz, amely teljes egészében nyilvánosan elérhető weboldalakból áll. A Meta szerint az az előnye, hogy nincs keresőmotor, amely átláthatatlan rangsorolást vezetne be és nincs feldolgozott tudás, mint a Wikipédiában. A Meta a CommonCrawl projekt által gyűjtött, majd feldolgozott és rangsorolt adatokat használta fel. A korpusz 134 millió dokumentumot tartalmaz, amelyeket 960 millió szövegrészletre bontottak. A kereséshez a FAISS-t, a Facebook hasonlóságkeresőjét használták, amelynek egy új változatát fejlesztették ki.
A megoldást a Wikipédia esetében alkalmazzák először. A kutatók 4 millió hivatkozással képezték ki a rendszert. A Sphere így megtudhatja, hogy egy adott forrás valóban alátámasztja-e a Wikipédia-szócikkben szereplő információt vagy sem.
A Meta példaként idézi a Wikipédia Joe Hipp bokszolóról szóló szócikkét. A feketelábú indiánok törzsének tagjaként ő volt az első amerikai őslakos, aki nehézsúlyú világbajnokság döntőjébe jutott. A Wikipédia szócikkben idézett forrásnak azonban semmi köze Hipphez és egyáltalán semmi köze a bokszhoz. A Sphere ehelyett egy regionális újság weboldalán talált egy szövegrészt, amely bár teljesen más kifejezést használt és nem említette kifejezetten a sportágat, mégis megerősítette a cikkben szereplő állítást. A hagyományosabb tesztelést a KILT (Knowledge Intense Language Tasks) benchmarkkal végezték, amelyet szintén a Facebookon fejlesztettek ki.
A Meta a teljes projektet nyílt forráskódúvá tette a GitHubon. A további fejlesztések nem csak hivatkozásokat javasolhatnak majd valós időben a Wikipédia szerzőinek, hanem automatikusan szövegjavaslatokat tehetnek a témájukkal kapcsolatban vagy átvehetik a lektorálást.
A Meta kiadta a Sphere-t, egy új mesterséges intelligencia eszközt az információkereséshez, amely a tudásintenzív természetes nyelvi feldolgozás (AI-NLP) területéhez tartozik. A Sphere egy nyílt szövegkorpusz, amely teljes egészében nyilvánosan elérhető weboldalakból áll. A Meta szerint az az előnye, hogy nincs keresőmotor, amely átláthatatlan rangsorolást vezetne be és nincs feldolgozott tudás, mint a Wikipédiában. A Meta a CommonCrawl projekt által gyűjtött, majd feldolgozott és rangsorolt adatokat használta fel. A korpusz 134 millió dokumentumot tartalmaz, amelyeket 960 millió szövegrészletre bontottak. A kereséshez a FAISS-t, a Facebook hasonlóságkeresőjét használták, amelynek egy új változatát fejlesztették ki.
A megoldást a Wikipédia esetében alkalmazzák először. A kutatók 4 millió hivatkozással képezték ki a rendszert. A Sphere így megtudhatja, hogy egy adott forrás valóban alátámasztja-e a Wikipédia-szócikkben szereplő információt vagy sem.
A Meta példaként idézi a Wikipédia Joe Hipp bokszolóról szóló szócikkét. A feketelábú indiánok törzsének tagjaként ő volt az első amerikai őslakos, aki nehézsúlyú világbajnokság döntőjébe jutott. A Wikipédia szócikkben idézett forrásnak azonban semmi köze Hipphez és egyáltalán semmi köze a bokszhoz. A Sphere ehelyett egy regionális újság weboldalán talált egy szövegrészt, amely bár teljesen más kifejezést használt és nem említette kifejezetten a sportágat, mégis megerősítette a cikkben szereplő állítást. A hagyományosabb tesztelést a KILT (Knowledge Intense Language Tasks) benchmarkkal végezték, amelyet szintén a Facebookon fejlesztettek ki.
A Meta a teljes projektet nyílt forráskódúvá tette a GitHubon. A további fejlesztések nem csak hivatkozásokat javasolhatnak majd valós időben a Wikipédia szerzőinek, hanem automatikusan szövegjavaslatokat tehetnek a témájukkal kapcsolatban vagy átvehetik a lektorálást.