Berta Sándor
Egyre méretesebbek a beszédfeldolgozó modellek
A rendszerek ennek ellenére sem tudnak megoldani minden problémát.
A DeepMind mesterséges intelligencia kutatói megvizsgálták a gépi tanulás segítségével létrehozott jelenlegi nagy beszédfeldolgozási modelleket, amelyek folyamatosan növekednek. A szakemberek megállapították, hogy a méret növekedése a jövőben nem lesz képes orvosolni minden felmerült problémát.
A DeepMind munkatársai maguk is létrehoztak egy beszédfeldolgozási modellt, a Gophert, amely körülbelül 280 milliárd paramétert tartalmaz. Ez kiváló alapja az összehasonlításnak: az OpenAI által megalkotott GPT-nek - amelyet a Microsoft is támogat és amelynek a technikáját a redmondi konszern is használja - körülbelül 175 milliárd paramétere van. Emellett két hónappal ezelőtt mutatott be az nVidia és a Microsoft egy körülbelül 530 paramétert felvonultató közös modellt.
Jack Rae, a DeepMind kutatója azt mondta , hogy az anyaguk egyik központi eredménye az, hogy beszédfeldolgozási modellek képességei még mindig bővülnek. Ez egy olyan terület, amely nem érte el a platót, és vannak olyan problémák, hogy az adott modell sztereotip előítéleteket tesz erősít meg vagy valótlanságokat terjeszt. A helyzeten csak a további képzési rutinok alkalmazása és a közvetlen emberi beavatkozás lehetősége segíthet. Éppen ezért van szükség egy továbbfejlesztett beszédfeldolgozási modellarchitektúra megalkotására, amely csökkenti a képzési energiaköltségeket és egyúttal egyszerűbbé is teszi azok visszakövethetőségét. Ez utóbbi az egyik legfontosabb funkció ahhoz, hogy a modell által megtanult előítéleteket felül lehessen vizsgálni.
A DeepMind mesterséges intelligencia kutatói megvizsgálták a gépi tanulás segítségével létrehozott jelenlegi nagy beszédfeldolgozási modelleket, amelyek folyamatosan növekednek. A szakemberek megállapították, hogy a méret növekedése a jövőben nem lesz képes orvosolni minden felmerült problémát.
A DeepMind munkatársai maguk is létrehoztak egy beszédfeldolgozási modellt, a Gophert, amely körülbelül 280 milliárd paramétert tartalmaz. Ez kiváló alapja az összehasonlításnak: az OpenAI által megalkotott GPT-nek - amelyet a Microsoft is támogat és amelynek a technikáját a redmondi konszern is használja - körülbelül 175 milliárd paramétere van. Emellett két hónappal ezelőtt mutatott be az nVidia és a Microsoft egy körülbelül 530 paramétert felvonultató közös modellt.
Jack Rae, a DeepMind kutatója azt mondta , hogy az anyaguk egyik központi eredménye az, hogy beszédfeldolgozási modellek képességei még mindig bővülnek. Ez egy olyan terület, amely nem érte el a platót, és vannak olyan problémák, hogy az adott modell sztereotip előítéleteket tesz erősít meg vagy valótlanságokat terjeszt. A helyzeten csak a további képzési rutinok alkalmazása és a közvetlen emberi beavatkozás lehetősége segíthet. Éppen ezért van szükség egy továbbfejlesztett beszédfeldolgozási modellarchitektúra megalkotására, amely csökkenti a képzési energiaköltségeket és egyúttal egyszerűbbé is teszi azok visszakövethetőségét. Ez utóbbi az egyik legfontosabb funkció ahhoz, hogy a modell által megtanult előítéleteket felül lehessen vizsgálni.