SG.hu
Tesztek alapján a Copilot a vártnál kevésbé hasznos
Ausztrál kormányzati alkalmazottak kipróbálták a Microsoft Copilot mesterséges intelligencia asszisztensét, és a vártnál kevésbé hasznosnak ítélték meg azt. De nem csak rossz hírek születtek a redmondiak számára: az ausztrál pénzügyminisztérium megállapította, hogy a használata gyorsan megtérülhet.
Az ausztrál pénzügyminisztérium önkéntesekkel 14 héten át tesztelte a Microsoft 365 Copilot szoftvert 2024 folyamán. 218-an tették fel a kezüket, majd kérdőíveket töltöttek ki a mesterséges intelligencia-segítő használatával kapcsolatos tapasztalataikról. Ezek a felmérések képezik a most közzétett értékelő jelentés alapját. A jelentésből kiderül, hogy a résztvevők a kipróbálás után a Copilotot kevésbé hasznosnak értékelték, mint remélték, mivel a vártnál kevesebb munkaterhelésre volt alkalmazható. A munkavállalók véleménye arról, hogy a Copilot képes volt javítani a munkájukat, szintén romlott.
A Copilot használati gyakorisága alacsonyabb volt a vártnál, a legtöbb résztvevő heti két-három alkalommal, vagy ennél kevesebbszer használta. A Pénzügyminisztérium úgy véli, hogy valószínűleg irreálisan magas elvárásokat fogalmaztak meg a kísérlet előtt, és megjegyezték, hogy a résztvevők közül sokan megemlítették, hogy további képzésre lenne szükségük.
A kísérlet négy felhasználási esetet sorolt fel a Copilot számára: strukturált tartalom létrehozása, tudásmenedzsment támogatása, információk szintetizálása és rangsorolása, valamint folyamatfeladatok elvégzése. A résztvevők egyetértettek abban, hogy ezekre alkalmas a program, a jelentés azonban azt is megállapította, hogy a résztvevők úgy vélték, hogy „a Copilot nem alkalmas összetettebb feladatokra, főként magának a terméknek a korlátai miatt”.
A résztvevők szerint a Copilot a következő feladatokat oldotta meg a legjobban: „információk keresése és összegzése, tárgyalási jegyzőkönyvek készítése, tudásmenedzsment és tartalomszerkesztés”. A jelentés ezeket „alapvető adminisztratív feladatoknak” nevezi. De már egy kis időmegtakarítás is kifizetődő lehet: a jelentés szerint, ha a Copilot heti 13 percet takarít meg a középszintű dolgozóknak, máris megtérül.
A Microsoft valószínűleg értékelni fogja azt a nem várt előnyt is, hogy a Copilot „hozzájárult a neurodivergens és részmunkaidős alkalmazottak, illetve a munkából való kiesést igénylő egészségügyi problémákkal küzdők hozzáférhetőségéhez és befogadásához”. Az MI asszisztens ezt úgy érte el, hogy automatikus összefoglalókat készített az elmaradt megbeszélésekről, és „kiegyenlítette a játékteret azok számára, akiknek nehézséget okoz a munkahelyi normákban vagy kultúrában való eligazodás”. Egyes alkalmazottak ezért „a bizalom kis mértékű növekedéséről” számoltak be, a fiatalabb vagy újonnan felvett munkatársak nagyobb valószínűséggel fejezték ki ilyen érzéseiket.
A kísérleti projekt tanulságai közé tartozik a Copilotot használó alkalmazottak gondos kiválasztásának szükségessége, a mesterséges intelligencia használatáról és annak kockázatairól szóló képzések bevezetése, valamint a mesterséges intelligencia munkahelyi hatásának folyamatos nyomon követésének kívánatos volta. Egy másik megállapítás arra utal, hogy az olyan ügynökségek számára, mint a Pénzügyminisztérium, nem biztos, hogy a szolgáltatásként nyújtott mesterséges intelligencia megfelelő.
"Bár a védett kormányzati adatok és tanácsadás biztonsága kiemelten fontos, ideális esetben a generatív MI-termékek alapvető funkcióinak a biztonsági követelményekkel párhuzamosan kell működniük” - áll a jelentésben. "Nem világos, hogy a termékek idővel valószínűleg úgy fognak-e fejlődni, hogy megfeleljenek a Kincstár szigorú biztonsági igényeinek, vagy maga a Copilot tovább fog-e fejlődni, hogy külső információkat építsen be a kimeneteibe anélkül, hogy az algoritmust a Kincstár belső adataival táplálná.” Ez a vélemény azt sugallja, hogy az érzékeny információkat kezelő szervek valószínűleg jobban járnak majd egy helyben működő MI-infrastruktúrával.
Az ausztrál pénzügyminisztérium önkéntesekkel 14 héten át tesztelte a Microsoft 365 Copilot szoftvert 2024 folyamán. 218-an tették fel a kezüket, majd kérdőíveket töltöttek ki a mesterséges intelligencia-segítő használatával kapcsolatos tapasztalataikról. Ezek a felmérések képezik a most közzétett értékelő jelentés alapját. A jelentésből kiderül, hogy a résztvevők a kipróbálás után a Copilotot kevésbé hasznosnak értékelték, mint remélték, mivel a vártnál kevesebb munkaterhelésre volt alkalmazható. A munkavállalók véleménye arról, hogy a Copilot képes volt javítani a munkájukat, szintén romlott.
A Copilot használati gyakorisága alacsonyabb volt a vártnál, a legtöbb résztvevő heti két-három alkalommal, vagy ennél kevesebbszer használta. A Pénzügyminisztérium úgy véli, hogy valószínűleg irreálisan magas elvárásokat fogalmaztak meg a kísérlet előtt, és megjegyezték, hogy a résztvevők közül sokan megemlítették, hogy további képzésre lenne szükségük.
A kísérlet négy felhasználási esetet sorolt fel a Copilot számára: strukturált tartalom létrehozása, tudásmenedzsment támogatása, információk szintetizálása és rangsorolása, valamint folyamatfeladatok elvégzése. A résztvevők egyetértettek abban, hogy ezekre alkalmas a program, a jelentés azonban azt is megállapította, hogy a résztvevők úgy vélték, hogy „a Copilot nem alkalmas összetettebb feladatokra, főként magának a terméknek a korlátai miatt”.
A résztvevők szerint a Copilot a következő feladatokat oldotta meg a legjobban: „információk keresése és összegzése, tárgyalási jegyzőkönyvek készítése, tudásmenedzsment és tartalomszerkesztés”. A jelentés ezeket „alapvető adminisztratív feladatoknak” nevezi. De már egy kis időmegtakarítás is kifizetődő lehet: a jelentés szerint, ha a Copilot heti 13 percet takarít meg a középszintű dolgozóknak, máris megtérül.
A Microsoft valószínűleg értékelni fogja azt a nem várt előnyt is, hogy a Copilot „hozzájárult a neurodivergens és részmunkaidős alkalmazottak, illetve a munkából való kiesést igénylő egészségügyi problémákkal küzdők hozzáférhetőségéhez és befogadásához”. Az MI asszisztens ezt úgy érte el, hogy automatikus összefoglalókat készített az elmaradt megbeszélésekről, és „kiegyenlítette a játékteret azok számára, akiknek nehézséget okoz a munkahelyi normákban vagy kultúrában való eligazodás”. Egyes alkalmazottak ezért „a bizalom kis mértékű növekedéséről” számoltak be, a fiatalabb vagy újonnan felvett munkatársak nagyobb valószínűséggel fejezték ki ilyen érzéseiket.
A kísérleti projekt tanulságai közé tartozik a Copilotot használó alkalmazottak gondos kiválasztásának szükségessége, a mesterséges intelligencia használatáról és annak kockázatairól szóló képzések bevezetése, valamint a mesterséges intelligencia munkahelyi hatásának folyamatos nyomon követésének kívánatos volta. Egy másik megállapítás arra utal, hogy az olyan ügynökségek számára, mint a Pénzügyminisztérium, nem biztos, hogy a szolgáltatásként nyújtott mesterséges intelligencia megfelelő.
"Bár a védett kormányzati adatok és tanácsadás biztonsága kiemelten fontos, ideális esetben a generatív MI-termékek alapvető funkcióinak a biztonsági követelményekkel párhuzamosan kell működniük” - áll a jelentésben. "Nem világos, hogy a termékek idővel valószínűleg úgy fognak-e fejlődni, hogy megfeleljenek a Kincstár szigorú biztonsági igényeinek, vagy maga a Copilot tovább fog-e fejlődni, hogy külső információkat építsen be a kimeneteibe anélkül, hogy az algoritmust a Kincstár belső adataival táplálná.” Ez a vélemény azt sugallja, hogy az érzékeny információkat kezelő szervek valószínűleg jobban járnak majd egy helyben működő MI-infrastruktúrával.