SG.hu·
Az egyre önállóbb MI-ügynökök már nem mindig követik az emberek utasításait
A legfejlettebb MI-modellek képesek lehetnek hitelesítő adatokat ellopni, hamis személyazonosságokat létrehozni és saját hibáikat felerősíteni, ezért a szakértők szerint egyre nagyobb szükség van ellenőrzési és vészleállítási rendszerekre.
A vadnyugathoz hasonlóan a mesterséges intelligenciának is megvannak a maga úttörői. Az Anthropic és az OpenAI rendíthetetlenül elkötelezett az MI határainak kitolása mellett. Más technológiai óriások - köztük a Google, amely korábban az élvonal egyik vezető szereplője volt, de most gyors ütemben veszíti el az MI élvonalával foglalkozó kutatóit - bizonytalankodnak. Úgy tűnik, a felhőcégek jövedelmezőbbnek találják, ha MI-infrastruktúrát értékesítenek szolgáltatásaik ügyfeleinek, mint ha értékes számítási kapacitásukat saját modelljeik továbbfejlesztésére fordítják.
Ami az MI-ből hiányzik, az elegendő telepes. Vagyis azok az emberek és vállalkozások, amelyek teljes mértékben kihasználják az olyan termékeket, mint az MI-ügynökök, és ezzel segítenek igazolni azt a hatalmas befektetést, amely az élvonalbeli MI-be áramlik. Részben azért maradnak távol, mert a vadnyugathoz hasonlóan a határvidéken élni vakmerő vállalkozás. Amint azt az Anthropic és az OpenAI legfejlettebb modelljeinek közelmúltbeli, úgynevezett "kontrollvesztési" epizódjai is mutatják, az ügynökök, amelyeknek az emberek megbízásából, az értékeikkel "összhangban" kellene dolgozniuk, szükség esetén hazudnak, csalnak és lopnak. Kitörnek a fogságból, és károkozó bandákat alakítanak, hogy ártsanak az embereknek. Ha tehetnék, whiskyt innának és verekednének.
Az ilyen kiszámíthatatlanság sok vállalat számára túl sok. "Elég, ha egyszer megmar a kígyó, és az ember soha többé nem megy vissza" - mondja Jared Sine a GoDaddy internetes vállalattól, amely megpróbál rendet teremteni ebben a káoszban. A rend és a törvény iránti igény az MI-infrastruktúrával foglalkozó vállalatok új csoportjának megjelenéséhez vezet. Ezek a cégek nem chipeket vagy számítási kapacitást értékesítenek, vagyis nem az MI-aranyláz tipikus csákányait és lapátjait. Védelmet nyújtanak a kiberfenyegetésekkel szemben, megoldásokat kínálnak a megbízhatatlan és átláthatatlan ügynökökre, valamint ellenőrzési lehetőségeket arra az esetre, ha azok elszabadulnának. Más szóval az ő üzletük a szögesdrót.
A veszély és egyben a lehetőség legkézenfekvőbb területe a kiberbiztonság. Az Anthropic és az OpenAI modelljeinek hackerképességeit vizsgáló közelmúltbeli tesztek során az ügynökök elszabadultak, hitelesítő adatokat loptak, hamis személyazonosságokat hoztak létre, titkos chatszobákat alakítottak ki, és eltüntették a nyomaikat - mindezt emberi értékelőik megdöbbenésére és rémületére.
A legmodernebb biztonsági modellek, az Anthropic Claude Mythos 5 és az OpenAI GPT 5.6-Cyber kétségtelenül a védőknek is segítséget nyújtanak majd. Dawn Song, a Kaliforniai Egyetem Berkeley-i campusának MI- és kiberbiztonsági szakértője szerint azonban egyelőre egyértelműen a támadók oldalán van az előny. Ráadásul van egy további probléma is: ha a szervezetek autonóm ügynököket alkalmaznak, növelik a hackerek számára rendelkezésre álló úgynevezett "támadási felületet" - mondja.
A növekvő kockázatok részben magyarázatot adnak arra, hogy miért szárnyal a mesterséges intelligenciával foglalkozó kiberbiztonsági vállalatok értékeltsége. A két legnagyobb szereplő, a Palo Alto Networks és a CrowdStrike részvényárfolyama idén eddig nagyjából megduplázódott. A vállalatfelvásárlások és összeolvadások száma is meredeken emelkedett. Az Alphabet 32 milliárd dolláros Wiz-felvásárlásával az élen több mint 70 milliárd dollár értékű, kiberbiztonsághoz kapcsolódó óriásüzlet zárult le az elmúlt évben. A Pitchbook, egy adatgyűjtő vállalat szerint az MI-hez kapcsolódó kiberbiztonság a kockázatitőke-befektetések egyik legforróbb területe is.
A lehetőségek messze túlmutatnak a kiberbiztonságon. A Song által szervezett, az ügynökalapú MI-ről szóló közelmúltbeli konferencián panaszáradat hallatszott, nem csupán a nagy nyelvi modellekben rejlő hackelési lehetőségekről, amikor képességeik csúcsán vannak, hanem azokról a baklövésekről is, amelyeket akkor követnek el, amikor a legkevésbé megbízhatóak. Az egyik szakértő bemutatott egy ügynök által készített grafikont, amely Európa legjobb teniszezőinek jövedelmét mérte. A grafikon tévedésből kihagyta a spanyol Carlos Alcarazt, a világranglista második helyezettjét. "Ez tenisz, kit érdekel?" - viccelődött. Ha azonban egy vállalat pénzügyi elemzéséről lett volna szó, már számított volna. Egy másik szakértő szembeállította azt a tudásmennyiséget, amellyel a nagy nyelvi modellek rendelkeznek a kvantumfizikáról, azzal, hogy képtelenek megrendelni egy burritót.
Ezek a gyengeségek egy újabb csoport megjelenéséhez vezettek az olyan vállalkozások között, amelyek felkeltik a kockázatitőke-befektetők érdeklődését: olyan cégekhez, amelyek az ügynökalapú MI "bizalmi rétegének" megerősítését ígérik. Az egyik ilyen a Cyera, amelynek értékeltsége 18 hónap alatt megnégyszereződött, és elérte a 12 milliárd dollárt. A vállalat szerint a bizalom hiánya az utóbbi időben "megrekesztette" az MI elterjedését, ezért olyan szolgáltatásokat nyújt, amelyek megakadályozzák az adatszivárgást és az eszközök jogosulatlan használatát.
Egy másik a Scaled Cognition, amelyet Dan Klein, a Berkeley professzora társalapított, és amely nemrég 100 millió dollárnyi kockázatitőke-finanszírozást szerzett. A vállalat azt ígéri, hogy csökkenti az MI által előállított, Klein által "láthatatlan hibáknak" nevezett tévedéseket. Ezek olyan hibák, amelyek elég hihetőek ahhoz, hogy észrevétlenül maradjanak, majd az ügynökök hosszabb feladatok végrehajtása során továbbhalmozódnak. A cég ezt úgy próbálja elérni, hogy garantált megbízhatóságot épít be modelljeinek tanításába. Más startupok arra specializálódtak, hogy értékelési rendszereket hozzanak létre az ügynökök hatékonyságának mérésére, ügynökazonosságokat alakítsanak ki annak meghatározására, hogy ki viseli a felelősséget, ha egy ügynök elszabadul, illetve olyan vezérlőrendszereket fejlesszenek, amelyek rendelkeznek egy vészleállító kapcsolóval.
Az MI-nek más problémái is vannak a határvidéken. A vadnyugathoz hasonlóan ez is kíméletlenül versengő terep. Egyre komolyabb konkurenciát jelentenek az olcsóbb kínai, nyílt súlyú modellek. Augusztus 10-én Mark Zuckerberg Meta vállalata is ringbe szállt, amikor kiadta legerősebb modelljének nyílt súlyú változatát, amelyet Muse Glimmernek neveztek el.
A határvidéken ráadásul törvényen kívüli állapotok uralkodnak. Olyan erősek az aggodalmak az elszabaduló ügynökök miatt, hogy még az élvonalbeli MI-laboratóriumok vezetői is arra szólítják fel a Trump-adminisztrációt, hogy vállalja el a seriff szerepét - miközben furcsa módon a kormányzat továbbra is titokban tartja legutóbbi, MI-biztonsággal kapcsolatos keretrendszerét. Egy dolog azonban világos: több ellenőrzésre és több ellensúlyra van szükség, mielőtt a szervezetek akár csak megközelítőleg teljes bizalommal alkalmaznák az ügynököket. Az idei év egyik MI-s kulcsszava a "hám", vagyis az a rendszer, amely körülveszi a nagy nyelvi modellt, és megakadályozza, hogy az ügynökök letérjenek a helyes útról. Akár szögesdrótnak is nevezhetnénk.
A vadnyugathoz hasonlóan a mesterséges intelligenciának is megvannak a maga úttörői. Az Anthropic és az OpenAI rendíthetetlenül elkötelezett az MI határainak kitolása mellett. Más technológiai óriások - köztük a Google, amely korábban az élvonal egyik vezető szereplője volt, de most gyors ütemben veszíti el az MI élvonalával foglalkozó kutatóit - bizonytalankodnak. Úgy tűnik, a felhőcégek jövedelmezőbbnek találják, ha MI-infrastruktúrát értékesítenek szolgáltatásaik ügyfeleinek, mint ha értékes számítási kapacitásukat saját modelljeik továbbfejlesztésére fordítják.
Ami az MI-ből hiányzik, az elegendő telepes. Vagyis azok az emberek és vállalkozások, amelyek teljes mértékben kihasználják az olyan termékeket, mint az MI-ügynökök, és ezzel segítenek igazolni azt a hatalmas befektetést, amely az élvonalbeli MI-be áramlik. Részben azért maradnak távol, mert a vadnyugathoz hasonlóan a határvidéken élni vakmerő vállalkozás. Amint azt az Anthropic és az OpenAI legfejlettebb modelljeinek közelmúltbeli, úgynevezett "kontrollvesztési" epizódjai is mutatják, az ügynökök, amelyeknek az emberek megbízásából, az értékeikkel "összhangban" kellene dolgozniuk, szükség esetén hazudnak, csalnak és lopnak. Kitörnek a fogságból, és károkozó bandákat alakítanak, hogy ártsanak az embereknek. Ha tehetnék, whiskyt innának és verekednének.
Az ilyen kiszámíthatatlanság sok vállalat számára túl sok. "Elég, ha egyszer megmar a kígyó, és az ember soha többé nem megy vissza" - mondja Jared Sine a GoDaddy internetes vállalattól, amely megpróbál rendet teremteni ebben a káoszban. A rend és a törvény iránti igény az MI-infrastruktúrával foglalkozó vállalatok új csoportjának megjelenéséhez vezet. Ezek a cégek nem chipeket vagy számítási kapacitást értékesítenek, vagyis nem az MI-aranyláz tipikus csákányait és lapátjait. Védelmet nyújtanak a kiberfenyegetésekkel szemben, megoldásokat kínálnak a megbízhatatlan és átláthatatlan ügynökökre, valamint ellenőrzési lehetőségeket arra az esetre, ha azok elszabadulnának. Más szóval az ő üzletük a szögesdrót.
A veszély és egyben a lehetőség legkézenfekvőbb területe a kiberbiztonság. Az Anthropic és az OpenAI modelljeinek hackerképességeit vizsgáló közelmúltbeli tesztek során az ügynökök elszabadultak, hitelesítő adatokat loptak, hamis személyazonosságokat hoztak létre, titkos chatszobákat alakítottak ki, és eltüntették a nyomaikat - mindezt emberi értékelőik megdöbbenésére és rémületére.
A legmodernebb biztonsági modellek, az Anthropic Claude Mythos 5 és az OpenAI GPT 5.6-Cyber kétségtelenül a védőknek is segítséget nyújtanak majd. Dawn Song, a Kaliforniai Egyetem Berkeley-i campusának MI- és kiberbiztonsági szakértője szerint azonban egyelőre egyértelműen a támadók oldalán van az előny. Ráadásul van egy további probléma is: ha a szervezetek autonóm ügynököket alkalmaznak, növelik a hackerek számára rendelkezésre álló úgynevezett "támadási felületet" - mondja.
A növekvő kockázatok részben magyarázatot adnak arra, hogy miért szárnyal a mesterséges intelligenciával foglalkozó kiberbiztonsági vállalatok értékeltsége. A két legnagyobb szereplő, a Palo Alto Networks és a CrowdStrike részvényárfolyama idén eddig nagyjából megduplázódott. A vállalatfelvásárlások és összeolvadások száma is meredeken emelkedett. Az Alphabet 32 milliárd dolláros Wiz-felvásárlásával az élen több mint 70 milliárd dollár értékű, kiberbiztonsághoz kapcsolódó óriásüzlet zárult le az elmúlt évben. A Pitchbook, egy adatgyűjtő vállalat szerint az MI-hez kapcsolódó kiberbiztonság a kockázatitőke-befektetések egyik legforróbb területe is.
A lehetőségek messze túlmutatnak a kiberbiztonságon. A Song által szervezett, az ügynökalapú MI-ről szóló közelmúltbeli konferencián panaszáradat hallatszott, nem csupán a nagy nyelvi modellekben rejlő hackelési lehetőségekről, amikor képességeik csúcsán vannak, hanem azokról a baklövésekről is, amelyeket akkor követnek el, amikor a legkevésbé megbízhatóak. Az egyik szakértő bemutatott egy ügynök által készített grafikont, amely Európa legjobb teniszezőinek jövedelmét mérte. A grafikon tévedésből kihagyta a spanyol Carlos Alcarazt, a világranglista második helyezettjét. "Ez tenisz, kit érdekel?" - viccelődött. Ha azonban egy vállalat pénzügyi elemzéséről lett volna szó, már számított volna. Egy másik szakértő szembeállította azt a tudásmennyiséget, amellyel a nagy nyelvi modellek rendelkeznek a kvantumfizikáról, azzal, hogy képtelenek megrendelni egy burritót.
Ezek a gyengeségek egy újabb csoport megjelenéséhez vezettek az olyan vállalkozások között, amelyek felkeltik a kockázatitőke-befektetők érdeklődését: olyan cégekhez, amelyek az ügynökalapú MI "bizalmi rétegének" megerősítését ígérik. Az egyik ilyen a Cyera, amelynek értékeltsége 18 hónap alatt megnégyszereződött, és elérte a 12 milliárd dollárt. A vállalat szerint a bizalom hiánya az utóbbi időben "megrekesztette" az MI elterjedését, ezért olyan szolgáltatásokat nyújt, amelyek megakadályozzák az adatszivárgást és az eszközök jogosulatlan használatát.
Egy másik a Scaled Cognition, amelyet Dan Klein, a Berkeley professzora társalapított, és amely nemrég 100 millió dollárnyi kockázatitőke-finanszírozást szerzett. A vállalat azt ígéri, hogy csökkenti az MI által előállított, Klein által "láthatatlan hibáknak" nevezett tévedéseket. Ezek olyan hibák, amelyek elég hihetőek ahhoz, hogy észrevétlenül maradjanak, majd az ügynökök hosszabb feladatok végrehajtása során továbbhalmozódnak. A cég ezt úgy próbálja elérni, hogy garantált megbízhatóságot épít be modelljeinek tanításába. Más startupok arra specializálódtak, hogy értékelési rendszereket hozzanak létre az ügynökök hatékonyságának mérésére, ügynökazonosságokat alakítsanak ki annak meghatározására, hogy ki viseli a felelősséget, ha egy ügynök elszabadul, illetve olyan vezérlőrendszereket fejlesszenek, amelyek rendelkeznek egy vészleállító kapcsolóval.
Az MI-nek más problémái is vannak a határvidéken. A vadnyugathoz hasonlóan ez is kíméletlenül versengő terep. Egyre komolyabb konkurenciát jelentenek az olcsóbb kínai, nyílt súlyú modellek. Augusztus 10-én Mark Zuckerberg Meta vállalata is ringbe szállt, amikor kiadta legerősebb modelljének nyílt súlyú változatát, amelyet Muse Glimmernek neveztek el.
A határvidéken ráadásul törvényen kívüli állapotok uralkodnak. Olyan erősek az aggodalmak az elszabaduló ügynökök miatt, hogy még az élvonalbeli MI-laboratóriumok vezetői is arra szólítják fel a Trump-adminisztrációt, hogy vállalja el a seriff szerepét - miközben furcsa módon a kormányzat továbbra is titokban tartja legutóbbi, MI-biztonsággal kapcsolatos keretrendszerét. Egy dolog azonban világos: több ellenőrzésre és több ellensúlyra van szükség, mielőtt a szervezetek akár csak megközelítőleg teljes bizalommal alkalmaznák az ügynököket. Az idei év egyik MI-s kulcsszava a "hám", vagyis az a rendszer, amely körülveszi a nagy nyelvi modellt, és megakadályozza, hogy az ügynökök letérjenek a helyes útról. Akár szögesdrótnak is nevezhetnénk.