SG.hu
Logelemzésből Big Data céggé nőné ki magát a LogDrill
A Kürt Zrt. berkeiben alakult cég számítógépes naplófájlok vizsgálatán túl már valós idejű adatelemzést és saját eszközt is kínál.
A LogDrill Kft. két és fél éve alakult az adatbiztonsági cég szoftverfejlesztéssel foglalkozó tagjaként, és igyekeznek megoldást nyújtani az adatgyűjtés, -tárolás és -elemzés teljes folyamatára. A budapesti sajtótájékoztatón Nagy Zsolt ügyvezető elmondta, hogy Magyarország egyik legnagyobb Big Datával kapcsolatos termékfejlesztését hajtották végre.
Az üzlet születése annak köszönhető, hogy a Kürt Zrt. biztonsági cégként naplóelemzéssel is foglalkozik, de 2008 táján már képtelenek voltak feldolgozni a rengeteg termelődő adatot. A gond az állományok nagyságából és a lekérdezések emiatti lassúságából adódott, és ezen százmilliós eszközök bevetésével sem tudtak úrrá lenni. Európai Uniós támogatással kutatási projektet indítottak, és nem csak a probléma megoldását, hanem a valós idejű, interaktív elemzést is célként tűzték ki. A megszületett eredmények értékesítésére alakították meg a LogDrillt. "Mi akkor egy Big Data problémával kerültünk szembe, de ekkor még természetesen nem így hívtuk." - mondta Nagy Zsolt.
Klikk a képekre a nagyobb változathoz
Elmondása szerint az ősbűn a tárolókapacitások aszimmetrikus fejlődése, azaz hogy míg 1991-ben egy 40 MB-os merevlemez tartalmát 1 perc alatt be lehetett olvasni, addig ennek modern 4 TB-os verzióján ugyanez 8 óráig tart. Tehát míg a tárolókapacitás százezerszeresre nőtt, addig az adatátviteli sebesség csak 170-szeresre. Ezen a helyzeten nagyon drága eszközökkel ugyan lehet javítani, de cége fejlesztői nem így, hanem okos algoritmusokkal kezelik a problémát. "Szűrjük az elemzendő adatokat, és csak a legfontosabb információkra kérdezünk rá, azt emeljük ki, tehát nem adat-, hanem információtömörítést valósítottunk meg."
"A Big Data piac félévente átrendeződik. Van aki alkalmazáslogikával próbál versenyezni, van, aki az infrastruktúra-oldalt próbálja felokosítani, és van, aki a kettőt valamilyen szinten kombinálja. Évről-évre jönnek újabb megközelítések a kérdés kezelésére, függően attól, hogy milyen iparágban, milyen adatelemzési igényre kell válaszolni." - mondta Nagy Zsolt. Emiatt indultak el egy termékcsalád kialakítása felé, és az algoritmusokkal dolgozó LogDrillen túl készítettek egy általános célú, "brute force" módon dolgozó adatelemző eszközt is, mely a PetaPylon nevet kapta. Ez az interaktív, az anomáliák keresésére koncentráló, fokozatosan szűkülő keresés támogatására jött létre, hiszen míg egy rendszerleállás esetén a monitoring rendszerek alapján nagyon gyorsan kideríthető, hogy például melyik eszköz romlott el, addig heterogén környezetben - ahol a gyártósoron, az SAP-ban stb. lehet hiba - ez jóval nehezebb dolog.
A PetaPylon legkisebb konfigurációjában is 20 TB adatot lehet párhuzamosan elemezhetően tartani. Alapból redundánsan tárolja az adatokat, és Nagy Zsolt közlése szerint mérete kiválóan skálázható felfelé. Alternatívaként a felhőhasználat kérdése, a Google BigQuery bevetése merülhet fel, de ekkor a cégnek ki kell engednie a kezéből az adatokat - ami például a banki, biztosítói körnél szigorú jogszabályi feltételekhez kötött -, és komoly adatátviteli költségekkel is számolni kell.
Nagy Zsolt megemlítette, hogy két kapcsolódó fejlesztésük is külön eladható, az egyik a normalizáló, a másik az anonimizáló. Előbbi a struktúrálatlan adatokból olyan formátumot készít nagy sebességgel, ami más alkalmazásba betölthető. "Úgy néz ki, hogy ez az előtétszoftver külön termékként is önállóan életképes lesz a jövőben. Veszettül gyors: míg a korábbi verziók tudtak 100 000 EPS-t (másodpercenkénti esemény, event per second), addig a mostani már millió felett van."
Az anonimizáló szintén járulékosan jött létre. "A logok legtöbbször valamilyen kényes adatot tartalmaznak, amit nem akarnak az ügyfelek kiadni. Olyan titoktartási szerződéseket íratnak alá, nem csak a céggel, hanem a személlyel is, hogy kínlódás az egész, arról nem is beszélve, ha ezt egy felhőbe akarnánk kilőni, akkor problémák keletkeznek. Titkosított adatokon viszont komplett elemzéseket nem lehet végrehajtani." Az anonimizáló viszont az elemezhetőség megtartása mellett a logokban lévő kényes adatokat behelyettesíti egy ügyfélnél lévő kulccsal a személyes információkat mellőző formátumra. "Azt gondolná az ember, hogy ez régen meg van oldva, de amikor már a 3-4. banknál fut bele az ember, hogy gondot okoz az IT-részlegnek, akkor vettük észre, hogy ennek van létjogosultsága."
Mindezen fejlesztések három évig tartottak, az összköltség az ügyvezető közlése szerint 1,2 milliárd forint volt, amiből az Unió 700 millió forinttal részesedett. Az értékesítés június elsején, viszonteladókon keresztül kezdődik, ez évre százmillió, jövőre már 250 millió forintos bevételt várnak. A megtérülést egyértelműen a külföldi piacoktól várják, ennek érdekében szakmai kiállításokon technológiai prezentációkat tartottak; érdeklődők vannak, de aláírt szerződéseik még nincsenek.
A LogDrill Kft. két és fél éve alakult az adatbiztonsági cég szoftverfejlesztéssel foglalkozó tagjaként, és igyekeznek megoldást nyújtani az adatgyűjtés, -tárolás és -elemzés teljes folyamatára. A budapesti sajtótájékoztatón Nagy Zsolt ügyvezető elmondta, hogy Magyarország egyik legnagyobb Big Datával kapcsolatos termékfejlesztését hajtották végre.
Az üzlet születése annak köszönhető, hogy a Kürt Zrt. biztonsági cégként naplóelemzéssel is foglalkozik, de 2008 táján már képtelenek voltak feldolgozni a rengeteg termelődő adatot. A gond az állományok nagyságából és a lekérdezések emiatti lassúságából adódott, és ezen százmilliós eszközök bevetésével sem tudtak úrrá lenni. Európai Uniós támogatással kutatási projektet indítottak, és nem csak a probléma megoldását, hanem a valós idejű, interaktív elemzést is célként tűzték ki. A megszületett eredmények értékesítésére alakították meg a LogDrillt. "Mi akkor egy Big Data problémával kerültünk szembe, de ekkor még természetesen nem így hívtuk." - mondta Nagy Zsolt.
Klikk a képekre a nagyobb változathoz
Elmondása szerint az ősbűn a tárolókapacitások aszimmetrikus fejlődése, azaz hogy míg 1991-ben egy 40 MB-os merevlemez tartalmát 1 perc alatt be lehetett olvasni, addig ennek modern 4 TB-os verzióján ugyanez 8 óráig tart. Tehát míg a tárolókapacitás százezerszeresre nőtt, addig az adatátviteli sebesség csak 170-szeresre. Ezen a helyzeten nagyon drága eszközökkel ugyan lehet javítani, de cége fejlesztői nem így, hanem okos algoritmusokkal kezelik a problémát. "Szűrjük az elemzendő adatokat, és csak a legfontosabb információkra kérdezünk rá, azt emeljük ki, tehát nem adat-, hanem információtömörítést valósítottunk meg."
"A Big Data piac félévente átrendeződik. Van aki alkalmazáslogikával próbál versenyezni, van, aki az infrastruktúra-oldalt próbálja felokosítani, és van, aki a kettőt valamilyen szinten kombinálja. Évről-évre jönnek újabb megközelítések a kérdés kezelésére, függően attól, hogy milyen iparágban, milyen adatelemzési igényre kell válaszolni." - mondta Nagy Zsolt. Emiatt indultak el egy termékcsalád kialakítása felé, és az algoritmusokkal dolgozó LogDrillen túl készítettek egy általános célú, "brute force" módon dolgozó adatelemző eszközt is, mely a PetaPylon nevet kapta. Ez az interaktív, az anomáliák keresésére koncentráló, fokozatosan szűkülő keresés támogatására jött létre, hiszen míg egy rendszerleállás esetén a monitoring rendszerek alapján nagyon gyorsan kideríthető, hogy például melyik eszköz romlott el, addig heterogén környezetben - ahol a gyártósoron, az SAP-ban stb. lehet hiba - ez jóval nehezebb dolog.
A PetaPylon legkisebb konfigurációjában is 20 TB adatot lehet párhuzamosan elemezhetően tartani. Alapból redundánsan tárolja az adatokat, és Nagy Zsolt közlése szerint mérete kiválóan skálázható felfelé. Alternatívaként a felhőhasználat kérdése, a Google BigQuery bevetése merülhet fel, de ekkor a cégnek ki kell engednie a kezéből az adatokat - ami például a banki, biztosítói körnél szigorú jogszabályi feltételekhez kötött -, és komoly adatátviteli költségekkel is számolni kell.
Nagy Zsolt megemlítette, hogy két kapcsolódó fejlesztésük is külön eladható, az egyik a normalizáló, a másik az anonimizáló. Előbbi a struktúrálatlan adatokból olyan formátumot készít nagy sebességgel, ami más alkalmazásba betölthető. "Úgy néz ki, hogy ez az előtétszoftver külön termékként is önállóan életképes lesz a jövőben. Veszettül gyors: míg a korábbi verziók tudtak 100 000 EPS-t (másodpercenkénti esemény, event per second), addig a mostani már millió felett van."
Az anonimizáló szintén járulékosan jött létre. "A logok legtöbbször valamilyen kényes adatot tartalmaznak, amit nem akarnak az ügyfelek kiadni. Olyan titoktartási szerződéseket íratnak alá, nem csak a céggel, hanem a személlyel is, hogy kínlódás az egész, arról nem is beszélve, ha ezt egy felhőbe akarnánk kilőni, akkor problémák keletkeznek. Titkosított adatokon viszont komplett elemzéseket nem lehet végrehajtani." Az anonimizáló viszont az elemezhetőség megtartása mellett a logokban lévő kényes adatokat behelyettesíti egy ügyfélnél lévő kulccsal a személyes információkat mellőző formátumra. "Azt gondolná az ember, hogy ez régen meg van oldva, de amikor már a 3-4. banknál fut bele az ember, hogy gondot okoz az IT-részlegnek, akkor vettük észre, hogy ennek van létjogosultsága."
Mindezen fejlesztések három évig tartottak, az összköltség az ügyvezető közlése szerint 1,2 milliárd forint volt, amiből az Unió 700 millió forinttal részesedett. Az értékesítés június elsején, viszonteladókon keresztül kezdődik, ez évre százmillió, jövőre már 250 millió forintos bevételt várnak. A megtérülést egyértelműen a külföldi piacoktól várják, ennek érdekében szakmai kiállításokon technológiai prezentációkat tartottak; érdeklődők vannak, de aláírt szerződéseik még nincsenek.