Práce s daty v reálném čase

Ondřej Zýka , 14. duben 2014 08:00 0 komentářů
Práce s daty v reálném čase

Práce s daty v reálném čase poskytuje uživatelům informace právě v okamžiku, kdy je potřebují. Na jedné straně mohou tzv. real-time data pomoci organizacím s rychlým a správným rozhodováním, na druhé straně umožňují adekvátně obsloužit zákazníka, ať už informace o jeho potřebách přicházejí odkudkoliv.

Jedním z nejvýznamnějších faktorů ovlivňujících požadavky na okamžitou dostupnost dat je nástup mobility. Pokud máme šanci získat informace kdykoliv a kdekoliv, očekáváme, že je dostaneme. Mnohé organizace si začínají uvědomovat, že zpracování informací v reálném čase je skutečně možné a začínají počítat přínosy, které jim rychlost přinese. Změna v uvažování společně s postupným poklesem TCO real-time technologií vede k jejich stále častějšímu začleňování do infrastruktury.

V různých prostředích může mít zpracování v reálném čase odlišný význam. Ne každá společnost bude provozovat tzv. real-time trading, kde se bojuje o každou ušetřenou mikrosekundu. V mnoha kontextech real-time znamená schopnost zpracovat informace v řádu vteřin až minut. Existují však i prostředí, kde real-time reporting znamená schopnost konsolidaci informací nikoliv na kvartální ale na týdenní nebo denní bázi.

O real-time řešení má smysl uvažovat spíše v případě, kdy spolupracuje více systémů nebo aplikací. Z technického pohledu se taková řešení vyznačují menší množinou dat, než kterou spravují datové sklady, data marty a BI řešení obecně. Moderním trendem je federativní přístup k datům, kdy real-time řešení již žádná data neskladuje. Systém pak čerpá požadované informace real-time přímo z provozních zdrojů.

Nejčastější uživatelé a jejich požadavky

V podnicích existují zpravidla dva až tři základní typy uživatelů real-time řešení. Na jedné straně to jsou všichni, kteří jsou v kontaktu se zákazníky, ať už jde o marketing, obchodníky nebo vlastníky on-line prodejních kanálů. Druhou velkou skupinou jsou správci a uživatelé interních obchodních procesů. Třetí významnou skupinu uživatelů pak tvoří bezpečnostní oddělení.

V praxi zákazníci již očekávají, že při osobním kontaktu bude dodavatel kompletně informován o jejich situaci a produktech a nebude je složitě a dlouze dohledávat. Jestliže se klient dostaví na pobočku mobilního operátora hodinu poté, co vyčerpal datový limit, musí obchodník tuto informaci vědět a adekvátně na ni zareagovat. Stejně tak pokud zákazníkovi odmítne bankomat vydat peníze z důvodů nedostatečného zůstatku na účtu a nabídne mu získání rychlého úvěru na nejbližší pobočce, musí zde při jeho příchodu již být připraveni půjčku s danými parametry poskytnout.

S rostoucím množstvím komunikačních kanálů také vyvstává nutnost okamžité integrace jimi tekoucích informací. Změna zadaná přes mobilní aplikaci musí být okamžitě předána dále, protože lze očekávat, že si ji zákazník ověří, hned jak se připojí k internetu. Pokud zjistí rozdíl, bude kontaktovat call centrum, a pokud dostane z třech kanálů rozdílné informace, může to mít velký dopad na kredibilitu instituce. Řada uživatelů potřebuje mít možnost získat okamžitý přehled o stavu konkrétního procesu. Pokud jej pokrývá více systémů, musí dokázat jednoduše získat odpověď ze všech systémů naráz a v reálném čase. Příkladem může být vyřízení objednávky, na kterém participuje webový portál, skladové hospodářství, billing, účetní systém, komunikace s dodavateli a komunikace s externími dopravci.

V oblasti bezpečnosti pak platí jednoduché pravidlo. Musíte být rychlejší než pachatelé - a v době internetu dokáží být pachatelé velice rychlí. Zabránění deliktu je vždy významně levnější než řešení jeho následků.

Realtime zpracování dat v praxi

Jedním z projektů zpracování dat v reálném čase, na kterém se podílí i společnost Profinit, je vytvoření specializovaného bankovní operativního datového skladu s nízkou latencí. Hlavní změnou, kterou řešení přinese, je konsolidace klientských dat backend systémů průběžně v řádu vteřin, nikoliv dávkovým způsobem s denní periodou jako doposud.

Řešení umožní jednak zvýšit kvalitu informací v datovém skladu a jednak reagovat okamžitě na chování zákazníků. Jedním z prvních obchodních přínosů projektu bude schopnost okamžitě a efektivně zajistit jakékoliv prostředky klientů, kteří mají vůči bance pohledávku. Jednotná konsolidace zákaznických dat umožní snížit náklady na všechny systémy obsluhující jednotlivé obchodní kanály. Dalšími očekávaným přínosem řešení je vytvoření centrálního operativního reportingu.

Hlavní rizika tohoto projektu jsou spojená s nutnými zásahy do provozního prostředí banky. Řešení nesmí žádným způsobem omezit výkon, dostupnost a spolehlivost zapojených backend systémů, které jsou pro chod banky kritické. Musí současně podporovat všechny prostředky používané pro dosažení vysoké dostupnosti prostředí – plány zotavení po havárii, gridové prostředí, více geograficky oddělených lokalit.

Proto byl pro řešení vybrán systém Informatica Real-time edition, který umožňuje získávat data z databází Oracle, Microsoft, ale také zejména z mainframe prostředí v reálném čase bez jakýchkoliv zásahů do aplikací. Navíc rozsáhlé testy potvrdily, že řešení ovlivňuje výkonnost zasažených systémů maximálně v řádu jednotek procent, a to i v případě špiček zpracování a havarijních situací.

Jiný přístup Profinit využívá při zajištění operativního reportingu jiného zákazníka, velké telekomunikační společnosti. Nasazení stejného systému Informatica umožňuje rychle a snadno implementovat funkcionalitu, kdy se na základě požadavku vytvoří dotazy na real-time stav jednotlivých systémů a získané informace se v řádu jednotek minut zpracují a předají uživatelům. Zákazník na řešení oceňuje zejména flexibilitu a rychlost reakce na nové typy požadavků. To je spojeno zejména s tím, že systém sám o sobě neobsahuje žádná data, která by bylo nutné udržovat.

Obvyklé bariéry nasazení

Největší překážkou v nasazení real-time řešení je uvažování zákazníků. Mají zkušenosti s tím, jak drahé a bolestivé bylo vybudování datových skladů, a jak náročné je udržovat a rozvíjet současná BI řešení. Nedokážou si proto často představit, že by real-time řešení mohlo mít pozitivní přínos.

Profinit vyvíjí řešení real-time dat pro různé typy uživatelů a v této oblasti spolupracuje s ostatními členy skupiny New Frontier Group, jejíž je součástí. Je schopen zkombinovat vlastní zkušenosti, zkušenosti svých zákazníků, a stejně tak zkušenosti ostatních členů skupiny ve střední a východní Evropě. Díky podrobným znalostem používaných technologií dokáže se zákazníky analyzovat možné přínosy real-time zpracování a současně vyhodnotit náklady spojené s jeho zavedením.

Nejčastější chyby

Neoddiskutovatelnou součástí každého datově orientovaného projektu je vytvoření a analýza přínosů řešení. Špatně spočítaný business case je častým důvodem neúspěchů nejen real-time orientovaných projektů.

Nebezpečná je i orientace pouze na technickou stránku řešení. Ať už jde o lpění na dosavadních technologiích nebo o slepou víru ve vše spasitelnost nových technologií, obojí přináší provozní náklady, které přesáhnou jakýkoliv obchodní přínos. Častou chybou, na kterou poukazují zákazníci, je pak podcenění dopadů na provoz existujících řešení a zejména na řízení požadavků změn. Neplánovaná nebo špatně komunikovaná změna v systému zapojeném do real-time prostředí má katastrofální následky. Jestliže při denním zpracování máme na nápravu chyby skoro dvacet čtyři hodin času, v real-time prostředí žádný takový prostor není.

Budoucí vývoj realtime řešení

Real-time řešení se rychle stanou nutnou součástí firemních systémů. Zákazníci a uživatelé očekávají informace v reálném čase a půjdou tam, kde je dostanou. Z real-time dat budou těžit ti, kteří budou mít připravenou infrastrukturu a zkušenosti. Zapojení ověřených technologií do struktury organizace umožní rychle reagovat na nové požadavky byznysu, což vytvoří komparativní výhodu těm, kteří se real-time daty začnou včas.

Ondřej Zýka

Ondřej Zýka

Autor působí na pozici Head od Data Management ve společnosti Profinit. Má mnoholeté zkušenosti s návrhem a vývojem datově intenzivních systémů a datových integrací. Specializuje se na oblasti Datových skladů, Datové kvality, Master Data Managementu a Metadat. V posledních letech také přednáší tuto problematiku na FIT ČVUT, MFF UK a PřF JČU.


Komentáře

RSS 

Komentujeme

Agilita a devops, přepracování a vyhoření

Pavel Houser , 12. červenec 2018 12:30
Pavel Houser

Michael Cote na The Register upozorňuje na častý problém: nové „agilní“ metody vývoje, všechny příst...

Více







RSS 

Zprávičky

Red Hat Ansible Engine přináší další automatizaci cloudu

Pavel Houser , 19. červenec 2018 13:52

Nejnovější verze platformy Red Hat Ansible Engine 2.6 rozšiřuje automatizaci cloudů AWS, Google Clou...

Více 0 komentářů

Samsung chystá na příští rok telefon se sklopným displejem

ČTK , 19. červenec 2018 10:00

Displej půjde složit na polovinu jako peněženku. Ve složeném stavu je na přední straně přístroje men...

Více 0 komentářů

Internet Mall snížil ztrátu, tržby mu vzrostly na 7,2 miliardy Kč

ČTK , 18. červenec 2018 17:29

Internet Mall mj. investuje do distribučního centra v Jirnech u Prahy, které by mělo sloužit 7 střed...

Více 0 komentářů

Kalendář

04. 08.

09. 08.
Black Hat USA 2018
09. 08.

12. 08.
DEF CON 26
06. 09.

07. 09.
Humusoft Technical Computing Camp 2018

Starší zprávičky

Google dostal kvůli Androidu od EK rekordní pokutu 4,34 mld. eur (aktualizace)

ČTK , 18. červenec 2018 13:26

Google využil Android k upevnění dominantní pozice svého internetového vyhledávače, uvádí EK....

Více 0 komentářů

EK oznámí rozhodnutí o pokutě pro Google

ČTK , 18. červenec 2018 12:10

Google dostal od EK za zneužití dominantního postavení již koncem loňského června pokutu 2,42 miliar...

Více 0 komentářů

Americká Workday koupila českou firmu Stories

ČTK , 18. červenec 2018 09:00

Českou firmu Stories založili tři datoví odborníci, kteří si dali za cíl změnit řízení velkých firem...

Více 0 komentářů

Slovensko zablokovalo přístup k desítkám webů s hazardními hrami

ČTK , 18. červenec 2018 08:00

Na návrh slovenského Finančního ředitelství soudy nařídily telekomunikačním operátorům zamezit příst...

Více 0 komentářů