Nekvalitní data mohou způsobovat ekonomické ztráty

Pavel Mašek, 05. leden 2009 06:33 0 komentářů
Rubriky: Byznys

SAS
Dnešní doba klade na firemní IT stále větší požadavky na kvalitu a hlavně množství informací, které je třeba doručit stále většímu počtu uživatelů. Dnešní článek je pokračováním miniseriálu o Business Intelligence. Podíváme se na problematiku datové kvality, obohacování, slučování dat, reporting a také na pojem BI v podání SAS Institute.

SAS

První díl definoval současné problémy firem s daty, představil Business Intelligence systémy atd.

Kvalita dat je klíčem Business Intelligence

Z povahy zpracování hromadných dat vyplývá prakticky ve všech datech výskyt řady defektů, nekonzistencí, neúplností atd., jež jsou souhrnně chápány jako prvky (ne)kvality dat.

Jejich existence má větší či menší vliv na používání dat a informací, a v důsledku může způsobovat ekonomické ztráty (procesy pracující s daty poskytují nekorektní výsledky, snižuje se účinnost marketinkových nástrojů, jsou vynakládány náklady na zpracování nepotřebných a nekvalitních dat, nákladné jsou také podnikové procesy řešící nekvality dat). Obecně do sféry řešení problematiky datové kvality patří i „informační kvalita“, která se zabývá tím, jak jsou v podniku data používána, interpretována, popsána, nakolik je jejich obsah srozumitelný a relevantní.

Vlastní proces realizace technického řešení sestává z řady standardních kroků, představujících jednotlivé dílčí úlohy. Tyto úlohy jsou na sobě závislé a jejich realizace je rovněž navzájem podmíněná.

Zkoumání kvality dat (Data Quality Assessment)

Cílem této úlohy je zjistit stav kvality dat jako základ pro další rozhodování o vlastním řešení zlepšování a údržby kvality dat. Pro zvolenou business entitu jsou zkoumány pomocí specializovaného nástroje veličiny, které měří stav dat a jejich dílčí atributy z pohledu základních obecných charakteristik a z pohledu různých typů datových defektů. Výsledkem tohoto zpracování je (relativně) objektivní pohled na stav dat. Zjištění takového měření jsou pak interpretována v kontextu podnikových procesů tak, aby:


  • byly identifikovány zjevné i možné dopady na business podniku (eliminace ztrát, případně realizace potenciálních přínosů)
  • byly nalezeny zdroje identifikovaných defektů (konkrétní systémy, úlohy či procesy)

Výsledky úlohy zkoumání kvality dat jsou pak využity jak pro nastavení konkrétních parametrů dalších úloh řešení kvality dat, tak pro případnou úpravu podnikových standardů a business procesů.

Automatické čištění dat (Data Cleansing)

Během této úlohy se s daty provádějí operace zlepšující jejich kvalitu. Identifikované defekty jsou dle možností opravovány na základě business pravidel, standardů, registrů a číselníků včetně registrů obvyklých chyb. Opravené hodnoty ve standardizovaném tvaru jsou v tomto procesu přidány jako nové informace k původním datům a na základě metodiky a dalších návazných procesů jsou (mohou být) promítány jako změny do vlastních podnikových dat.

Obohacení dat (Data Enrichment)

V tomto kroku jsou doplněny chybějící hodnoty, pokud to je možné. Hodnoty jsou doplňovány buď z kontextu dalších informací (např. pohlaví ...) nebo z datových zdrojů dodaných zvenku (veřejně nebo komerčně dostupné registry).

Slučování dat (Match & Merge)

Vrcholem zpracování dat v rámci řešení datové kvality a zároveň nejsložitější úlohou je slučování dat. V tomto procesu jsou rozpoznávány záznamy, jež náležejí jednotlivým konkrétním fyzickým subjektům (duplicity dat). Složitost spočívá především v tom, že jednotlivé záznamy mohou být uloženy v různých formátech, na různých místech, v různých systémech, s různou syntaxí a v různé kvalitě. Úkolem je nalézt všechna tato synonyma, vytvořit pro ně jeden referenční (master) záznam, a případné další nové záznamy vůči němu identifikovat.

Reporting, Monitoring

Na základě metrik kvality dat jsou sestavovány reporty, jež mají dva hlavní úkoly:


  • sledovat celkovou úroveň kvality dat a její trendy, případně monitorovat účinnost čistících procesů
  • sledováním anomálií ve výskytu datových defektů upozorňovat na možné systémové problémy v oblasti zacházení s daty

Business Intelligence v podání SAS Institute

Think

SAS Institute přišel ve své poslední verzi SAS 9 s jednotnou platformou, která je postavena na výhodách homogenní BI architektury. Tato platforma se nazývá SAS Enterprise Intelligence Platform a snaží se co nejlépe integrovat jednotlivé technologické komponenty ve stávajících zákaznických infrastrukturách v sourodý systém.

SAS Enterprise Intelligence Platform stojí na těchto základních pilířích:

  1. Datová integrace - Nástroje pro datovou integraci se starají o výkonné napojení na datové zdroje, o datovou kvalitu, ETL (extrakce, transformace, nahrávání), migraci a synchronizaci dat.

  2. Analýzy
    Aplikace pro pokročilé analýzy umožňují připravovat nejen běžné reporty, ale poskytují i pokročilé analytické funkce jako např. modelování, scoring dat, text mining, předpovědi časových řad, optimalizace a další.

  3. Business Intelligence
    Business Intelligence dodává uživatelům nástroje a postupy, které jim umožňují zpracovávat informace. Pro různé skupiny uživatelů jsou určeny různé nástroje. V produktové terminologii se jedná o SAS Enterprise BI Server.
  4. Datová úložiště
    SAS umožňuje ukládání jak v relačních tak i OLAP databázových strukturách. Další možností je využití datových struktur jiných databázových dodavatelů.
  5. Společná metadata
    Všechny výše uvedené části ale nelze brát odděleně. Vzájemně se prolínají a doplňují. Jakožto součást platformy jsou všechny komponenty a služby řízeny a nastavovány z jednoho centrálního místa. Platforma samozřejmě podporuje celou řadu otevřených standardů a má rozhraní pro další rozšiřování (COM, Web services, .NET, ADO, JAVA).

Autorem článku je Pavel Mašek, Business Intelligence consultant SAS ČR

Více informací o BI a kvalitě dat se můžete dozvědět na SAS Foru 2010, které proběhne za účasti významných hostů a zakladatele SAS Jima Goodnighta v Praze 20.1.2010.

Přečtěte si také


Jana Žižková: SAS je jediným dodavatelem komplexních analytických řešení
Business Intelligence: nový pohled na zpracování podnikových informací


Komentáře


RSS 

Komentujeme

Zákaznické karty čekají změny

Pavel Houser , 17. leden 2017 13:00
Pavel Houser

Jedna z technologií, která se už po léta prakticky nezměnila, i když by mohla? Prý karty zákazníků d...

Více





Kalendář

06. 02.

07. 02.
konference G2B TechEd
15. 02. IDC Predictions 2017
18. 02. WordCamp Praha 2017
-->
RSS 

Zprávičky

Policie odložila prověřování IT na ministerstvu zemědělství

ČTK , 24. leden 2017 17:00

Policisté přestali zkoumat okolnosti, za jakých ministerstvo zemědělství nakupovalo v letech 2005 až...

Více 0 komentářů

Výrobce obrazovek LG Display vykázal ve čtvrtletí rekordní zisk

ČTK , 24. leden 2017 13:00

Jihokorejskému výrobci obrazovek LG Display vzrostl ve čtvrtém čtvrtletí provozní zisk na rekordních...

Více 0 komentářů

Čtvrtletní zisk Samsungu se díky čipům více než zdvojnásobil

ČTK , 24. leden 2017 11:00

Zisk jihokorejského výrobce elektroniky Samsung Electronics se ve čtvrtém čtvrtletí více než zdvojná...

Více 0 komentářů

Starší zprávičky

Rockaway získala minoritní podíl v Techloop.io

ČTK , 23. leden 2017 16:30

Investiční firma Rockaway Ventures získala minoritní podíl ve firmě Techloop.io, která zprostředkov...

Více 0 komentářů

Za vznícení mobilů Samsungu mohly baterie, firma odloží Galaxy S8

ČTK , 23. leden 2017 12:00

Za případy vznícení chytrých telefonů Galaxy Note 7 jihokorejské společnosti Samsung Electronics stá...

Více 0 komentářů

Foxconn zvažuje velkou investici do továrny v USA

ČTK , 23. leden 2017 08:29

Tchajwanská společnost Foxconn zvažuje, že investuje přes sedm miliard dolarů (zhruba 177 miliard Kč...

Více 0 komentářů

ČTÚ pohrozil O2 a Vodafonu odebráním licencí na LTE kvůli cenám

ČTK , 22. leden 2017 14:00

Český telekomunikační úřad (ČTÚ) znovu vyzval operátory O2 a Vodafone, aby do měsíce snížili velkoob...

Více 1 komentářů