• Technologie
  • Byznys
  • Software
  • Hardware
  • Internet
  • Telco
  • Science
  • České IT
  • Události
Žádné výsledky
Zobrazit všechny výsledky
ITBiz.cz
ITBiz.cz
Žádné výsledky
Zobrazit všechny výsledky

Servery IBM Power a in-memory databáze Kinetica

itbiz
10. 10. 2016
| Články

Předcházení rizikům a bezpečnostním hrozbám dříve než nastanou je levnější, než je pak řešit. Toho lze dosáhnout sledováním miliónů entit v reálném čase, analýzou jejich chování a následně například optimalizací jejich pohybu.

Cluster in-memory databáze Kinetica

Cluster in-memory databáze Kinetica

Odpovědí na požadavek tak vysokého výpočetního výkonu je v nových serverech Minsky (IBM OpenPower S822LC) s procesory Power8 a s nejnovějšími grafickými akcelerátory Nvidia Tesla P100 propojených superrychlým NVlinkem a v paralelní in-memory databázi Kinetica. Vypilované spojení optimalizovaného softwarového stacku a nejnovějších hadrwarových technologií přináší zákazníkům výrazné úspory, a zároveň otevírá dříve nemyslitelné možnosti práce s velkými objemy dat v reálném čase.

Nejnovější serverové technologie IBM Power, pracující s Nvidia GPU a CPU IBM Power8, umožňují díky svému vysokému výkonu a za pomoci paralelní in-memory databáze Kinetica řešit mimo jiné i prediktivní odhalování bezpečnostních rizik sledováním stovek miliónů objektů v reálném čase. Kinetica umožňuje vizuální a geolokační zobrazování dat přímo na mapových a grafických podkladech, nebo například on-line analýzy typu „Pacient Zero“, různé typy „Heat Maps“ apod.

Kinetica – dříve GPUdb

Kinetica, dříve GPUdb je moderní, real-time OLAP analytická a vizualizační databáze, napsaná a navržená pro geoprostorová streamovaná data zpracovávaná v reálném čase, takže běžné analytické OLAP dotazy umí vracet za méně než sekundu už v grafické podobě (výstupem je většinou obrázek nebo graf prezentovatelný i na mobilním zařízení). A to i v případě, že pracuje s miliardami záznamů. U klasické RDBMS databáze by šlo o zpracování v řádech desítek nebo stovek minut nebo hodin, v závislosti na velikosti zpracovaného datového setu a výkonu databázového serveru. Navíc by se musel použít ještě analytický a vizualizační nástroj, což v součtu dává podstatně pomalejší (10-100x), off-line a podstatně dražší řešení. Databáze Kinetica zároveň výborně škáluje a lze jednoduše vytvořit klastr několika desítek nódů se sdílenou pamětí pomocí Infiniband sítě s RDMA.

GPU NVIDIA TESLA P100

GPU NVIDIA TESLA P100

Za svůj moderní a unikátní přístup k datům a rychlost získala Kinetica v letošním roce (2016) řadu prestižních ocenění jak v komerčním světě např. IDC Award, tak i ve světě HPC, například HPC Innovation Excellence 2016. Kromě výkonného databázového stroje je základem i komunikace s okolním světem pomocí moderních API pro Javu, JavaScript, C++, Node.js, REST, Python a konektory open source pro práci s velkými objemy dat pro Apache NiFi, Kafka, Spark, Storm, ODBC/JDBC apod.

Začalo to u armády

Jako vše nové v oblasti informačních technologií, například internet, i Kinetica byla původně armádním projektem pro sledování osob s bezpečnostním rizikem, který je však dnes k dispozici i pro komerční účely.

Mezi zákazníky využívající databázi Kinetica dnes tedy patří mimo silové a bezpečnostní složky také komerční subjekty. Jedním z nejznámějších je americká pošta USPS, která v reálném čase monitoruje 15 tisíc uživatelů a cca. 200 tisíc zařízení. Tím dosáhli on-line optimalizace v reálném čase pro doručování zásilek přesným plánováním cest, eliminací potenciálních nebezpečí zdržení doručení, společně s maximálním bezpečnostním zajištěním doručovatelů a samotných zásilek. Podle USPS doručí za čtyři hodiny více individuálních zásilek než tři hlavní konkurenti dohromady za jeden rok, a tudíž se jim investice do těchto moderních technologií rychle vrátily nazpět.

Kombinace procesorů Power8, výkonných GPU a jejich propojení prostřednictvím komunikačního rozhraní NVlink umožňuje serverům Minsky dosáhnout vysokého výkonového nárůst

Kombinace procesorů Power8, výkonných GPU a jejich propojení prostřednictvím komunikačního rozhraní NVlink umožňuje serverům Minsky dosáhnout vysokého výkonového nárůst

Na čem Kinetica dobře běží

Vhodným serverem pro analytické účely databáze Kinetica je IBM OpenPower S822LC určený pro HPC a technické výpočty. Jeho cena je závislá na konkrétní konfiguraci serveru, přičemž nejdražší jsou akcelerátory GPU, nicméně s ohledem na výkon více než deseti TFLOPs (GPU) u nejmenší konfigurace se dvěmi GPU a více než tisícem SPECint_rate2006 (CPU) je cena velice zajímavá. Zejména při srovnání, pokud bychom chtěli podobně výkonný klastr sestavit z komoditních serverů. Licenční model Kinetica je vázaný na kapacitu využité paměti, podobně jako jiné in-memory databáze.

Samotný princip databázového stroje je založen na sofistikovaném rozložení jednotlivých dotazů přes tisíce jader v akcelerátorech GPU, v případě nejnovějšího serveru IBM Power S822LC je to nejnovější Nvidia Tesla P100 s 3840 GPU jádry a extrémním výkonem 5,3 TFLOPsů (tera) DPFP64. Servery IBM umožňují osazení dvěma, resp. čtyřmi GPU a až 1 TB paměti, v případě použití adaptéru s vodním chlazením dokonce boostování frekvencí u GPU a CPU.

Portfolio serverů IBM Power System nabízí také levnější varianty, kde lze přes PCIe sběrnici použít grafické akcelerátory Nvidia K40, resp. K80, a cena těchto serverů začíná na šesti tisících dolarech (katalogová cena pro USA). Vzhledem k tomu, že Kinetica úzce spolupracuje s IBM na adopci nejnovějších technologií Power, můžeme v brzké budoucnosti očekávat rozšíření funkcionality o unikátní CAPI rozhraní, která mají všechny servery IBM Power umožňující připojení dalších akcelerátorů FPGA přímo k CPU a RAM. Rozhraní CAPI s adaptéry FPGA se dnes například používá pro akceleraci databáze RedisLabs, nebo offloadování kompresních algoritmů GZIP/zlib, kdy jeden fyzický 2U server a 2U IBM flash pole u klastru RLEC je schopné nahradit 24 komoditních serverů s interními disky, a tím minimálně 3x snížit cenu řešení a podstatně zjednodušit implementaci.

Server IBM S822LC Minsky pro HPC

Spojení nejnovějších technologií Power8 a Nvidia umožnilo vytvořit unikátní server, a sice IBM S822LC Minsky pro HPC (High Performance Computing). Akcelerátory Nvidia GPU K40/80 jsou ve standardní nabídce ostatních serverů IBM Power využívající sběrnici PCIe. Nový server Minsky však umožňuje jako první na světě propojit CPU a GPU pomocí NVLinku, který představuje zásadní výkonový nárůst díky podstatně vyšší propustnosti a podstatně nižší latenci, než po běžné sběrnici PCIe. V serverech Minsky jsou rovněž použity nejnovější akcelerátory GPU Pascal P100, dosahující podstatně vyššího výkonu než předchozí generace Nvidia GPU. U aplikací, které silně využívají komunikaci mezi jádry např. databáze Kinetica, je narůst výkonu s NVlinkem 3-10x vyšší než při běžné komunikaci po PCIe. Minsky kromě GPU, CPU a NVlinku používá standardní, běžně používané serverové komponenty standardních serverů x86 od jejich tradičních výrobců, například paměťové moduly DDR4, síťové a diskové adaptéry, NVMe, SSD a HDD disky od stejných výrobců. Minsky umí adresovat až 1TB paměti sdílené s GPU, dodává se v provedení 2U pro montáž do racku a umožňuje osazení až čtyřmi GPU Nvidia P100 a až dvaceti jádry IBM Power8. Pro extrémní výkon nabízí Minsky vodou chlazený adaptér na aktivní komponenty CPU/GPU s možností boostovaní jejich frekvencí. V případě klastru jsou ve standardní nabídce adaptéry EDR Infiniband pro maximální efektivitu komunikace mezi jednotlivými uzly.

Proč jméno Minsky

Server Minsky byl původně ohlášen pod kódovým jménem Garrison, nicméně před uvedením na trh bylo jméno změněno na Minsky, podle významného, v lednu zesnulého vědce v oblasti výzkumu umělé inteligence a jednoho ze zakladatelů Massachusettského technologického institutu, Marvina Lee Minskyho.

Kinetica byla původně armádním projektem na sledování osob s bezpečnostním rizikem, který je dnes k dispozici i pro komerční účely.

Kinetica byla původně armádním projektem na sledování osob s bezpečnostním rizikem, který je dnes k dispozici i pro komerční účely.

Servery IBM Power jsou historicky známé svojí spolehlivostí a vysokým výkonem, jako jediné jsou čipy PowerPC schopné obstát v náročném prostředí drsných podmínek vesmíru, IBM Power je aktuálně nejpoužívanější serverová RISCová platforma na světě. Od roku 2013 obohacují svými inovacemi Power servery také partneři z OpenPower konsorcia (Samsung, Nvidia, Mellanox, Google, Tyan, Nallatech, SuperMicro, Wistron, RackSpace, Micron a stovky dalších jako RedisLabs, Acer, SanDisk, Hitachi, NEC, Ubuntu, Suse, Bull, Brocade, Inspur, OAK RIDGE National Laboratory, GPUdb atd.).

Další oblasti využití

Další možné typické využití je v oblasti kybernetické bezpečnosti real-time sledováním anomálií běžného komunikačního provozu.

Jeden z největších retailových řetězců zase nahradil kvůli několikanásobně vetší rychlosti Kineticou jednu klasickou komerční in-memory databázi za účelem sledování zboží v obchodech a optimalizace jeho prodeje s ohledem na asociační vazby mezi jednotlivými produkty, informacemi ze sociálních sítí a počasím.

Kromě predikce vzniku rizikových událostí, například sledováním objektů v nebezpečných oblastech a jejich vzájemné přiblížení nebo dokonce interakce, je další důležitou vlastností nasazení takovéhoto řešení optimalizace nákladů efektivním vyhodnocením aktuálních informací a optimální reakcí na vzniklou událost.

IBM OpenPower S822LC

IBM OpenPower S822LC

Například v případě vzniku živelné události jako je povodeň, zemětřesení nebo hromadná dopravní nehoda, lze selektivně na základě real-time informací z databáze Kinetica přemísťovat zdroje (jednotlivé články záchranného systému) do místa události, a to včetně zdrojů, které sice nejsou v danou chvíli ve službě, avšak jsou v určité geografické vzdálenosti od místa události, a tím radikálně snížit náklady na vyřešení vzniklé situace. Jelikož dnes existuje celá řada zařízení včetně mobilních telefonů, která umějí udávat geografickou polohu, lze takto vytvořit například on-line registr zdrojů, jako jsou například lékaři, hasiči, automobily lékařské služby, policejní auta apod., optimalizovat jejich pohyb, a tím zásadně urychlit jejich přesun k místu události.

Radek Špimr je specialistou IBM Power Systems na vysoké pracovní zátěže HPC a technické výpočty; případné dotazy na: mailto:radek_spimr@cz.ibm.com

Rubriky: HardwarePodnikový softwareScienceTechnologie

Související příspěvky

Zprávičky

Samsungu klesl provozní zisk v posledním čtvrtletí o 70 %

31. 1. 2023
Přichází jedenáctá generace serverů HPE ProLiant
Články

Přichází jedenáctá generace serverů HPE ProLiant

31. 1. 2023
Elektronové můstky umožňují sdílení energie mezi vrstvami polovodičů
Články

Elektronové můstky umožňují sdílení energie mezi vrstvami polovodičů

30. 1. 2023
Zprávičky

Kvůli nedostatku čipů by výroba aut mohla do roku 2026 klesnout o pětinu

30. 1. 2023

Zprávičky

Samsungu klesl provozní zisk v posledním čtvrtletí o 70 %

ČTK
31. 1. 2023

Jihokorejská společnost Samsung Electronics měla v posledním čtvrtletí loňského roku nejnižší provozní zisk od

Kvůli nedostatku čipů by výroba aut mohla do roku 2026 klesnout o pětinu

ČTK
30. 1. 2023

Celosvětová výroba automobilů by do roku 2026 mohla klesnout asi o 20 procent, což

Ruští hackeři se chlubí dalšími kyberútoky na české prezidentské volby

Redakce
28. 1. 2023

Check Point Research upozornil, že ruští hackeři, v čele s hacktivistickou skupinou NoName057(16), která byla

Špionážní kampaň skupiny StrongPity využívá trojanizovanou aplikaci Telegram

Pavel Houser
28. 1. 2023

Analytici společnosti ESET objevili novou kampaň skupiny StrongPity, kterou skupina distribuuje pomocí plně funkční,

Intelu klesly ve čtvrtletí tržby i zisk, výhled zaostává za očekáváním analytiků

ČTK
27. 1. 2023

Americkému výrobci čipů Intel klesly ve čtvrtém čtvrtletí tržby meziročně o 32 % na

Za bezpečnostní incidenty v cloudu mohou hlavně samotní zákazníci

Kriminalisté rozbili síť Hive, která stála za 1 500 útoky na firmy

ČTK
27. 1. 2023

Němečtí a američtí kriminalisté rozbili hackerskou síť Hive, která za poslední rok a půl

Bude 5G v budoucnosti motorem ekonomiky?

IDC: Odbyt chytrých telefonů loni klesl o 11 %, byl nejslabší od roku 2013

ČTK
26. 1. 2023

Odbyt chytrých telefonů se loni snížil o 11,3 procenta na 1,21 miliardy kusů, a

IBM propustí 3 900 zaměstnanců, zbavuje se některých aktiv

ČTK
26. 1. 2023

Americká společnost International Business Machines (IBM) propustí 3900 zaměstnanců, asi 1,5 procenta pracovní síly.

Tiskové zprávy

Nová chytřejší řešení společnosti Lenovo pro vzdělávání podporují výuku budoucnosti

Juniper Networks se podle analýzy Gartner Magic Quadrant třetím rokem po sobě řadí mezi lídry na trhu pevné a bezdrátové firemní LAN infrastruktury

Průzkum GFI Software: české firmy čelí vlně falešných e-mailů

Spolupráce OKI Europe, Kernow Coatings a Baker Materials na rostoucím evropském trhu s etiketami

Na sobotu připadá Den ochrany osobních údajů

Nový zákon o kybernetické bezpečnosti, NÚKIB vyzývá odbornou veřejnost ke konzultacím

Zpráva dne

Vánoční prodej doživotních licencí Windows 10 za € 12 a Office za € 23 na Goodoffer24!

Vánoční prodej doživotních licencí Windows 10 za € 12 a Office za € 23 na Goodoffer24!

Redakce
15. 12. 2022

Ať už hledáte cestu, jak levně postavit nový počítač, nebo si chcete upgradovat stárnoucí...

Odebírat newsletter

Zásady ochrany osobních údajů.

Zkontrolujte svoji doručenou poštu a potvrďte odběr.

Komentujeme

Chvála černých skřínek

Prokletý smartphone: nejen chyby, ale i špatné rozhodování

Pavel Houser
27. 12. 2022

Asi nikoho nepřekvapí, že za neustálou dostupnost smartphonu se platí tím, že práce na tom zařízení...

Nadcházející akce

  1. Hannover Messe 2023

    17. dubna - 21. dubna

Zobrazit všechny Akce

Slovník

Operational manager

Keyword

Mediální zákon

Nejpopulárnější články

Vybudujte linii obrany pro zastavení vlny ransomwarových útoků

Redakce
23. 12. 2022

Kde se v podnicích uplatní metaverzum?

Redakce
2. 1. 2023

Hrátky s magnetickými víry

Elektronový vír slibuje zařízení s nižším odporem

Pavel Houser
21. 12. 2022

Trendy: předplacené služby, kontejnery, vliv rostoucích cen energií a experti se širším záběrem

Redakce
28. 12. 2022

Bezpečnost cloudu posílí serverless architektura

Redakce
30. 12. 2022

Kategorie

  • Články
  • Komentujeme
  • Slovník
  • Tiskové zprávy
  • Zprávičky

Portál ITbiz.cz přináší informace z IT a byznysu již od roku 2006. Provozuje jej internetové vydavatelství Nitemedia. Hosting zajišťuje společnost Greenhousing.cz. Mezi další naše projekty patří například ABClinuxu.cz a Sciencemag.cz. Na stránce Redakce naleznete informace o redakci a možnostech inzerce.

Rubriky

Akce a události Byznys Cloud Ekomerce Hardware Internet Operační systémy Podnikový software Právo Rozhovory Science Security techn Technologie Telekomunikace Veřejná správa Vývoj a HTML Zpráva dne České IT česk

Píšeme jinde

RSS ScienceMag RSS

  • S degenerací mozku souvisí mineralizace železa
  • Nanotechnologie využívající cigaretové nedopalky napomůže při odstraňování hormonů z odpadních vod
  • Sekvojovec nebo zerav: Při obnově lesů by mohly pomoci cizokrajné stromy

RSS AbcLinuxu RSS

  • Různé hashe u automaticky generovaných archivů na GitHubu
  • Unvanquished 0.54
  • coreboot 4.19

Newsletter

Zásady ochrany osobních údajů.

Zkontrolujte svoji doručenou poštu a potvrďte odběr.

Žádné výsledky
Zobrazit všechny výsledky
  • Technologie
  • Byznys
  • Software
  • Hardware
  • Internet
  • Telco
  • Science
  • České IT
  • Události

© 2019 Vydává Nitemedia s.r.o. Hosting zajišťuje Greenhousing.cz.

Tento web používá cookies. Pokračováním dáváte souhlas s jejich používáním. Více na itbiz.cz/soukromi.