Dell představil funkci Warp Speed pro Dell Data Lakehouse

V dnešním rychlém světě čelí manažeři IT úkolu urychlit datovou analýzu a umělou inteligenci a zároveň udržet náklady v rozumných mezích. Proto letos Dell přišel s Dell Data Lakehouse, řešením na klíč, jehož základem je úložiště Dell kompatibilní s S3 a výkonný dotazovací engine Starburst. Ten poskytuje mimořádně rychlý přístup k distribuovaným datům bez ohledu na jejich zdroj a zvládá vyřizovat vysoký počet dotazů současně. Nyní Dell představuje také novou funkci Warp Speed v Dell Data Lakehouse pro úložiště Dell kompatibilní s S3.
„Kompromis mezi rychlostí a náklady může být drahý na obě strany. Zavedení platformy typu data lakehouse přináší výhody z hlediska výkonu při nižších nákladech, ale datoví inženýři a IT týmy musí stále řešit, která data optimalizovat a ukládat do mezipaměti a která ponechat v data lakehouse v nezměněné podobě,“ říká Vrashank Jain, produktový manažer pro data management ze společnosti Dell Technologies.
Warp Speed je nová funkce v Dell Data Lakehouse, která se autonomně učí vzorce dotazů a identifikuje data, k nimž je přistupováno často. Na základě toho optimalizuje indexy a mezipaměť, zatímco data s nižší četností dotazů ponechává tam, kde jsou. Urychluje vyřizování dotazů a zároveň udržuje náklady pod kontrolou. Díky funkci Warp Speed může stejný cluster provádět dotazy v Data Lakehouse 3x až 5x rychleji, aniž by koncový uživatel musel formulaci dotazu jakkoli upravovat. Dokáže také pomoci snížit velikost clusteru až o 40 %.
Zákazníci tak mohou provádět více dotazů na velkých clusterech nebo stejný objem dotazů na menších clusterech.
• Zrychlení Data Lakehouse: Autonomně indexuje data lakehouse a na vyžádání akceleruje zkušební datové sady bez nutnosti zapojení datového inženýrství.
• Tvorba vysoce výkonných přehledových panelů: Rychlejší procházení TB až PB dat, aniž by se změnil komfort pro koncové uživatele. Stejné dotazy nyní probíhají rychleji.
K dosažení výkonu využívá Warp Speed kombinaci akceleračních technologií:
• Autonomní indexování: Tato funkce vytváří vhodné typy indexů (bitová mapa, slovník, strom) přizpůsobené jednotlivým datovým blokům, což urychluje operace jako spojování, filtrování nebo vyhledávání. Indexy jsou kvůli rychlejšímu přístupu uloženy ve výpočetních uzlech na SSD discích.
• Inteligentní ukládání do mezipaměti: Inteligentní mezipaměť je proprietární sloupcová bloková mezipaměť SSD, která optimalizuje výkon na základě frekvence užívání dat. Ukládání do mezipaměti eliminuje zbytečné prohledávání tabulek a umožňuje opakované užití dat pro různé dotazy, čímž šetří náklady na výpočetní prostředky.
Od července je funkce Warp Speed k dispozici všem zákazníkům Dell Data Lakehouse a bude podporován u těch, kteří jako data lakehouse užívají úložiště kompatibilní s Dell S3. Licence softwaru se nemění. Konfigurace výpočetních uzlů bude upravena – součástí budou disky SSD, které společnost Dell důkladně otestovala, aby vyhovovaly nárokům indexace a mezipaměti Warp Speed.