Red Hat oznámil vylepšení svého portfolia produktů a služeb Red Hat AI, která mají pomoci urychlit vývoj a nasazování umělé inteligence (AI) v hybridním cloudu. Red Hat AI poskytuje podnikovou platformu AI pro trénování a odvozování modelů.
I když podniky hledají způsoby, jak snižovat náklady na nasazování velkých jazykových modelů (LLM) při rostoucích možnostech jejich využití, stále čelí výzvě, jak tyto modely integrovat s vlastními daty a zároveň mít k těmto datům přístup, ať už se nacházejí v datovém centru, ve veřejných cloudech nebo dokonce na okraji sítě.
Red Hat AI, která je součástí platforem Red Hat OpenShift AI a Red Hat Enterprise Linux AI (RHEL AI), reaguje na tyto problémy tím, že poskytuje podnikovou platformu pro AI, která uživatelům umožňuje implementovat efektivnější, více optimalizované a na základě specifických podnikových dat vyladěné modely, které lze následně nasadit v hybridním cloudu pro trénování i odvozování na široké škále akcelerovaných výpočetních architektur.
Red Hat OpenShift AI
Red Hat OpenShift AI poskytuje kompletní platformu AI pro správu prediktivních a generativních AI (gen AI) životních cyklů v hybridním cloudu, včetně možností pro správu modelů strojového učení (MLOps) a LLMOps. Platforma poskytuje funkce pro vytváření prediktivních modelů a ladění modelů gen AI spolu s nástroji pro zjednodušení jejich správy, od datové vědy, modelových pipelines a monitorování modelů až po jejich řízení.
Nejnovější verze platformy Red Hat OpenShift AI 2.18 přidává aktualizace a nové funkce, které podporují záměr Red Hat AI přinést lépe optimalizované a efektivnější modely AI do hybridního cloudu. Mezi hlavní funkce patří:
• Distribuovaná obsluha modelů poskytovaná prostřednictvím inferenčního serveru vLLM, která umožňuje týmům IT rozdělit obsluhu modelů mezi více grafických procesorů (GPU). To pomáhá snížit zatížení jednotlivých serverů, zrychlit trénink a dolaďování i efektivněji využívat výpočetní zdroje. Zároveň jsou služby lépe distribuovány mezi jednotlivé uzly pro modely AI.
• Komplexní ladění modelu, nová funkce využívající InstructLab a pipelines datové vědy v Red Hat OpenShift AI, která pomáhá zjednodušit jemné doladění LLM, jež budou i ve velkých produkčních prostředích škálovatelnější, efektivnější a auditovatelnější. Zároveň poskytuje možnost správy prostřednictvím ovládacího panelu Red Hat OpenShift AI.
• Funkce AI Guardrails, která ve své předběžné verzi monitoruje a lépe zabezpečuje interakce s uživatelskými vstupy i výstupy modelu, což pomáhá zlepšit přesnost, výkon, latenci a transparentnost LLM. AI Guardrails nabízí další detekční body, které pomáhají týmům IT identifikovat a zmírňovat potenciálně nenávistné, urážlivé nebo vulgární projevy a kontrolovat osobní údaje, konkurenční informace nebo jiné údaje omezené firemními zásadami.
• Komponenta Hodnocení jazykového modelu (lm-eval), která poskytuje důležité informace o celkové kvalitě modelu a umožňuje datovým vědcům porovnávat výkonnost jejich LLM v různých úlohách, od logického a matematického uvažování až po adverzní přirozený jazyk. V konečném důsledku to pomáhá vytvářet efektivnější, citlivější a na míru upravené modely AI.
RHEL AI
RHEL AI je součástí portfolia Red Hat AI a představuje modelovou platformu pro konzistentnější vývoj, testování a provozování LLM pro podporu podnikových aplikací. RHEL AI poskytuje zákazníkům nástroje Granite LLM a InstructLab pro nastavení modelů, které jsou připraveny jako zaváděcí obraz serveru s Red Hat Enterprise Linuxem a mohou být nasazeny v hybridním cloudu.
RHEL 1.4, který byl uveden v únoru 2025, přinesl několik nových vylepšení, včetně:
• Podpory modelu Granite 3.1 8B, nejnovějšího přírůstku do rodiny open source modelů Granite. Model přidává vícejazyčnou podporu pro odvozování a přizpůsobení taxonomie či znalostí (v předběžné verzi pro vývojáře), spolu s kontextovým oknem pro 128 tisíc tokenů, pro lepší výsledky sumarizace a generativní úlohy rozšířené o vyhledávání (RAG).
• Nového grafického uživatelského rozhraní pro vkládání dovedností a znalostí, které je k dispozici v předběžné verzi pro vývojáře a které zjednodušuje přijímání a třídění dat i způsob, jakým uživatelé přidávají své vlastní dovednosti a příspěvky do modelu AI.
• Document Knowledge-bench (DK-bench) pro snadnější porovnání modelů AI vyladěných na relevantních soukromých datech s výkonem stejných, ale nevyladěných základních modelů.
Red Hat AI InstructLab v IBM Cloudu
Podniky stále častěji hledají řešení AI, která upřednostňují přesnost a bezpečnost dat a zároveň udržují náklady a složitost na co nejnižší úrovni. Red Hat AI InstructLab nasazený jako služba v IBM Cloudu je navržen tak, aby zjednodušil, škáloval a pomohl zlepšit bezpečnost tréninku a nasazování modelů AI. Zjednodušením ladění modelů pomocí InstructLab mohou organizace vytvářet efektivnější modely přizpůsobené jejich jedinečným potřebám a zároveň si zachovat kontrolu nad svými daty.
