Grafické procesory představují ve světě plném umělé inteligence a strojového učení významnou nákladovou položku. Kai Wombacher ze společnosti Kubercost tvrdí, že v řadě firem si zatím s AI/ML spíše hrají. Jenže to se brzy změní, podobně jako už se skoro všichni musejí soustředit na optimalizaci provozu všemožných cloudů, kontejnerových systémů nebo virtuálních strojů. Nové technologie mohou jinak bobtnat téměř donekonečna. Jak to je/brzy bude konkrétně s GPU?
Grafické procesory jsou drahé a navíc nákladné na provoz kvůli svým energetickým nárokům. Navíc sledování využití a efektivity GPU je mnohem složitější než v případě CPU a RAM. Zatímco mnoho organizací zavedlo řešení, která zprůhledňují a optimalizují využití CPU a RAM, u GPU podniky často neznají náklady ani efektivitu využití, uvádí K. Wombacher (poznámka: představme si i situaci, že GPU se nevyužívají naplno, protože datové centrum nemá dostatek energie). A to jsou GPU přitom dražší.
Infrastrukturu grafických procesorů je proto třeba konsolidovat a zrychlit trénování modelů. Dále bývají běžné situace, že skončí trénování jednoho modelu, ale různě dlouho trvá, než je spuštěna další pracovní úloha. Podle Wombachera je důležité například identifikovat příležitosti k nahrazení určitého GPU menším GPU nebo modelu jiným modelem, což umožní zvládnutí stejných pracovních zátěží při nižších nákladech. Některé pracovní zátěže lze spárovat, aby spolu efektivně spolupracovaly a sdílely GPU. Je běžné spotřebovat 1 uzel GPU na 1 kontejner, i když to není optimální. Robustní sdílení GPU je prozatím vzácné.
A nakonec lze dodat, že efektivnější využití GPU lze vykázat také z hlediska emisní politiky firmy. Zavést sledování nákladů na GPU a strategie optimalizace jejich provozu by proto mělo být prioritou – jinak s další expanzí AI/ML hrozí podnikům exponenciální nárůst nákladů.
Zdroj: ITProToday a další
