TPU: Koprocesory Googlu pro neuronové sítě

Pavel Houser , 14. duben 2017 09:59 0 komentářů
TPU: Koprocesory Googlu pro neuronové sítě

Google Tensor Processing Unit je specializovaný tištěný obvod, který funguje jako zásuvná karta do serveru. Připojuje se přes běžnou sběrnici SATA a hraje roli koprocesoru, který je speciálně určen pro urychlování výpočtů v oblasti neuronových sítí/strojového učení.

Google nyní zveřejnil benchmarky, které porovnávají výkon jeho TPU s klasickými i grafickými procesory. Pro specializované TPU (nepřekvapivě) tyto výsledky vycházejí velmi dobře, a to především z hlediska výkonu na spotřebovanou jednotku energie (30-80krát větší účinnost, bilion operací na 1 watt). Nicméně i co se týče samotného výkonu, mají být TPU až řádově (15-30krát) rychlejší než Intel Xeon nebo grafické procesory Nvidia. Další výhodou má být, že neuronové sítě pracující na TPU jsou často úsporné v tom smyslu, že k jejich napsání stačí jen relativně krátký kód. Nejčastěji je vytvořen v prostředí TensorFlow, což je open source platforma Googlu právě pro strojové učení.

Google uvedl, že potřeba vlastních procesorů se objevila už asi před 6 lety, když čím dál více produktů Googlu začalo pracovat s hlubokým učením. Například hlasové vyhledávání/rozpoznávání mluvené řeči by bez specializovaného hardwaru bylo příliš náročné a vyžadovalo další obří investice do hardwaru datových center. TPU nyní podstatně zrychlují i provoz Google Image Search, Google Photos (tedy zpracování grafické informace) a Google Cloud Vision API. Tyto TPU měly rovněž umožnit přechod překladače Googlu od statistické analýzy textu k modelům založených právě na neuronových sítích a podpořily také vývoj umělé inteligence v programu AlphaGo, který už před více než rokem pokořil člověka ve hře Go.

Procesory TPU jsou určeny pro specializovaný typ úloh, spíše operace s 8bitovými celými čísly než přesné výpočty v plovoucí řádové čárce. Zejména mají být ideální pro část práce neuronové sítě, tzv. inferenci. (Inference následuje po fázi tréninku, jde o vlastní funkčnost systému, tedy např. rozpoznání řeči. Jak uvádí na blogu Googlu hardwarový inženýr Norm Jouppi, pro samotný trénink TPU obvykle nepoužívají.) Procesor TPU přitom přijímá příkazy pro příslušné operace z CPU, podobně jako např. matematický koprocesor/FPU.

Google sám ve svých datových centrech používá TPU od roku 2015 a publikované benchmarky se podle firmy týkají úloh, které se v tomto prostředí skutečně realizují. Google předpokládá, že vývoj aplikací strojového učení a obecně umělé inteligence bude stále více svázán se specializovaným hardwarem a tím, jak se řada funkcí bude realizovat „přímo v křemíku“.

K benchmarkům publikovaným Googlem se vyjádřila i Nvidia. Podle ní jsou zavádějící, protože srovnávají TPU Googlu (z roku 2015) s řadou grafických karet Tesla K80 (2012), zatímco novější Tesla P4/P40 (2016) jsou také navrženy speciálně pro umělou inteligenci/neuronové sítě a v řadě ohledů Google překonávají.

Zdroj: TechXplore.com, The Register a další

O specializovaném hardwaru pro umělou inteligenci viz také: CPU, GPU – a IPU?


Komentáře

RSS 

Komentujeme

Microsoft a GitHub

Pavel Houser , 13. červen 2018 13:30
Pavel Houser

Transakce v hodnotě 7,5 miliardy dolarů je dost velká i na poměry Microsoftu, takže se prodejem GitH...

Více







RSS 

Zprávičky

Útočníci se snaží zneužít fotbalovou horečku

Pavel Houser , 23. červen 2018 11:59

Nová phishingová kampaň se snaží lákat oběti ke stažení infikovaného rozpisu a výsledků fotbalového ...

Více 0 komentářů

Systém pro STK by měl za 120 mil. Kč nadále provozovat AutoCont

ČTK , 22. červen 2018 10:00

V novém smluvním období by firma měla zajistit také propojení s obdobnými systémy jednotlivých člens...

Více 0 komentářů

Divize firmy Deutsche Telekom T-Systems ruší 10 000 míst

ČTK , 22. červen 2018 09:00

Na 6000 míst z celkového počtu má být zrušeno v Německu v průběhu příštích tří let....

Více 0 komentářů

Kalendář

23. 06.

24. 06.
Maker Faire Prague 2018
04. 08.

09. 08.
Black Hat USA 2018
09. 08.

12. 08.
DEF CON 26

Starší zprávičky

Šéfovi Intelu srazil vaz vztah na pracovišti

ČTK , 22. červen 2018 08:00

Ve funkci předsedy představenstva a člena správní rady Krzaniche přechodně nahradí dosavadní finančn...

Více 0 komentářů

Musk: Favoritem pro evropskou továrnu na baterie Tesly je Německo

ČTK , 21. červen 2018 10:00

Revoluce elektrických aut zvýší do roku 2025 hodnotu evropského trhu s bateriemi na zhruba 250 milia...

Více 0 komentářů

Česko testuje komunikaci mezi auty, vlaky a MHD

ČTK , 21. červen 2018 09:00

Vozidla si budou vyměňovat informace například o tom, jak je vlak daleko od závor, nebo že tramvaj v...

Více 0 komentářů

Xiaomi chce při vstupu na burzu získat až 6,1 miliardy dolarů

ČTK , 21. červen 2018 08:00

Půjde o jednu z největších primárních nabídek akcií v technologickém sektoru za posledních několik l...

Více 0 komentářů