Cloudera sodeluje z Nvidio za razširitev uporabe GPE v aplikacijah AI

Cloudera in Nvidia sta napovedali sodelovanje, ki bo organizacijam omogočilo uporabo grafičnih procesorjev na več področjih v življenjskem ciklu razvoja umetne inteligence.

Cloudera bo svojo podatkovno platformo Cloudera integrirala z Nvidijinimi pospešenimi knjižnicami Apache Spark 3.0. Integracija bo olajšala dodajanje delovnih tokov strojnega učenja v procese in ustvarjanje arhitektur brez potrebe po prilagajanju GPU. Podjetja bodo lahko spreminjala svoje delovne tokove podatkovne znanosti, ne da bi jim bilo treba ročno posodobiti integracijo Nvidia.

Grafični procesorji so izjemno obetali pri izboljšanju podatkovne znanosti pri razvoju umetne inteligence, kar podjetjem omogoča izvajanje nekaterih vrst delovnih obremenitev poleg GPU. Vendar pa analitika pogosto vključuje procese, ki zajemajo več skupin, zaradi česar morajo podjetja vlagati v prilagajanje integracij GPE za te primere uporabe.

Gartner je napovedal, da ustvarjanje novih arhitekturnih vzorcev pomaga operacionalizira podatkovno znanost in cevovode ML bo eden glavnih trendov v letu 2021.

Prednosti pospeševanja grafičnih procesorjev

Partnerstvo bo podjetjem omogočilo uporabo grafičnih procesorjev v sodobnih delovnih tokovih podatkov, ki zajemajo naloge priprave podatkov, znanosti o podatkih in analitike. Običajni potek dela vključuje številne korake, vključno z vnosom podatkov, urejanjem podatkov, avtomatizacijo podatkovnega cevovoda, raziskovanjem znanosti o podatkih, razvojem modela, testiranjem, uvajanjem, spremljanjem in ponovnim usposabljanjem modela ter dostavo v podjetje. Cloudera je bila zadnje leto zaposlena pri tem, da je te procese in predaje med njimi veliko olajšala.

Knjižnice Apache Spark 3.0 so pospešene z uporabo Nvidijine platforme RAPIDS, ki bo dramatično pospešila veliko dolgočasnega pripravljalnega dela, potrebnega za uvedbo novih modelov strojnega učenja v proizvodnjo. Na primer, ameriška davčna služba že opaža trikratno izboljšanje podatkovnih znanstvenih delovnih tokov za odkrivanje goljufij, je v izjavi dejal Joe Ansaldi, vodja tehnične podružnice IRS za raziskovalno uporabno analitiko in statistiko.

Pospešitev nalog priprave podatkov in hitrejše usposabljanje modelov bo prihranila tudi stroške infrastrukture. Apache Spark 3, pospešen z GPU, izvirno deluje na CDP in se lahko priključi na visoko zmogljiva računalniška orodja, je dejal Cloudera.

Zgoraj: Primerjava delovnih tokov, ki jih poganja CPE in GPE.

Avtorstvo slike: Cloudera

Podatkovni portfelj podjetja Cloudera

Cloudera je bil pionir pri razvoju podatkovnih jezer, zgrajenih na platformi Hadoop. Cloudera se je združila s Hortonworks, drugega prodajalca Hadoop, leta 2018 in združil tehnologije v sodobno arhitekturo, imenovano Cloudera Data Platform (CDP). Takrat so mnogi špekulirali, da je to pomenilo konec podatkovnih skladišč Hadoop, vendar je Cloudera nadaljevala z inovacijami in razširila Hadoop v bolj okreten potek dela.

Cloudera je CDP v začetku tega leta dodal Applied ML Prototypes (AMP), ogrodje za pakiranje AI in modelov ML za podatkovne znanstvenike. AMP-ji omogočajo ekipam, da se izognejo ugibanju pri projektih ML z vnaprej pripravljenimi predlogami poslovnih aplikacij za posebne primere uporabe in se pogosto izvajajo na strojni opremi Nvidia GPE. Cloudera Data Engineering (CDE) poenostavi podatkovno inženirstvo in pripravljalno delo na začetku projekta. To je rešilo običajne težave, s katerimi se srečujejo podatkovni inženirji, kot so razporejanje in orkestracija zapletenih podatkov, odpravljanje težav in orodja za prilagajanje zmogljivosti za podatkovne tokove ter izboljšanje sodelovanja z analitičnimi skupinami in ekipami za podatkovno znanost.

Pospeševalec RAPIDS za Apache Spark bo na voljo v zasebnem oblaku CDP to poletje. Nvidia in Cloudera bosta sčasoma uvedli dodatne pospešene ponudbe v CDP, začenši s pospešenim globokim učenjem in strojnim učenjem v javnem oblaku CDP maja. »To pomeni, da ne glede na to, kje stranke potrebujejo te grafične procesorje (od lokalnih do javnega oblaka, do hibridnega oblaka in več), bodo lahko že takoj izkoristile najboljše grafične procesorje v svojem razredu,« je dejal Santiago Giraldo, Cloudera direktor trženja izdelkov za podatkovni inženiring in strojno učenje.

Vir: https://venturebeat.com/2021/04/12/cloudera-partners-with-nvidia-expand-gpu-usage-across-ai-applications/