AWS e NVIDIA per portare le istanze Graviton2 basate su ARM con GPU nel cloud

Nodo di origine: 807655

AWS continua a innovare per conto dei nostri clienti. Stiamo lavorando con NVIDIA per portare una GPU NVIDIA basata sul processore Arm accelerata Cloud di calcolo elastico di Amazon (Amazon EC2) nel cloud nella seconda metà del 2021. Questa istanza sarà basata su ARM Processore AWS Graviton2, che è stato costruito da zero da AWS e ottimizzato per il modo in cui i clienti eseguono i propri carichi di lavoro nel cloud, eliminando molti componenti non necessari che altrimenti potrebbero entrare in un processore generico.

Innovazione AWS con i processori Graviton2

AWS ha continuato a essere un pioniere del cloud computing per i nostri clienti. Nel 2018, AWS è stato il primo importante provider cloud a offrire istanze basate su ARM nel cloud con istanze EC2 A1 basate su processori AWS Graviton. Queste istanze sono costruite attorno ai core Arm e fanno ampio uso del silicio personalizzato di AWS. Si adattano perfettamente ai carichi di lavoro con scalabilità orizzontale in cui è possibile condividere il carico tra un gruppo di istanze più piccole.

Nel 2020, AWS ha rilasciato i processori Graviton2 basati su ARM progettati da AWS, offrendo un importante balzo in avanti in termini di prestazioni e capacità rispetto ai processori AWS Graviton di prima generazione. Questi processori alimentano istanze EC2 per uso generico (M6g, M6gd, T4g), ottimizzate per il calcolo (C6g, C6gd, C6gn) e ottimizzate per la memoria (R6g, R6gd, X2gd) e offrono prestazioni di prezzo migliori fino al 40% rispetto alla corrente comparabile istanze basate su x86 di generazione per un'ampia varietà di carichi di lavoro. I processori AWS Graviton2 offrono prestazioni sette volte superiori, core di elaborazione quattro volte superiori, memoria cinque volte più veloce e cache due volte più grandi rispetto ai processori AWS Graviton di prima generazione.

I clienti tra cui Domo, Formula One, Honeycomb.io, Intuit, LexisNexis Risk Solutions, Nielsen, NextRoll, Redbox, SmugMug, Snap e Twitter hanno riscontrato miglioramenti significativi delle prestazioni e costi ridotti dall'esecuzione di istanze basate su AWS Graviton2 in produzione. I processori AWS Graviton2, basati sull'architettura Arm a 64 bit, sono supportati dai più diffusi sistemi operativi Linux, tra cui Amazon Linux 2, Red Hat, SUSE e Ubuntu. Molte applicazioni e servizi popolari di AWS e ISV supportano anche istanze basate su AWS Graviton2. Gli sviluppatori ARM possono utilizzare queste istanze per creare applicazioni in modo nativo nel cloud, eliminando così la necessità di emulazione e compilazione incrociata, che sono soggette a errori e richiedono molto tempo. L'aggiunta di GPU NVIDIA accelera le istanze basate su Graviton2 per diversi carichi di lavoro cloud, inclusi i giochi e altri carichi di lavoro basati su ARM come l'inferenza di machine learning (ML).

Sposta facilmente i giochi Android nel cloud

Secondo ricerca da App Annie, il gioco mobile è ora la forma di gioco più popolare e ha superato console, PC e Mac. Aggiuntivo ricerca da App Annie ha dimostrato che fino al 10% di tutto il tempo trascorso sui dispositivi mobili è con i giochi e gli sviluppatori di giochi devono supportare e ottimizzare i loro giochi per il set diversificato di dispositivi mobili utilizzati oggi e in futuro. Sfruttando il cloud, gli sviluppatori di giochi possono fornire un'esperienza uniforme su tutto lo spettro dei dispositivi mobili e prolungare la durata della batteria a causa delle minori richieste di calcolo e alimentazione sul dispositivo mobile. L'istanza AWS Graviton2 con accelerazione GPU NVIDIA consente agli sviluppatori di giochi di eseguire i giochi Android in modo nativo, codificare la grafica renderizzata e riprodurre in streaming il gioco sulle reti su un dispositivo mobile, il tutto senza la necessità di eseguire software di emulazione su un'infrastruttura basata su CPU x86.

Inferenza di machine learning economica e basata su GPU

Oltre ai giochi mobili, i clienti che eseguono modelli di machine learning in produzione sono alla continua ricerca di modi per ridurre i costi poiché l'inferenza ML può rappresentare fino al 90% della spesa complessiva dell'infrastruttura per l'esecuzione di queste applicazioni su larga scala. Con questa nuova offerta, i clienti potranno sfruttare i vantaggi in termini di prezzo / prestazioni di Graviton2 per implementare modelli di deep learning accelerati dalla GPU a un costo notevolmente inferiore rispetto alle istanze basate su x86 con accelerazione GPU.

AWS e NVIDIA: una lunga storia di collaborazione

AWS e NVIDIA collaborano da oltre 10 anni per fornire continuamente soluzioni basate su GPU potenti, convenienti e flessibili ai clienti, comprese le ultime Istanze EC2 G4 con GPU NVIDIA T4 lanciate nel 2019 e Istanze P2d di EC4 con GPU NVIDIA A100 lanciate nel 2020. Le istanze EC2 P4d sono distribuite in cluster iperscalabili chiamati EC2 UltraClusters che comprendono le più alte prestazioni di elaborazione, rete e archiviazione nel cloud. EC2 UltraClusters supportano la rete di istanze da 400 Gbps, Elastic Fabric Adapter (EFA) e la tecnologia NVIDIA GPUDirect RDMA per aiutare ad addestrare rapidamente i modelli ML utilizzando tecniche distribuite e scalabili.

Oltre ad essere i primi nel cloud a offrire istanze accelerate dalla GPU e i primi nel cloud a offrire le GPU NVIDIA V100, stiamo ora collaborando con NVIDIA per offrire nuove istanze EC2 che combinano un processore basato su ARM con un acceleratore GPU nel seconda metà del 2021. Per ulteriori informazioni su come AWS e NVIDIA collaborano per offrire ai clienti tecnologia innovativa, visitare AWS presso NVIDIA GTC 21.


L'autore

Geoff Murase è Senior Product Marketing Manager per istanze di elaborazione accelerata AWS EC2, aiutando i clienti a soddisfare le loro esigenze di calcolo fornendo accesso ad acceleratori di calcolo basati su hardware come GPU (Graphics Processing Unit) o ​​Field Programmable Gate Arrays (FPGA). Nel suo tempo libero, gli piace giocare a basket e andare in bicicletta con la sua famiglia.

Fonte: https://aws.amazon.com/blogs/machine-learning/aws-and-nvidia-to-bring-arm-based-instances-with-gpus-to-the-cloud/

Timestamp:

Di più da Blog di apprendimento automatico AWS