Nvidia presenterer Grace ARM-basert CPU for gigantiske AI- og HPC-apper

Nvidia avduket sin Grace-prosessor i dag. Det er en ARM-basert sentral prosesseringsenhet (CPU) for kunstig intelligens i gigantisk skala og høyytelses databehandlingsapplikasjoner. Det er Nvidias første datasenter-CPU, spesialbygd for applikasjoner som opererer i en gigantisk skala, sa Nvidia-sjef Jensen Huang i en hovedtale hos Nvidia. GTC 2021 hendelse.

Grace leverer 10 ganger ytelsesspranget for systemtrening av gigantiske AI-modeller, ved å bruke energieffektive ARM-kjerner. Og Nvidia sa at Swiss Supercomputing Center og US Department of Energy's Los Alamos National Laboratory vil være de første til å bruke Grace, som er oppkalt etter Nådeshopper, som var banebrytende for dataprogrammering på 1950-tallet. CPU-en forventes å være tilgjengelig tidlig i 2023.

"Grace er en banebrytende CPU. Den er spesialbygget for akselererte databehandlingsapplikasjoner i gigantisk skala for AI og HPC," sa Paresh Kharya, seniordirektør for produktledelse og markedsføring i Nvidia, i en pressekonferanse.

Huang sa: "Det er verdens første CPU designet for databehandling i terabyteskala."

CPU-en er resultatet av mer enn 10,000 XNUMX ingeniørår med arbeid. Nvidia sa at brikken vil dekke datakravene for verdens mest avanserte applikasjoner – inkludert naturlig språkbehandling, anbefalingssystemer og AI-superdatabehandling – som analyserer
enorme datasett som krever både ultrarask dataytelse og massivt minne.

Grace kombinerer energieffektive ARM CPU-kjerner med et innovativt lavstrømsminneundersystem for å levere høy ytelse med stor effektivitet. Brikken vil bruke en fremtidig ARM-kjerne kalt Neoverse.

"Spennende AI og datavitenskap presser dagens dataarkitektur utover sine grenser - behandler utenkelige mengder data," sa Huang i sin tale. "Ved å bruke lisensiert ARM IP har Nvidia designet Grace som en CPU spesielt for AI og HPC i gigantisk skala. Sammen med GPU og DPU, gir Grace oss den tredje grunnleggende teknologien for databehandling og muligheten til å rearkitekte datasenteret for å fremme AI. Nvidia er nå et selskap med tre brikker.»

Grace er en svært spesialisert prosessor rettet mot arbeidsbelastninger som opplæring av neste generasjons NLP-modeller som har mer enn 1 billion parametere. Når det er tett koblet med Nvidia GPUer, vil et Grace-basert system levere 10 ganger raskere ytelse enn dagens Nvidia DGX-baserte systemer, som kjører på x86 CPUer. I en pressebriefing spurte noen om Nvidia vil konkurrere med x86-brikker fra Intel og AMD.

Kharya sa: "Vi konkurrerer ikke med x86 ... vi fortsetter å jobbe veldig bra med x86 CPUer."

Grace er designet for AI- og HPC-applikasjoner, men Nvidia avslører ikke ytterligere informasjon om hvor Grace vil bli brukt i dag. Nvidia nektet også å avsløre antall transistorer i Grace-brikken.

Nvidia introduserer Grace ettersom datavolumet og størrelsen på AI-modeller vokser eksponentielt. Dagens største AI-modeller inkluderer milliarder av parametere og dobles hver annen og en halv måned. Trening av dem krever en ny CPU som kan kobles tett sammen med en GPU for å eliminere systemflaskehalser.

"Den største kunngjøringen av GTC 21 var Grace, en tett integrert CPU for over en billion parameter AI-modeller," sa Patrick Moorhead, analytiker ved Moor Insights & Strategies. "Det er vanskelig å ta tak i de med klassiske x86-CPUer og GPUer koblet over PCIe. Grace er fokusert på IO og minnebåndbredde, deler hovedminne med GPUen og må ikke forveksles med datasenter-CPUer for generell bruk fra AMD eller Intel.»

Underliggende Graces ytelse er 4. generasjons Nvidia NVLink interconnect-teknologi, som gir 900 gigabyte-per-sekund-forbindelser mellom Grace og Nvidia-grafikkbehandlingsenheter (GPUer) for å muliggjøre 30 ganger høyere samlet båndbredde sammenlignet med dagens ledende servere.

Grace vil også bruke et innovativt LPDDR5x-minneundersystem som vil levere dobbelt så stor båndbredde og 10 ganger bedre energieffektivitet sammenlignet med DDR4-minne. I tillegg gir den nye arkitekturen enhetlig cache-koherens med ett enkelt minneadresserom, kombinerer system og HBM GPU-minne for å forenkle programmerbarheten.

"Grace-plattformen og dens Arm CPU er et stort nytt skritt for Nvidia," sa Kevin Krewell, analytiker ved Tirias Research, i en e-post. «Den nye designen til én tilpasset CPU festet til GPUen med sammenhengende NVlinks er Nvidias nye design for å skalere til ultrastore AI-modeller som nå tar dager å kjøre. Nøkkelen til Grace er at ved å bruke den tilpassede Arm CPU, vil det være mulig å skalere til store LPDDR5 DRAM-arrayer langt større enn mulig med høybåndbredde minne direkte koblet til GPUene.

Grace vil drive verdens raskeste superdatamaskin for den sveitsiske organisasjonen. Maskinen, kalt Alpene, vil ha 20 eksaflops med AI-behandling. (Dette refererer til mengden databehandling som er tilgjengelig for AI-applikasjoner.) Det er omtrent 7 ganger mer beregning enn det som er tilgjengelig med 2.8-eksaflop Nvidia Seline-superdatamaskinen, den ledende AI-superdatamaskinen i dag. HP Enterprise skal bygge Alps-systemet.

Alpene vil jobbe med problemer innen områder som spenner fra klima og vær til materialvitenskap, astrofysikk, beregningsvæskedynamikk, biovitenskap, molekylær dynamikk, kvantekjemi og partikkelfysikk, samt domener som økonomi og samfunnsvitenskap, og vil komme online i 2023. Alpene skal gjøre kvantekjemi- og fysikkberegninger for Hadron-kollideren, samt værmodeller.

"Dette er en veldig balansert arkitektur med Grace og en fremtidig Nvidia GPU, som vi ikke har annonsert ennå, for å muliggjøre banebrytende forskning på et bredt spekter av felt," sa Kharya.

I mellomtiden sa Nvidia også at de ville gjøre sine grafikkbrikker tilgjengelig med Amazon Web Services 'Graviton2 ARM-baserte CPU for datasentre for cloud computing.

Med Grace vil Nvidia ta fatt på et flerårig mønster for å lage grafikkbehandlingsenheter, CPUer og databehandlingsenheter (CPUer), og det vil veksle mellom Arm- og x86-arkitekturdesign, sa Huang.

Kilde: https://venturebeat.com/2021/04/12/nvidia-unveils-grace-arm-based-cpu-for-giant-scale-ai-and-hpc-apps/