Nvidia ziet zichzelf als een hardware-opperheer van de ‘metaverse’ en heeft enkele hints laten vallen over de werking van een parallel 3D-universum waarin onze tekenfilmzelf kan werken, spelen en communiceren.
De chipbiz heeft nieuw sanitair toegevoegd in Omniverse – een onderliggende hardware- en software-engine die fungeert als een planeetkern die virtuele gemeenschappen samensmelt in een alternatief 3D-universum. Omniverse wordt ook gebruikt om avatars te maken om ervaringen uit de echte wereld in auto's, ziekenhuizen en robots te verbeteren.
"We vertellen mensen niet dat ze moeten vervangen wat ze doen, we verbeteren wat ze doen", zei Richard Kerris, vice-president van het Omniverse-platform, tijdens een persconferentie.
De aankondigingen van het Omniversum kwamen tijdens de bedrijfsactiviteiten GPU Technology Conference deze week. Nvidia-CEO Jensen Huang zal praten over veel van deze aankondigingen op dinsdag.
Jensen zoals je hem nog nooit eerder hebt gezien. Bron: Nvidia. Klik om te vergroten
Eén zo'n aankondiging is Omniversum-avatar, die interactieve, intelligente AI-avatars kunnen genereren voor zaken als het helpen van diners bij het bestellen van eten, of het helpen van een bestuurder om zelf te parkeren of beter over de weg te navigeren.
Nvidia gaf een voorbeeld van een conversatie-avatar ter vervanging van servers in restaurants. Bij het bestellen van eten kan een AI-systeem – weergegeven door een avatar op het scherm – in realtime communiceren met behulp van spraakherkenning en natuurlijke intelligentietechnieken, en computervisie gebruiken om de stemming van een persoon vast te leggen, en gerechten aanbevelen op basis van de kennisbank.
Daarvoor zal de avatar meerdere AI-modellen – bijvoorbeeld spraak, beeldherkenning en context – tegelijkertijd moeten uitvoeren, wat een uitdaging kan zijn. Het bedrijf heeft het Unified Compute Framework ontwikkeld dat AI modelleert als microservices, zodat apps op één of hybride systeem kunnen draaien.
Nvidia heeft dat al gedaan onderliggende AI-systemen zoals het Megatron-Turing Natural Language Generation-model – een monolithische transformatortaal die gezamenlijk met Microsoft is ontwikkeld. Het systeem wordt nu aangeboden op de DGX AI-hardware.
Omniverse Avatar is ook de onderliggende technologie Conciërge rijden – een AI-assistent in de auto die een “persoonlijke conciërge in de auto is die voor u klaar staat”, zegt Deepu Talla, vice-president en algemeen directeur van Embedded and Edge Computing.
AI-systemen in auto’s, vertegenwoordigd door interactieve karakters, kunnen een bestuurder en de inzittenden van de auto begrijpen door middel van gewoonten, stem en interacties. Dienovereenkomstig kan het AI-systeem telefoongesprekken voeren of aanbevelingen doen voor eetgelegenheden in de buurt.
Met behulp van camera's en andere sensoren kan het systeem ook zien of een bestuurder slaapt, of een bestuurder waarschuwen als hij iets in de auto vergeet. De berichten van het AI-systeem worden weergegeven via interactieve karakters of interfaces op schermen.
Oude hond, nieuwe trucs
Het metaverse concept is niet nieuw: het bestond al via Linden Labs Second Life of games als The Sims. Nvidia hoopt bedrijfseigen muren te doorbreken en een verenigde metaverse te creëren, zodat gebruikers theoretisch tussen universums kunnen springen die door verschillende bedrijven zijn gemaakt.
Tijdens de briefing verwees Nvidia niet naar het helpen van Facebook bij het realiseren van zijn visie op een toekomst rond de metaverse, die centraal staat in de rebranding naar meta.
Maar Nvidia probeert andere bedrijven ertoe aan te zetten hun 3D-werk via zijn softwareconnectoren naar het Omniverse-platform te brengen. Die lijst bevat die van Esri ArcGIS cityEngine, waarmee stedelijke omgevingen in 3D kunnen worden gecreëerd, en de AI-stemengine van Replica Studio, die echte stemmen voor geanimeerde karakters kan simuleren
“Wat dit allemaal mogelijk maakt, is de basis van USD, oftewel Universal Scene Description. USD is de HTML van 3D – een belangrijk element omdat het al deze softwareproducten in staat stelt te profiteren van de virtuele werelden waar we het over hebben”, aldus Kerris. USD is door Pixar gemaakt om 3D-middelen op een gezamenlijke manier te delen.
Nvidia heeft dit ook aangekondigd Omniversum Enterprise – een abonnementsaanbod met een softwarestack om bedrijven te helpen 3D-workflows te creëren die kunnen worden aangesloten op het Omniverse-platform. Het aanbod, met een prijs van $9,000 per jaar, is gericht op verticale sectoren zoals techniek en entertainment, en zal beschikbaar zijn via resellers zoals Dell, Lenovo, PNY en Supermicro.
Het bedrijf gebruikt het Omniverse-platform ook om synthetische gegevens te genereren waarop ‘digitale tweelingen’, oftewel virtuele simulaties van objecten uit de echte wereld, kunnen worden getraind. De ISAAC SIM kan robots trainen via synthetische data op basis van real-world en virtuele informatie. De SIM maakt de introductie mogelijk van nieuwe objecten, camerabeelden en verlichting om aangepaste datasets te creëren waarop robots kunnen worden getraind.
Een auto-equivalent is Drive SIM, dat realistische scènes kan creëren via gesimuleerde camera's voor autonoom rijden. De SIM maakt gebruik van gegevens uit de echte wereld om AI-modellen voor autonoom rijden te trainen. De cameralensmodellen zijn gesimuleerd en nemen fenomenen uit de echte wereld zoals bewegingsonscherpte, rolluiken en LED-flikkering waar.
Nvidia werkt nauw samen met sensormakers om Drive SIM-gegevens nauwkeurig te repliceren. De camera-, radar-, lidar- en ultrasone sensormodellen worden allemaal gevolgd met behulp van RTX grafische technologie, aldus Danny Shapiro, Nvidia's vice-president voor de automobielsector.
Het bedrijf heeft enkele hardwareaankondigingen met elkaar verweven in het algemene Omniverse-verhaal.
Sluit je aan bij de nieuwe generatie
Het Jetson AGX Orin-ontwikkelaarsbord van de volgende generatie zal zijn beschikbaar voor makers in het eerste kwartaal van volgend jaar. Het heeft 12 CPU-kernen gebaseerd op Arm Cortex-A78-ontwerpen, 32 GB LPDDR5 RAM en levert 200 TOPS (Tera Operations Per Second) aan prestaties.
De Rij Hyperion 8 is een computerplatform voor auto's met dubbele Drive Orin SoC's en levert prestaties tot 500 TOPS. Het platform heeft twaalf camera's, negen radars, één lidar en twaalf ultrasone sensoren. Het wordt toegepast in voertuigen die in 12 worden geproduceerd en heeft een modulair ontwerp, zodat autofabrikanten alleen de functies kunnen gebruiken die ze nodig hebben. Auto's met oudere Nvidia-computers kunnen worden geüpgraded naar Drive Hyperion 12.
Nvidia heeft ook de Kwantum-2 InfiniBand-schakelaar, die 57 miljard transistors heeft en wordt gemaakt met behulp van het 7nm-proces van Taiwan Semiconductor Manufacturing Co. Het kan 66.5 miljard pakketten per seconde verwerken en heeft 64 poorten voor gegevensoverdracht van 400 Gbit/sec, of 128 poorten voor overdracht van 200 Gbit/sec, zo wordt ons verteld.
Het bedrijf sprak ook Morpheus – een AI-framework dat eerder dit jaar werd onthuld en dat leveranciers van cyberbeveiliging in staat stelt bedrijven te identificeren en te waarschuwen voor onregelmatig gedrag in een netwerk of datacenter. Het raamwerk identificeert subtiele veranderingen in applicaties, gebruikers of netwerkverkeer om afwijkingen en verdacht gedrag te identificeren.
Morpheus haalt de gegevens die het nodig heeft uit Nvidia's BlueField SmartNICs/Data Processing Units, die zijn doordrenkt met nieuwe bevoegdheden dankzij een upgrade van de DOCA SDK die voor Bluefield DPU's is, zoals CUDA voor de GPU's van Nvidia is.
De DOCA-upgrade – versie 1.2 – kan ook “gemeten clouddiensten bouwen die de toegang tot bronnen controleren, elke applicatie en gebruiker valideren [en] potentieel gecompromitteerde machines isoleren.” Met DOCA 1.2 kunnen Bluefield-apparaten ook software- en hardwareauthenticatie verifiëren, datacryptografie op lijnsnelheid toepassen en gedistribueerde firewalls ondersteunen die op de SmartNIC draaien. Nvidia vertelde het Het register Palo Alto heeft een vijfvoudige verbetering gezien in de prestaties van de firewall bij het uitvoeren van de tools in gedistribueerde modus op SmartNIC's.
Over AI gesproken, ook de GPU-gigant uitgebreid zijn Launchpad-programma, waar het op korte termijn toegang zal bieden tot AI-hardware en -software via Equinix-datacenters in de VS, Europa, Japan en Singapore. De laatste drie locaties zijn de eerste aanwezigheid van Launchpad buiten de VS, wat Nvidia de hoop geeft dat zijn functie als AI-on-ramp op grotere schaal zal worden overgenomen.
Een ander nieuw aanbod is een nieuwe versie van de conversatie-AI-tool van RIVA is gezegd om in één dag een aangepaste mensachtige stem te kunnen creëren, gebaseerd op slechts 30 minuten voorbeeldspraak. Nvidia denkt dat dit precies het ticket is voor organisaties die aangepaste spraakinterfaces willen aanbieden. ®
Bron: https://go.theregister.com/feed/www.theregister.com/2021/11/09/nvidia_metaverse/
