Nvidia se considère comme un suzerain matériel du «métaverse» et a laissé tomber quelques indices sur le fonctionnement d'un univers 3D parallèle dans lequel nos moi de dessin animé peuvent travailler, jouer et interagir.
Le secteur des puces a ajouté une nouvelle plomberie à Omniverse – un moteur matériel et logiciel sous-jacent qui agit comme un noyau planétaire fusionnant des communautés virtuelles dans un univers 3D alternatif. Omniverse est également utilisé pour créer des avatars afin d'améliorer les expériences du monde réel dans les voitures, les hôpitaux et les robots.
"Nous ne disons pas aux gens de remplacer ce qu'ils font, nous améliorons ce qu'ils font", a déclaré Richard Kerris, vice-président de la plateforme Omniverse, lors d'un point de presse.
Les annonces d'Omniverse sont intervenues lors de la Conférence sur la technologie GPU cette semaine. Jensen Huang, PDG de Nvidia parlera sur bon nombre de ces annonces mardi.
Jensen comme vous ne l'avez jamais vu auparavant. Source : NVIDIA. Cliquez pour agrandir
Une de ces annonces est Avatar Omnivers, qui peut générer des avatars IA interactifs et intelligents pour des choses comme aider les convives à commander de la nourriture, ou aider un conducteur à se garer ou à mieux naviguer sur les routes.
Nvidia a donné un exemple d'avatar conversationnel pour remplacer les serveurs dans les restaurants. Lors de la commande de nourriture, un système d'IA - représenté par un avatar à l'écran - pourrait converser en temps réel à l'aide de techniques de reconnaissance vocale et d'intelligence naturelle, et utiliser la vision par ordinateur pour capturer l'humeur d'une personne et recommander des plats en fonction de la base de connaissances.
Pour cela, l'avatar devra exécuter plusieurs modèles d'IA - par exemple, la parole, la reconnaissance d'image et le contexte - simultanément, ce qui peut être un défi. La société a créé le cadre de calcul unifié qui modélise l'IA en tant que microservices, afin que les applications puissent s'exécuter dans un système unique ou hybride.
Nvidia a déjà systèmes d'IA sous-jacents comme le modèle Megatron-Turing Natural Language Generation - un langage de transformateur monolithique développé conjointement avec Microsoft. Le système sera désormais proposé sur son matériel DGX AI.
Omniverse Avatar est également la technologie sous-jacente de Conciergerie - un assistant IA embarqué qui est un "concierge personnel dans la voiture qui sera de garde pour vous", a déclaré Deepu Talla, vice-président et directeur général d'Embedded and Edge Computing.
Les systèmes d'IA dans les voitures représentées par des personnages interactifs peuvent comprendre un conducteur et les occupants de la voiture à travers les habitudes, la voix et les interactions. En conséquence, le système d'IA peut passer des appels téléphoniques ou proposer des recommandations d'endroits où manger à proximité.
À l'aide de caméras et d'autres capteurs, le système peut également voir si un conducteur dort ou alerter un conducteur s'il oublie quelque chose dans la voiture. Les messages du système d'IA sont représentés par des personnages interactifs ou des interfaces sur des écrans.
Vieux chien, nouveaux trucs
Le concept de métaverse n'est pas nouveau - il a existé via Second Life de Linden Lab ou des jeux comme Les Sims. Nvidia espère briser les murs propriétaires et créer un métaverse uni afin que les utilisateurs sautent théoriquement entre les univers créés par différentes sociétés.
Lors du briefing, Nvidia n'a pas fait référence à aider Facebook à réaliser sa vision d'un avenir autour du métaverse, qui est au centre de son changement de marque en Meta.
Mais Nvidia oblige d'autres entreprises à apporter leur travail 3D à la plate-forme Omniverse via ses connecteurs logiciels. Cette liste comprend Esri Moteur de ville ArcGIS, qui permet de créer des environnements urbains en 3D, et le moteur vocal AI de Replica Studio, qui peut simuler la voix réelle des personnages animés
"Ce qui rend tout cela possible, c'est la base de l'USD, ou Universal Scene Description. USD est le HTML de la 3D - un élément important car il permet à tous ces produits logiciels de tirer parti des mondes virtuels dont nous parlons », a déclaré Kerris. USD a été créé par Pixar pour partager des ressources 3D de manière collaborative.
Nvidia a également annoncé Entreprise Omniverse – une offre par abonnement avec une pile logicielle pour aider les entreprises à créer des workflows 3D connectables à la plateforme Omniverse. Au prix de 9,000 XNUMX dollars par an, l'offre est destinée aux secteurs verticaux de l'industrie tels que l'ingénierie et le divertissement, et sera disponible via des revendeurs tels que Dell, Lenovo, PNY et Supermicro.
La société utilise également la plate-forme Omniverse pour générer des données synthétiques sur lesquelles former des « jumeaux numériques » ou des simulations virtuelles d'objets du monde réel. Le SIM ISAAC peut former des robots grâce à des données synthétiques basées sur des informations réelles et virtuelles. Le SIM permet l'introduction de nouveaux objets, vues de caméra et éclairage pour créer des ensembles de données personnalisés sur lesquels former des robots.
Un équivalent automobile est Drive SIM, qui peut créer des scènes réalistes grâce à des caméras simulées pour la conduite autonome. La carte SIM prend en compte des données du monde réel pour former des modèles d'IA de conduite autonome. Les modèles d'objectifs de caméra sont simulés et prennent en compte des phénomènes du monde réel tels que le flou de mouvement, l'obturateur roulant et le scintillement des LED.
Nvidia travaille en étroite collaboration avec les fabricants de capteurs pour répliquer avec précision les données Drive SIM. Les modèles de caméra, radar, lidar et capteur à ultrasons sont tous tracés à l'aide de la technologie graphique RTX, selon Danny Shapiro, vice-président de Nvidia pour l'automobile.
La société a entrelacé certaines annonces de matériel dans le récit global d'Omniverse.
Rejoignez la nouvelle génération
La carte de développement Jetson AGX Orin de nouvelle génération sera à la disposition des fabricants au premier trimestre de l'année prochaine. Il dispose de 12 cœurs de processeur basés sur les conceptions Arm Cortex-A78, de 32 Go de RAM LPDDR5 et offre 200 TOPS (Tera Operations Per Second) de performances.
La Conduisez Hypérion 8 est une plate-forme informatique pour voitures dotée de deux SoC Drive Orin et offrant des performances allant jusqu'à 500 TOPS. La plate-forme comprend 12 caméras, neuf radars, un lidar et 12 capteurs à ultrasons. Il ira dans les véhicules produits en 2024 et a une conception modulaire afin que les constructeurs automobiles puissent utiliser uniquement les fonctionnalités dont ils ont besoin. Les voitures avec des ordinateurs Nvidia plus anciens peuvent être mises à niveau vers Drive Hyperion 8.
Nvidia a également annoncé la Quantique-2 Le commutateur InfiniBand, qui compte 57 milliards de transistors et est fabriqué à l'aide du procédé 7 nm de Taiwan Semiconductor Manufacturing Co. Il peut traiter 66.5 milliards de paquets par seconde et dispose de 64 ports pour les transferts de données à 400 Gbit/sec, ou de 128 ports pour les transferts de 200 Gbit/sec, nous dit-on.
La société a également parlé Morpheus – un cadre d'IA révélé plus tôt cette année qui permet aux fournisseurs de cybersécurité d'identifier et d'alerter les entreprises en cas de comportement irrégulier dans un réseau ou un centre de données. Le cadre identifie les changements subtils dans les applications, les utilisateurs ou le trafic réseau pour identifier les anomalies et les comportements suspects.
Morpheus tire les données dont il a besoin des BlueField SmartNICs/Data Processing Units de Nvidia, qui ont été imprégnées de nouveaux pouvoirs grâce à une mise à niveau du SDK DOCA qui est aux DPU Bluefield comme CUDA est aux GPU de Nvidia.
La mise à niveau DOCA - version 1.2 - peut également "créer des services cloud mesurés qui contrôlent l'accès aux ressources, valident chaque application et utilisateur [et] isolent les machines potentiellement compromises". DOCA 1.2 permet également aux appareils Bluefield d'authentifier l'authentification logicielle et matérielle, d'appliquer la cryptographie des données à débit de ligne et de prendre en charge les pare-feu distribués qui s'exécutent sur la SmartNIC. Nvidia a dit Le registre Palo Alto a constaté une amélioration par 5 des performances du pare-feu lors de l'exécution des outils en mode distribué sur les SmartNIC.
En parlant d'IA, le géant du GPU aussi étendu son programme Launchpad, où il offrira un accès à court terme au matériel et aux logiciels d'IA via les centres de données Equinix aux États-Unis, en Europe, au Japon et à Singapour. Ces trois derniers emplacements sont les premières présences de Launchpad en dehors des États-Unis, ce qui donne à Nvidia l'espoir que sa fonction de rampe d'accès à l'IA pourrait être plus largement adoptée.
Une autre nouvelle offre est une nouvelle version de l'outil d'IA conversationnelle RIVA qui est dit être capable de créer une voix humaine personnalisée en une journée, basée sur seulement 30 minutes d'exemple de discours. Nvidia pense que c'est juste le ticket pour les organisations qui souhaitent proposer des interfaces vocales personnalisées. ®
Source : https://go.theregister.com/feed/www.theregister.com/2021/11/09/nvidia_metaverse/
