Nvidia sees itself as a hardware overlord of the “metaverse” and dropped some hints about the operation of a parallel 3D universe in which our cartoon selves can work, play and interact.
רשת השבבים הוסיפה אינסטלציה חדשה באומניברס - מנוע חומרה ותוכנה הבסיסי שפועל כליבה של כוכב לכת הממזגת יחד קהילות וירטואליות ביקום תלת-ממדי חלופי. אומניברס משמש גם ליצירת אווטרים כדי לשפר את חוויות העולם האמיתי במכוניות, בתי חולים ורובוטים.
“We’re not telling people to replace what they do, we are enhancing what they do,” said Richard Kerris, vice president of the Omniverse platform, during a press briefing.
The Omniverse announcements came during the company’s GPU כנס טכנולוגיה השבוע. מנכ"ל Nvidia, Jensen Huang ידבר על רבות מההכרזות הללו ביום שלישי.
jensen as you’ve never seen him before. Source: Nvidia. Click to enlarge
הודעה אחת כזו היא אווטאר הכול, שיכול ליצור אווטארים אינטראקטיביים וחכמים של בינה מלאכותית לדברים כמו סיוע לסועדים בהזמנת אוכל, או לעזור לנהג לחנות בעצמו או לנווט טוב יותר בכבישים.
Nvidia gave an example of a conversational avatar to replace servers in restaurants. When ordering food, an AI system – represented by an on-screen avatar – could converse in real time using speech recognition and natural intelligence techniques, and use computer vision to capture a person’s mood, and recommend dishes based on the knowledge base.
לשם כך, האווטאר יצטרך להפעיל מספר דגמי AI - למשל, דיבור, זיהוי תמונה והקשר - בו זמנית, מה שיכול להיות אתגר. החברה יצרה את Unified Compute Framework שמדגמנת בינה מלאכותית כשירותי מיקרו, כך שאפליקציות יכולות לפעול במערכת יחידה או היברידית.
ל-Nvidia כבר יש מערכות AI הבסיסיות כמו המודל של Megatron-Turing Natural Language Generation - שפת שנאים מונוליטית שפותחה במשותף עם מיקרוסופט. המערכת תוצע כעת על חומרת ה-DGX AI שלה.
Omniverse Avatar הוא גם הטכנולוגיה הבסיסית ב כונן קונסיירז' – an in-car AI assistant that is a “personal concierge in the car that will be on call for you,” said Deepu Talla, vice president and general manager of Embedded and Edge Computing.
AI systems in cars represented by interactive characters can understand a driver and the car’s occupants through habits, voice and interactions. Accordingly the AI system can make phone calls or offer recommendations of nearby places to eat.
Using cameras and other sensors, the system can also see if a driver is asleep, or alert a rider if they forget something in the car. The AI system’s messages are represented through interactive characters or interfaces on screens.
כלב ישן, טריקים חדשים
The metaverse concept isn’t new – it has existed through Linden Lab’s Second Life, or games like The Sims. Nvidia hopes to break proprietary walls and create a united metaverse so users to theoretically jump between universes created by different companies.
במהלך התדריך, Nvidia לא התייחסה לעזור לפייסבוק לעמוד בחזון העתיד שלה סביב המטא-וורס, שעומד במרכז המיתוג מחדש שלה ל- meta.
But Nvidia is roping other companies into bringing their 3D work to the Omniverse platform through its software connectors. That list includes Esri’s ArcGIS cityEngine, which helps create urban environments in 3D, and Replica Studio’s AI voice engine, which can simulate real voice for animated characters
“What makes this all possible is the foundation of USD, or Universal Scene Description. USD is the HTML of 3D – an important element because it allows for all these software products to take advantage of the virtual worlds we are talking about,” Kerris said. USD was created by Pixar to share 3D assets in a collaborative way.
גם Nvidia הודיעה Omniverse Enterprise - היצע מנויים עם ערימת תוכנה כדי לעזור לחברות ליצור זרימות עבודה תלת מימדיות שניתן לחבר לפלטפורמת Omniverse. במחיר של 3 דולר לשנה, ההצעה מיועדת לענפים בתעשייה כמו הנדסה ובידור, ותהיה זמינה דרך משווקים הכוללים את Dell, Lenovo, PNY ו-Supermicro.
The company is also using the Omniverse platform to generate synthetic data on which to train “digital twins,” or virtual simulations of real-world objects. The ISAAC SIM can train robots through synthetic data based on real-world and virtual information. The SIM allows the introduction of new objects, camera views and lighting to create custom data sets on which to train robots.
מקבילה לרכב הוא Drive SIM, שיכול ליצור סצנות מציאותיות באמצעות מצלמות מדומה לנהיגה אוטונומית. ה-SIM מביא בחשבון נתונים מהעולם האמיתי כדי להכשיר דגמי AI לנהיגה אוטונומית. דגמי עדשות המצלמה מדומים ומקבלים תופעות בעולם האמיתי כמו טשטוש תנועה, תריס מתגלגל והבהוב LED.
Nvidia is working closely with sensor makers to replicate Drive SIM data accurately. The camera, radar, lidar and ultrasonic sensor models are all path-traced using RTX graphics technology, according to Danny Shapiro, Nvidia’s vice president for automotive.
החברה שילבה כמה הכרזות חומרה בנרטיב הכולל של Omniverse.
הצטרפו לדור החדש
לוח המפתחים של הדור הבא של Jetson AGX Orin יהיה זמין ליצרנים ברבעון הראשון בשנה הבאה. יש לו 12 ליבות CPU המבוססות על עיצובי Arm Cortex-A78, 32GB של זיכרון RAM של LPDDR5 ומספק ביצועים של 200 TOPS (Tera Operations Per Second).
אל האני כונן Hyperion 8 היא פלטפורמת מחשוב למכוניות שיש לה כפולים Drive Orin SoC ומספקת ביצועים של עד 500 TOPS. לפלטפורמה 12 מצלמות, תשעה מכ"מים, לידאר אחד ו-12 חיישנים קוליים. הוא ייכנס לכלי רכב שיוצרו בשנת 2024, ויש לו עיצוב מודולרי כך שיצרניות הרכב יכולות להשתמש רק בתכונות הדרושות להם. ניתן לשדרג מכוניות עם מחשבי Nvidia ישנים ל-Drive Hyperion 8.
Nvidia גם הכריזה על Quantum-2 InfiniBand switch, which has 57 billion transistors and is being made using Taiwan Semiconductor Manufacturing Co’s 7nm process. It can process 66.5 billion packets per second, and has 64 ports for 400Gbit/sec data transfers, or 128 ports for 200Gbit/sec transfers, we’re told.
גם החברה דיברה מורפיוס – מסגרת בינה מלאכותית שחשפה מוקדם יותר השנה המאפשרת לספקי אבטחת סייבר לזהות ולהתריע על התנהגות לא סדירה ברשת או במרכז נתונים. המסגרת מזהה שינויים עדינים באפליקציות, משתמשים או תעבורת רשת כדי לזהות חריגות והתנהגות חשודה.
Morpheus draws the data it needs from Nvidia’s BlueField SmartNICs/Data Processing Units, which have been imbued with new powers thanks to an upgrade to the DOCA SDK that is to Bluefield DPUs as CUDA is to Nvidia’s GPUs.
The DOCA upgrade – version 1.2 – can also “build metered cloud services that control resource access, validate each application and user [and] isolate potentially compromised machines.” DOCA 1.2 also lets Bluefield devices authenticate software and hardware authentication, apply line-rate data cryptography, and support distributed firewalls that run on the SmartNIC. Nvidia told הקופה Palo Alto ראתה שיפור פי 5 בביצועי חומת האש בעת הפעלת הכלים במצב מבוזר ב-SmartNICs.
אם כבר מדברים על AI, גם ענקית ה-GPU מורחב its Launchpad program, where it will offer short-term access to AI hardware and software through Equinix data centers in the US, Europe, Japan and Singapore. The latter three locations are Launchpad’s first presences outside the USA, giving Nvidia hope that its function as an AI on-ramp might be more widely adopted.
הצעה חדשה נוספת היא גזרה חדשה של כלי הבינה המלאכותית RIVA לשיחות נאמר to be capable of creating a custom human-like voice in a day, based on just 30 minutes of sample speech. Nvidia thinks that’s just the ticket for orgs that want to offer custom speech interfaces. ®
מקור: https://go.theregister.com/feed/www.theregister.com/2021/11/09/nvidia_metaverse/
