Renesas und Syntiant entwickeln sprachgesteuerte multimodale KI-Lösung, die fortschrittliche Seh- und Sprachtechnologien kombiniert

Neuauflage von Plato

Verfolger: 0

Renesas Electronics Corporation, ein führender Anbieter fortschrittlicher Halbleiterlösungen, und Syntiant Corp., ein Unternehmen für Deep-Learning-Chip-Technologie, das die intelligente Sprach- und Sensorverarbeitung mit geringem Stromverbrauch in Edge-Geräten vorantreibt, kündigte die gemeinsame Entwicklung einer sprachgesteuerten multimodalen KI-Lösung an, die einen kontaktlosen Betrieb mit geringem Stromverbrauch für die Bildverarbeitung in Vision-KI-basierten IoT- und Edge-Systemen wie Self-Checkout-Automaten, Sicherheitskameras und Videokonferenzsystemen sowie intelligenten Geräten wie Reinigungsrobotern ermöglicht.

Die neue Lösung vereint die Renesas RZ/V-Serie Vision AI-Mikroprozessoreinheit (MPU) und der energieeffiziente multimodale Syntiant mit mehreren Funktionen NDP120 Neural Decision Processor zur Bereitstellung erweiterter Sprach- und Bildverarbeitungsfunktionen. Die gemeinsame Lösung bietet eine Always-On-Funktionalität mit schneller sprachgesteuerter Aktivierung aus dem Standby-Modus, um Objekterkennung, Gesichtserkennung und andere visionsbasierte Aufgaben auszuführen, die wichtige Funktionen in Sicherheitskameras und anderen Systemen sind.

Während beispielsweise benutzerdefinierte Sprachhinweise die Aktivierung und den Systembetrieb steuern, verfolgt die visuelle KI-Erkennung das Verhalten des Bedieners und steuert den Betrieb oder gibt eine Warnung aus, wenn verdächtige Aktionen erkannt werden.

Die multimodale Architektur macht es einfacher, kontaktlose Benutzererlebnisse für Vision-KI-basierte Systeme zu schaffen. Die Verwendung eines dedizierten, energieeffizienten Chips für die Spracherkennung reduziert den Standby-Stromverbrauch und beschleunigt gleichzeitig die Systementwicklung, da Software unabhängig von der Vision-KI-Funktionalität entwickelt werden kann.

„Wir gehen davon aus, dass die Nachfrage nach multimodalen Systemen, die mehrere Ströme von Eingabeinformationen, sowohl Bild als auch Sprache, nutzen, in Zukunft zunehmen wird, um sowohl die Benutzerfreundlichkeit als auch die Sicherheit zu verbessern“, sagt Hiroto Nitta, Senior Vice President und Leiter des SoC-Geschäfts in der IoT and Infrastructure Business Unit bei Renesas.

„Durch die Zusammenarbeit zwischen Renesas, einem Anbieter von stromsparender Bild-KI-Technologie, und Syntiant, einem Anbieter von Sprach-KI-Technologie, werden wir die Einführung stromsparender, ultrakleiner intelligenter Sprach-KI-Technologie in eingebetteten Systemen beschleunigen und Kunden weltweit neue kombinierte Lösungen liefern.“

„Sprachbasierte Benutzeroberflächen werden es Kunden ermöglichen, neue Benutzererlebnisse zu bieten, die die nächste Generation innovativer Ideen vom Konzept in die Realität umsetzen“, sagt Kurt Busch, CEO von Syntiant. „Wir haben bereits mehr als 15 Millionen unserer Deep-Learning-NDPs weltweit ausgeliefert, um eine ständige Sprachübertragung in einer Vielzahl von IoT-Anwendungen für Verbraucher und Industrie zu ermöglichen. Unsere Zusammenarbeit mit Renesas liefert eine leistungsstarke Sprach- und Bildlösung mit geringem Stromverbrauch, die mit Sicherheit die Akzeptanz bei einem globalen Kundenstamm in einer Vielzahl von Geräten und Anwendungsfällen steigern wird.“

Die MPU der Renesas RZ/V-Serie für visuelle KI enthält den exklusiven DRP-AI-Beschleuniger (Dynamically Reconfigurable Processor-AI) von Renesas und kombiniert hochpräzise KI-Inferenz mit einer Energieeffizienz, die zu den besten der Branche zählt. Diese überlegene Leistungsleistung macht Wärmeableitungsmaßnahmen wie Kühlkörper oder Kühlventilatoren überflüssig, was die Stücklistenkosten senkt und die Integration von Vision AI in eine Vielzahl eingebetteter Anwendungen ermöglicht.

Der Syntiant NDP120-Chip verfügt über hochentwickelte KI-Funktionen, mit denen viele hochpräzise Freisprech-Sprachfunktionen implementiert werden können, darunter Sprechererkennung, Schlüsselworterkennung, mehrere Aktivierungswörter und lokale Befehlserkennung. Ausgestattet mit der Syntiant Core 2 Inferenz-Engine für neuronale Netze kann der NDP120 auch mehrere Anwendungen gleichzeitig ausführen und dabei den Stromverbrauch auf 1 mW Batterieleistung minimieren.

Die neue sprachgesteuerte multimodale KI-Lösung nutzt mehrere miteinander kompatible Geräte aus dem breiteren Renesas-Portfolio, um Kunden eine verbesserte Prototyping-Plattform für eine schnellere Markteinführung und ein geringeres Risiko zu bieten. Die neue Lösung ist Teil von Renesas' Gewinnkombinationen, die über überzeugende Analog-, Leistungs- und eingebettete Verarbeitungsproduktkombinationen verfügen, die Kunden dabei helfen, ihre Designs zu beschleunigen und schneller auf den Markt zu bringen.