Renesas et Syntiant développent une solution d'IA multimodale à commande vocale combinant des technologies avancées de vision et de voix

Renesas Electronics Corporation, un fournisseur majeur de solutions avancées de semi-conducteurs, et Syntiant Corp., une société de technologie de puces d'apprentissage profond qui fait progresser le traitement intelligent de la voix et des capteurs à faible consommation dans les appareils de périphérie, a annoncé le développement conjoint d'une solution d'IA multimodale à commande vocale qui permet un fonctionnement sans contact à faible consommation pour le traitement d'images dans l'IoT et la périphérie basés sur l'IA de vision. des systèmes tels que des caisses automatiques, des caméras de sécurité et des systèmes de vidéoconférence, ainsi que des appareils intelligents tels que des appareils de nettoyage robotisés.

La nouvelle solution combine le Renesas Série RZ/V unité de microprocesseur (MPU) Vision AI et le Syntiant multimodal et multi-fonctionnalités à faible consommation NPD120 Processeur de décision neuronal pour offrir des capacités avancées de traitement de la voix et des images. La solution commune offre une fonctionnalité permanente avec une activation rapide déclenchée par la voix depuis le mode veille pour effectuer la reconnaissance d'objets, la reconnaissance faciale et d'autres tâches basées sur la vision qui sont des fonctions critiques dans les caméras de sécurité et autres systèmes.

Par exemple, alors que les signaux vocaux définis par l'utilisateur déterminent l'activation et le fonctionnement du système, la reconnaissance visuelle par IA suit le comportement de l'opérateur et contrôle le fonctionnement ou émet un avertissement lorsque des actions suspectes sont détectées.

L'architecture multimodale facilite la création d'expériences utilisateur sans contact pour les systèmes basés sur l'IA de vision. L'utilisation d'une puce dédiée et économe en énergie pour la reconnaissance vocale réduit la consommation d'énergie en veille tout en accélérant le développement du système, car il est possible de développer des logiciels indépendamment de la fonctionnalité Vision AI.

"Nous prévoyons que la demande de systèmes multimodaux utilisant plusieurs flux d'informations d'entrée, à la fois image et voix, augmentera à l'avenir afin d'améliorer à la fois la facilité d'utilisation et la sécurité", déclare Hiroto Nitta, vice-président senior et responsable de l'activité SoC en Allemagne. la Business Unit IoT et Infrastructure de Renesas.

«Grâce à la collaboration entre Renesas, un fournisseur de technologie d'IA d'image à faible consommation, et Syntiant, un fournisseur de technologie d'IA vocale, nous allons accélérer l'adoption d'une technologie d'IA vocale intelligente de faible consommation et ultra-petite dans les systèmes embarqués et proposer de nouveaux des solutions combinées aux clients du monde entier.

« Les interfaces utilisateur vocales permettront aux clients de proposer de nouvelles expériences utilisateur qui feront passer la prochaine génération d'idées innovantes du concept à la réalité », déclare Kurt Busch, PDG de Syntiant. « Nous avons déjà expédié plus de 15 millions de nos NDP d'apprentissage profond dans le monde entier pour permettre une voix toujours active dans une grande variété d'applications IoT grand public et industrielles. Notre collaboration avec Renesas offre une solution voix et image puissante et à faible consommation qui ne manquera pas d'accélérer l'adhésion d'une clientèle mondiale dans une variété d'appareils et de cas d'utilisation.

Le MPU Renesas série RZ/V pour l'IA de vision intègre l'accélérateur exclusif DRP-AI (processeur-IA dynamiquement reconfigurable) de Renesas et combine une inférence d'IA de haute précision avec une efficacité énergétique parmi les meilleures du secteur. Ces performances énergétiques supérieures éliminent le besoin de mesures de dispersion de chaleur telles que des dissipateurs thermiques ou des ventilateurs de refroidissement, ce qui réduit le coût de la nomenclature (BOM) et permet d'intégrer l'IA de vision dans une large gamme d'applications embarquées.

La puce Syntiant NDP120 intègre des capacités d'IA sophistiquées qui peuvent être utilisées pour mettre en œuvre de nombreuses fonctions vocales mains libres de haute précision, notamment la reconnaissance du locuteur, la détection de mots clés, plusieurs mots d'activation et la reconnaissance de commandes locales. Doté du moteur d'inférence de réseau neuronal Syntiant Core 2, le NDP120 peut également exécuter plusieurs applications simultanément tout en minimisant la consommation d'énergie à 1 mW de batterie.

La nouvelle solution d'IA multimodale à commande vocale utilise plusieurs appareils mutuellement compatibles du portefeuille plus large de Renesas pour fournir aux clients une plate-forme de prototypage élevée pour une mise sur le marché plus rapide et une réduction des risques. La nouvelle solution fait partie du programme Renesas Combinaisons gagnantes, qui proposent des combinaisons convaincantes de produits analogiques, de puissance et de traitement intégré qui aident les clients à accélérer leurs conceptions et à commercialiser plus rapidement.

Disponibilité

La conception de référence de la nouvelle solution d'IA multimodale est disponible dès maintenant, y compris les schémas de circuits et les listes de nomenclatures.

Pour plus d'informations, veuillez consulter solution d'IA multimodale.

Commentez cet article ci-dessous ou via Twitter : @IoTNow_OR @jcIoTnow

Source : https://www.iot-now.com/2021/07/28/111730-renesas-and-syntiant-develop-voice-driven-multimodal-ai-solution-combining-advanced-vision-and-voice- les technologies/