Renesas y Syntiant desarrollan una solución de inteligencia artificial multimodal controlada por voz que combina tecnologías avanzadas de visión y voz

Renesas Electronics Corporation, un proveedor líder de soluciones avanzadas de semiconductores, y Corporación Syntiant., una empresa de tecnología de chips de aprendizaje profundo que avanza en el procesamiento inteligente de voz y sensores de baja potencia en dispositivos de borde, anunció el desarrollo conjunto de una solución de inteligencia artificial multimodal controlada por voz que permite la operación sin contacto de baja potencia para el procesamiento de imágenes en el IoT y el borde basados ​​en inteligencia artificial de visión. sistemas, como máquinas de autopago, cámaras de seguridad y sistemas de videoconferencia, y electrodomésticos inteligentes como dispositivos de limpieza robóticos.

La nueva solución combina las Renesas Serie RZ / V unidad de microprocesador de inteligencia artificial (MPU) de visión y el Syntiant multimodal de baja potencia y múltiples funciones NDP120 Procesador de decisiones neuronales para brindar capacidades avanzadas de procesamiento de voz e imágenes. La solución conjunta presenta una funcionalidad siempre activa con activación rápida activada por voz desde el modo de espera para realizar el reconocimiento de objetos, el reconocimiento facial y otras tareas basadas en la visión que son funciones críticas en las cámaras de seguridad y otros sistemas.

Por ejemplo, mientras que las señales de voz definidas por el usuario impulsan la activación y el funcionamiento del sistema, el reconocimiento de IA de visión rastrea el comportamiento del operador y controla el funcionamiento o emite una advertencia cuando se detectan acciones sospechosas.

La arquitectura multimodal facilita la creación de experiencias de usuario sin contacto para sistemas basados ​​en IA de visión. El uso de un chip dedicado y de bajo consumo para el reconocimiento de voz reduce el consumo de energía en espera y acelera el desarrollo del sistema porque es posible desarrollar software independientemente de la funcionalidad de IA de visión.

"Anticipamos que la demanda de sistemas multimodales que utilizan múltiples flujos de información de entrada, tanto de imagen como de voz, aumentará en el futuro como una forma de mejorar tanto la facilidad de uso como la seguridad", dice Hiroto Nitta, vicepresidente senior y director de negocios de SoC en la Unidad de Negocio IoT e Infraestructura de Renesas.

“A través de la colaboración entre Renesas, un proveedor de tecnología de inteligencia artificial de imágenes de bajo consumo, y Syntiant, un proveedor de tecnología de inteligencia artificial de voz, aceleraremos la adopción de la tecnología de inteligencia artificial de voz ultrapequeña y de bajo consumo en sistemas integrados y entregaremos nuevos soluciones combinadas para clientes de todo el mundo ".

“Las interfaces de usuario basadas en voz harán posible que los clientes brinden nuevas experiencias de usuario que traigan la próxima generación de ideas innovadoras del concepto a la realidad”, dice el CEO de Syntiant, Kurt Busch. “Ya hemos enviado más de 15 millones de nuestros NDP de aprendizaje profundo a nivel mundial para permitir la voz siempre activa en una amplia variedad de aplicaciones de IoT industriales y de consumo. Nuestra colaboración con Renesas ofrece una solución de voz e imagen poderosa y de bajo consumo que seguramente acelerará la tracción entre una base de clientes global en una variedad de dispositivos y casos de uso ".

La MPU de la serie RZ / V de Renesas para IA de visión incorpora el acelerador DRP-AI (Procesador dinámico reconfigurable dinámicamente) exclusivo de Renesas y combina la inferencia de IA de alta precisión con una eficiencia energética que se encuentra entre las mejores de la industria. Este rendimiento energético superior elimina la necesidad de medidas de dispersión de calor como disipadores de calor o ventiladores de refrigeración, lo que reduce el costo de la lista de materiales (BOM) y hace posible integrar la IA de visión en una amplia gama de aplicaciones integradas.

El chip Syntiant NDP120 incorpora sofisticadas capacidades de inteligencia artificial que se pueden utilizar para implementar muchas funciones de voz de manos libres de alta precisión, incluido el reconocimiento del hablante, la detección de palabras clave, varias palabras de activación y el reconocimiento de comandos locales. Empaquetado con el motor de inferencia de red neuronal Syntiant Core 2, el NDP120 también puede ejecutar múltiples aplicaciones simultáneamente mientras minimiza el consumo de energía a una batería de 1 mW.

La nueva solución de inteligencia artificial multimodal controlada por voz utiliza múltiples dispositivos compatibles entre sí de la cartera más amplia de Renesas para proporcionar a los clientes una plataforma de prototipos elevada para un tiempo de comercialización más rápido y un riesgo reducido. La nueva solución es parte de Renesas Combinaciones ganadoras, que cuentan con atractivas combinaciones de productos de procesamiento integrado, analógico y de potencia que ayudan a los clientes a acelerar sus diseños y llegar al mercado más rápidamente.

Disponibilidad

El diseño de referencia para la nueva solución de IA multimodal ya está disponible, incluidos diagramas de circuitos y listas de listas de materiales.

Para mayor información por favor visite solución de IA multimodal.

Comenta este artículo a continuación oa través de Gorjeo: @IoTNow_OR @jcIoTnow

Fuente: https://www.iot-now.com/2021/07/28/111730-renesas-and-syntiant-develop-voice-controlled-multimodal-ai-solution-combining-advanced-vision-and-voice- tecnologías /