Renesas And Syntiant Develop Voice-controlled Multimodal AI Solution Combining Advanced Vision And Voice Technologies

Republicado por Platão

seguidores: 0

Renesas Electronics Corporation, um dos principais fornecedores de soluções avançadas de semicondutores e Syntian Corp., uma empresa de tecnologia de chip de aprendizagem profunda que avança o processamento inteligente de voz e sensor de baixo consumo de energia em dispositivos de ponta, anunciou o desenvolvimento conjunto de uma solução de IA multimodal controlada por voz que permite operação sem contato de baixo consumo de energia para processamento de imagem em visão IoT baseada em IA e borda sistemas, como máquinas de autoverificação, câmeras de segurança e sistemas de videoconferência, e aparelhos inteligentes, como dispositivos de limpeza robótica.

A nova solução combina o Renesas RZ / V Series unidade de microprocessador (MPU) de AI de visão e o Syntiant multimodal de baixa potência e multifuncional NDP120 Processador de decisão neural para fornecer recursos avançados de processamento de voz e imagem. A solução conjunta apresenta funcionalidade sempre ativa com rápida ativação acionada por voz no modo de espera para realizar o reconhecimento de objetos, reconhecimento facial e outras tarefas baseadas na visão que são funções críticas em câmeras de segurança e outros sistemas.

Por exemplo, enquanto as dicas de voz definidas pelo usuário direcionam a ativação e a operação do sistema, o reconhecimento de visão AI rastreia o comportamento do operador e controla a operação ou emite um aviso quando ações suspeitas são detectadas.

A arquitetura multimodal torna mais fácil criar experiências de usuário sem contato para sistemas baseados em visão AI. O uso de um chip dedicado e com baixo consumo de energia para reconhecimento de voz reduz o consumo de energia no modo de espera e, ao mesmo tempo, acelera o desenvolvimento do sistema, pois é possível desenvolver software independentemente da funcionalidade de visão AI.

“Prevemos que a demanda por sistemas multimodais que usam vários fluxos de informações de entrada de imagem e voz aumentará no futuro como uma forma de melhorar a facilidade de uso e a segurança”, disse Hiroto Nitta, vice-presidente sênior e chefe de negócios SoC em a Unidade de Negócios de IoT e Infraestrutura da Renesas.

“Por meio da colaboração entre Renesas, um provedor de tecnologia de IA de imagem de baixo consumo de energia, e a Syntiant, um provedor de tecnologia de IA de voz, aceleraremos a adoção de tecnologia de IA de voz inteligente ultrapequena e de baixo consumo em sistemas embarcados e forneceremos novos soluções combinadas para clientes em todo o mundo. ”

“As interfaces de usuário baseadas em voz possibilitarão aos clientes oferecer novas experiências de usuário que trazem a próxima geração de ideias inovadoras do conceito à realidade, diz o CEO da Syntiant, Kurt Busch. “Já distribuímos mais de 15 milhões de nossos NDPs de aprendizado profundo globalmente para permitir voz sempre ativa em uma ampla variedade de aplicações de IoT industriais e de consumo. Nossa colaboração com a Renesas oferece uma solução de voz e imagem poderosa e de baixo consumo que certamente acelerará a tração entre uma base de clientes global em uma variedade de dispositivos e casos de uso. ”

O MPU Renesas RZ / V Series para AI de visão incorpora o acelerador DRP-AI (Dynamically Reconfigurable Processor-AI) exclusivo da Renesas e combina a inferência de AI de alta precisão com uma eficiência de energia que está entre as melhores do setor. Esse desempenho superior de energia elimina a necessidade de medidas de dispersão de calor, como dissipadores de calor ou ventiladores, o que reduz o custo da lista de materiais (BOM) e torna possível integrar a visão AI em uma ampla gama de aplicações embarcadas.

O chip Syntiant NDP120 incorpora recursos de IA sofisticados que podem ser usados para implementar muitas funções de voz de alta precisão e mãos livres, incluindo reconhecimento de alto-falante, detecção de palavra-chave, várias palavras de ativação e reconhecimento de comando local. Embalado com o mecanismo de inferência de rede neural Syntiant Core 2, o NDP120 também pode executar vários aplicativos simultaneamente, minimizando o consumo de energia para 1mW de bateria.

A nova solução de AI multimodal controlada por voz usa vários dispositivos mutuamente compatíveis de um portfólio mais amplo da Renesas para fornecer aos clientes uma plataforma de prototipagem elevada para um tempo de entrada no mercado mais rápido e risco reduzido. A nova solução faz parte da Renesas ' Combinações vencedoras, que apresenta combinações atraentes de produtos de processamento analógico, avançado e integrado que ajudam os clientes a acelerar seus projetos e chegar ao mercado com mais rapidez.