Renesas og Syntiant udvikler stemmestyret multimodal AI-løsning, der kombinerer avancerede vision- og stemmeteknologier

Genudgivet af Platon

Abonnenter: 0

Renesas Electronics Corporation, en førende leverandør af avancerede halvlederløsninger, og Syntiant Corp., en deep learning chip-teknologivirksomhed, der fremmer laveffekt intelligent stemme- og sensorbehandling i edge-enheder, annoncerede den fælles udvikling af en stemmestyret multimodal AI-løsning, der muliggør kontaktløs drift med lav effekt til billedbehandling i vision AI-baseret IoT og edge systemer, såsom selv-checkout-maskiner, sikkerhedskameraer og videokonferencesystemer, og smarte apparater såsom robotrengøringsenheder.

Den nye løsning kombinerer Renesas RZ/V-serien vision AI mikroprocessorenhed (MPU) og laveffekt multimodale, multifunktions Syntiant NDP120 Neural Decision Processor til at levere avancerede stemme- og billedbehandlingsfunktioner. Den fælles løsning byder på funktionalitet, der altid er tændt, med hurtig stemmeudløst aktivering fra standbytilstand for at udføre objektgenkendelse, ansigtsgenkendelse og andre synsbaserede opgaver, der er kritiske funktioner i sikkerhedskameraer og andre systemer.

For eksempel, mens brugerdefinerede stemmesignaler driver aktivering og systemdrift, sporer vision AI-genkendelse operatøradfærd og styrer driften eller udsender en advarsel, når mistænkelige handlinger opdages.

Den multimodale arkitektur gør det nemmere at skabe kontaktløse brugeroplevelser for vision AI-baserede systemer. Brug af en dedikeret, strømeffektiv chip til stemmegenkendelse reducerer standby-strømforbruget, samtidig med at systemudviklingen fremskyndes, fordi det er muligt at udvikle software uafhængigt af vision AI-funktionaliteten.

"Vi forventer, at efterspørgslen efter multimodale systemer, der bruger flere strømme af input-information, både billede og stemme, vil stige fremover som en måde at forbedre både brugervenlighed og sikkerhed," siger Hiroto Nitta, senior vice president og leder af SoC business i IoT and Infrastructure Business Unit hos Renesas.

"Gennem samarbejdet mellem Renesas, en udbyder af laveffekt billed-AI-teknologi, og Syntiant, en udbyder af stemme-AI-teknologi, vil vi fremskynde indførelsen af lav-effekt, ultra-lille smart voice AI-teknologi i indlejrede systemer og levere nye kombinerede løsninger til kunder globalt."

“Stemmebaserede brugergrænseflader vil gøre det muligt for kunderne at levere nye brugeroplevelser, der bringer næste generation af innovative ideer fra koncept til virkelighed, siger Syntiant CEO Kurt Busch. "Vi har allerede afsendt mere end 15 millioner af vores deep learning NDP'er globalt for at muliggøre altid-on-tale i en bred vifte af forbruger- og industrielle IoT-applikationer. Vores samarbejde med Renesas leverer en kraftfuld stemme- og billedløsning med lav effekt, der med sikkerhed vil accelerere trækkraften blandt en global kundebase i en række forskellige enheder og anvendelsesmuligheder."

Renesas RZ/V Series MPU til vision AI inkorporerer Renesas' eksklusive DRP-AI (Dynamically Reconfigurable Processor-AI) accelerator og kombinerer højpræcision AI-inferens med en strømeffektivitet, der er blandt de bedste i branchen. Denne overlegne effektydelse eliminerer behovet for varmespredningsforanstaltninger såsom køleplader eller køleventilatorer, hvilket reducerer styklisteomkostningerne og gør det muligt at integrere vision AI i en bred vifte af indlejrede applikationer.

Syntiant NDP120-chippen inkorporerer sofistikerede AI-egenskaber, der kan bruges til at implementere mange håndfri stemmefunktioner med høj præcision, herunder højttalergenkendelse, nøgleordsgenkendelse, flere vågne ord og lokal kommandogenkendelse. Pakket med Syntiant Core 2 neurale netværksinferensmotor, kan NDP120 også køre flere applikationer samtidigt, mens strømforbruget minimeres til 1mW batteristrøm.

Den nye stemmestyrede multimodale AI-løsning bruger flere gensidigt kompatible enheder fra en bredere Renesas-portefølje for at give kunderne en forhøjet prototypeplatform for hurtigere time to market og reduceret risiko. Den nye løsning er en del af Renesas' Vindende kombinationer, som har overbevisende analoge, kraftfulde og indlejrede behandlingsproduktkombinationer, der hjælper kunder med at accelerere deres design og komme hurtigere på markedet.