Renesas og Syntiant utvikler stemmestyrt multimodal AI-løsning som kombinerer avansert syn og stemmeteknologi

Publisert av Platon

Følgere: 0

Renesas Electronics Corporation, en ledende leverandør av avanserte halvlederløsninger, og Syntiant Corp., et selskap med dyp læringsbrikke-teknologi som fremmer laveffekt intelligent stemme- og sensorbehandling i kantenheter, kunngjorde felles utvikling av en stemmestyrt multimodal AI-løsning som muliggjør kontaktløs drift med lav effekt for bildebehandling i visjon AI-basert IoT og edge systemer, for eksempel selvbetjeningsmaskiner, sikkerhetskameraer og videokonferansesystemer, og smarte apparater som robotrensende enheter.

Den nye løsningen kombinerer Renesas RZ/V -serien vision AI mikroprosessorenhet (MPU) og laveffekt multimodal, multi-funksjon Syntiant NDP120 Nevral beslutningsprosessor for å levere avanserte tale- og bildebehandlingsmuligheter. Fellesløsningen har alltid funksjonalitet med rask stemmeaktivering fra standby-modus for å utføre gjenkjenning av gjenstander, ansiktsgjenkjenning og andre visjonsbaserte oppgaver som er viktige funksjoner i sikkerhetskameraer og andre systemer.

For eksempel, mens brukerdefinerte talesignaler driver aktivering og systemdrift, sporer AI-gjenkjenning operatøradferd og kontrollerer driften eller utsteder en advarsel når mistenkelige handlinger oppdages.

Den multimodale arkitekturen gjør det lettere å lage kontaktløse brukeropplevelser for visjon AI-baserte systemer. Ved å bruke en dedikert, energieffektiv brikke for stemmegjenkjenning reduseres strømforbruket i standby samtidig som systemets utvikling blir raskere fordi det er mulig å utvikle programvare uavhengig av visjonen AI-funksjonalitet.

"Vi regner med at etterspørselen etter multimodale systemer som bruker flere strømmer av inputinformasjon, både bilde og stemme, vil øke fremover som en måte å forbedre både brukervennlighet og sikkerhet," sier Hiroto Nitta, senior visepresident og leder for SoC business i forretningsenheten IoT og infrastruktur i Renesas.

“Gjennom samarbeidet mellom Renesas, en leverandør av laveffekt-AI-teknologi for teknologi, og Syntiant, en leverandør av stemme-AI-teknologi, vil vi akselerere adopsjonen av lav-effekt, ultraliten smart stemme-AI-teknologi i innebygde systemer og levere ny kombinerte løsninger til kunder globalt. ”

"Stemmebaserte brukergrensesnitt vil gjøre det mulig for kundene å levere nye brukeropplevelser som bringer neste generasjon innovative ideer fra konsept til virkelighet, sier Syntiant-sjef Kurt Busch. “Vi har allerede sendt mer enn 15 millioner av våre NDP-programmer for dyp læring globalt for å muliggjøre alltid pågående stemme i et bredt spekter av forbruker- og industrielle IoT-applikasjoner. Vårt samarbeid med Renesas leverer en kraftig, laveffektiv stemme- og bildeløsning som helt sikkert vil akselerere trekkraften blant en global kundebase i en rekke enheter og brukstilfeller. ”

Renesas RZ/V-serien MPU for visjon AI inneholder Renesas 'eksklusive DRP-AI (Dynamically Reconfigurable Processor-AI) akselerator og kombinerer høy presisjon AI slutning med en energieffektivitet som er blant de beste i bransjen. Denne overlegne effektytelsen eliminerer behovet for varmespredningstiltak som kjøleribber eller kjølevifter, noe som reduserer materialkostnaden (BOM) og gjør det mulig å integrere visjon AI i et bredt spekter av innebygde applikasjoner.

Syntiant NDP120-brikken inneholder sofistikerte AI-funksjoner som kan brukes til å implementere mange høypresisjons, håndfrie talefunksjoner, inkludert høyttalergjenkjenning, søkeordgjenkjenning, flere vekkeord og lokal kommandogjenkjenning. Pakket med Syntiant Core 2 nevrale nettverksinferansemotor, kan NDP120 også kjøre flere applikasjoner samtidig, samtidig som strømforbruket reduseres til 1 mW batteristrøm.

Den nye stemmestyrte multimodale AI-løsningen bruker flere gjensidig kompatible enheter fra en bredere Renesas-portefølje for å gi kundene en forhøyet prototypeplattform for raskere markedsføringstid og redusert risiko. Den nye løsningen er en del av Renesas ' Vinnende kombinasjoner, som inneholder overbevisende kombinasjoner av analoge, kraftige og innebygde prosessorer som hjelper kunder med å akselerere designene sine og komme seg raskere ut på markedet.