Renesas och Syntiant utvecklar röststyrd multimodal AI-lösning som kombinerar avancerad vision och röstteknik

Återutgiven av Platon

anhängare: 0

Renesas Electronics Corporation, en ledande leverantör av avancerade halvledarlösningar, och Syntiant Corp., ett djupinlärningschipteknologiföretag som avancerar intelligent röst- och sensorbearbetning med låg effekt i edge-enheter, tillkännagav den gemensamma utvecklingen av en röststyrd multimodal AI-lösning som möjliggör kontaktlös drift med låg effekt för bildbehandling i vision AI-baserad IoT och edge system, som självutcheckningsmaskiner, säkerhetskameror och videokonferenssystem, och smarta apparater som robotrengöring.

Den nya lösningen kombinerar Renesas RZ/V-serien vision AI mikroprocessorenhet (MPU) och lågeffekts multimodala, multifunktions Syntiant NDP120 Neural Decision Processor för att leverera avancerad röst- och bildbehandlingsfunktioner. Den gemensamma lösningen har alltid-på-funktionalitet med snabb röstutlöst aktivering från standby-läge för att utföra objektigenkänning, ansiktsigenkänning och andra synbaserade uppgifter som är kritiska funktioner i säkerhetskameror och andra system.

Till exempel, medan användardefinierade röstsignaler driver aktivering och systemdrift, spårar vision AI-igenkänning operatörens beteende och styr driften eller utfärdar en varning när misstänkta handlingar upptäcks.

Den multimodala arkitekturen gör det lättare att skapa kontaktlösa användarupplevelser för vision AI-baserade system. Att använda ett dedikerat, energieffektivt chip för röstigenkänning minskar strömförbrukningen i standbyläge samtidigt som systemutvecklingen påskyndas eftersom det är möjligt att utveckla programvara oberoende av vision AI-funktionaliteten.

"Vi förväntar oss att efterfrågan på multimodala system som använder flera strömmar av indatainformation både bild och röst kommer att öka framåt som ett sätt att förbättra både användarvänlighet och säkerhet", säger Hiroto Nitta, senior vice president och chef för SoC-verksamheten i affärsenheten IoT och infrastruktur på Renesas.

"Genom samarbetet mellan Renesas, en leverantör av lågeffekts bild-AI-teknik, och Syntiant, en leverantör av röst-AI-teknik, kommer vi att påskynda införandet av lågeffekts, ultraliten smart röst-AI-teknik i inbyggda system och leverera nya kombinerade lösningar till kunder globalt.”

"Röstbaserade användargränssnitt kommer att göra det möjligt för kunder att leverera nya användarupplevelser som för nästa generations innovativa idéer från idé till verklighet, säger Syntiants vd Kurt Busch. "Vi har redan skickat mer än 15 miljoner av våra NDP:er för djupinlärning globalt för att möjliggöra ständig röst i en mängd olika konsument- och industriella IoT-applikationer. Vårt samarbete med Renesas levererar en kraftfull, energisnål röst- och bildlösning som säkerligen kommer att accelerera dragkraften bland en global kundbas i en mängd olika enheter och användningsfall.”

Renesas RZ/V Series MPU för vision AI innehåller Renesas exklusiva DRP-AI (Dynamically Reconfigurable Processor-AI)-accelerator och kombinerar högprecision AI-inferens med en effekteffektivitet som är bland de bästa i branschen. Denna överlägsna kraftprestanda eliminerar behovet av värmespridningsåtgärder såsom kylflänsar eller kylfläktar, vilket minskar materialkostnaden (BOM) och gör det möjligt att integrera vision AI i ett brett utbud av inbyggda applikationer.

Syntiant NDP120-chippet innehåller sofistikerade AI-funktioner som kan användas för att implementera många högprecisions-, handsfree-röstfunktioner, inklusive högtalarigenkänning, nyckelordsdetektering, flera vakna ord och lokal kommandoigenkänning. Förpackad med Syntiant Core 2-motorn för neural nätverksinferens, kan NDP120 också köra flera applikationer samtidigt samtidigt som strömförbrukningen minimeras till 1mW batterikraft.

Den nya röststyrda multimodala AI-lösningen använder flera ömsesidigt kompatibla enheter från en bredare Renesas-portfölj för att ge kunderna en förhöjd prototypplattform för snabbare tid till marknaden och minskad risk. Den nya lösningen är en del av Renesas Vinnande kombinationer, som har övertygande kombinationer av analoga, kraftfulla och inbyggda bearbetningsprodukter som hjälper kunder att accelerera sin design och komma ut på marknaden snabbare.