Renesas en Syntiant ontwikkelen spraakgestuurde multimodale AI-oplossing die geavanceerde visie- en spraaktechnologieën combineert

Heruitgegeven door Plato

volgers: 0

Renesas Electronics Corporation, een vooraanstaande leverancier van geavanceerde halfgeleideroplossingen, en Syntiant Corp., een deep learning chiptechnologiebedrijf dat intelligente spraak- en sensorverwerking met laag vermogen in edge-apparaten bevordert, heeft de gezamenlijke ontwikkeling aangekondigd van een stemgestuurde multimodale AI-oplossing die contactloze werking met laag vermogen mogelijk maakt voor beeldverwerking in vision AI-gebaseerde IoT en edge-apparaten. systemen, zoals zelfscankassa's, beveiligingscamera's en videoconferentiesystemen, en slimme apparaten zoals robotachtige schoonmaakapparatuur.

De nieuwe oplossing combineert de Renesas RZ/V-serie vision AI-microprocessoreenheid (MPU) en de energiezuinige multimodale Syntiant met meerdere functies NDP120 Neurale beslissingsprocessor voor geavanceerde spraak- en beeldverwerkingsmogelijkheden. De gezamenlijke oplossing biedt 'altijd aan'-functionaliteit met snelle spraakgestuurde activering vanuit de stand-bymodus om objectherkenning, gezichtsherkenning en andere op visie gebaseerde taken uit te voeren die cruciale functies zijn in beveiligingscamera's en andere systemen.

Terwijl door de gebruiker gedefinieerde stemsignalen de activering en werking van het systeem aansturen, volgt vision AI-herkenning bijvoorbeeld het gedrag van de operator en regelt de werking of geeft een waarschuwing wanneer verdachte acties worden gedetecteerd.

De multimodale architectuur maakt het makkelijker om contactloze gebruikerservaringen te creëren voor op vision AI gebaseerde systemen. Het gebruik van een speciale, energiezuinige chip voor spraakherkenning vermindert het energieverbruik in stand-by en versnelt de systeemontwikkeling omdat het mogelijk is om software onafhankelijk van de vision AI-functionaliteit te ontwikkelen.

“We verwachten dat de vraag naar multimodale systemen die gebruik maken van meerdere stromen invoerinformatie, zowel beeld als stem, in de toekomst zal toenemen als een manier om zowel het gebruiksgemak als de veiligheid te verbeteren”, zegt Hiroto Nitta, senior vice-president en hoofd van SoC Business in de IoT en Infrastructuur Business Unit bij Renesas.

“Door de samenwerking tussen Renesas, een leverancier van energiezuinige beeld-AI-technologie, en Syntiant, een leverancier van spraak-AI-technologie, zullen we de adoptie van energiezuinige, ultrakleine slimme spraak-AI-technologie in embedded systemen versnellen en nieuwe oplossingen leveren. gecombineerde oplossingen voor klanten wereldwijd.”

“Voice-based user interfaces zullen het voor klanten mogelijk maken om nieuwe gebruikerservaringen te leveren die de volgende generatie innovatieve ideeën van concept naar realiteit brengen”, zegt Kurt Busch, CEO van Syntiant. “We hebben al meer dan 15 miljoen van onze deep learning NDP’s wereldwijd verzonden om ‘always-on voice’ mogelijk te maken in een breed scala aan consumenten- en industriële IoT-toepassingen. Onze samenwerking met Renesas levert een krachtige, energiezuinige spraak- en beeldoplossing op die zeker de tractie onder een wereldwijd klantenbestand zal versnellen in een verscheidenheid aan apparaten en gebruiksscenario’s.”

De Renesas RZ/V-serie MPU voor vision AI bevat de exclusieve DRP-AI-accelerator (Dynamically Reconfigurable Processor-AI) van Renesas en combineert uiterst nauwkeurige AI-inferentie met een energie-efficiëntie die tot de beste in de branche behoort. Deze superieure energieprestaties elimineren de noodzaak van maatregelen voor warmteverspreiding, zoals koellichamen of koelventilatoren, waardoor de stuklijstkosten (BOM) worden verlaagd en het mogelijk wordt gemaakt om vision AI te integreren in een breed scala aan ingebedde toepassingen.

De Syntiant NDP120-chip bevat geavanceerde AI-mogelijkheden die kunnen worden gebruikt om veel uiterst nauwkeurige, handsfree stemfuncties te implementeren, waaronder luidsprekerherkenning, trefwoorddetectie, meerdere wake-words en lokale commandoherkenning. De NDP2 is uitgerust met de Syntiant Core 120 neurale netwerkinferentie-engine en kan ook meerdere applicaties tegelijkertijd uitvoeren, terwijl het energieverbruik wordt geminimaliseerd tot 1 mW batterijvermogen.

De nieuwe spraakgestuurde multimodale AI-oplossing maakt gebruik van meerdere onderling compatibele apparaten uit het bredere Renesas-portfolio om klanten een verhoogd prototypingplatform te bieden voor een snellere time-to-market en minder risico. De nieuwe oplossing maakt deel uit van Renesas' Winnende combinaties, die overtuigende analoge, krachtige en ingebedde verwerkingsproductcombinaties bevatten waarmee klanten hun ontwerpen kunnen versnellen en sneller op de markt kunnen komen.