Renesas And Syntiant Develop Voice-controlled Multimodal AI Solution Combining Advanced Vision And Voice Technologies

Republicat de Platon

Urmaritori: 0

Renesas Electronics Corporation, un furnizor de prim rang de soluții avansate de semiconductori și Syntiant Corp., o companie de tehnologie cu cip de învățare profundă care promovează procesarea inteligentă a vocii și a senzorilor de putere redusă în dispozitivele de vârf, a anunțat dezvoltarea în comun a unei soluții AI multimodale controlate prin voce care permite operarea fără contact cu putere redusă pentru procesarea imaginilor în IoT și edge bazate pe AI. sisteme, cum ar fi aparatele de auto-checkout, camerele de securitate și sistemele de videoconferință și aparatele inteligente, cum ar fi dispozitivele robotizate de curățare.

Noua soluție combină Renesas Seria RZ/V unitatea de microprocesor vision AI (MPU) și Syntiant, multimodal, cu funcții multiple, de putere redusă NDP120 Neural Decision Processor pentru a oferi capabilități avansate de procesare a vocii și imaginilor. Soluția comună oferă funcționalitate permanentă cu activare rapidă declanșată de voce din modul de așteptare pentru a efectua recunoașterea obiectelor, recunoașterea facială și alte sarcini bazate pe viziune care sunt funcții critice în camerele de securitate și alte sisteme.

De exemplu, în timp ce indicațiile vocale definite de utilizator conduc la activarea și funcționarea sistemului, recunoașterea AI prin viziune urmărește comportamentul operatorului și controlează funcționarea sau emite un avertisment atunci când sunt detectate acțiuni suspecte.

Arhitectura multimodală facilitează crearea de experiențe de utilizator fără contact pentru sistemele bazate pe viziune AI. Folosirea unui cip dedicat, eficient din punct de vedere energetic pentru recunoașterea vocii, reduce consumul de energie în standby, accelerând în același timp dezvoltarea sistemului, deoarece este posibil să se dezvolte software independent de funcționalitatea viziune AI.

„Apreciem că cererea pentru sisteme multimodale care utilizează mai multe fluxuri de informații de intrare, atât imaginea, cât și vocea, va crește în viitor, ca o modalitate de a îmbunătăți atât ușurința de utilizare, cât și siguranța”, spune Hiroto Nitta, vicepreședinte senior și șeful afacerii SoC în unitatea de afaceri IoT și infrastructură de la Renesas.

„Prin colaborarea dintre Renesas, un furnizor de tehnologie AI de imagine cu putere redusă, și Syntiant, un furnizor de tehnologie AI vocală, vom accelera adoptarea tehnologiei AI de voce inteligentă de mică putere și ultra-mică în sistemele încorporate și vom oferi noi soluții combinate pentru clienții la nivel global.”

„Interfețele de utilizator bazate pe voce vor face posibil ca clienții să ofere noi experiențe de utilizator care să aducă următoarea generație de idei inovatoare de la concept la realitate”, spune CEO-ul Syntiant Kurt Busch. „Am livrat deja peste 15 milioane dintre NDP-urile noastre de deep learning la nivel global pentru a permite vocea permanentă într-o mare varietate de aplicații IoT pentru consumatori și industriale. Colaborarea noastră cu Renesas oferă o soluție puternică, de voce și imagine cu putere redusă, care va accelera cu siguranță tracțiunea în rândul unei baze globale de clienți într-o varietate de dispozitive și cazuri de utilizare.”

Seria MPU Renesas RZ/V pentru viziune AI încorporează acceleratorul exclusiv DRP-AI (Dynamically Reconfigurable Processor-AI) de la Renesas și combină inferența AI de înaltă precizie cu o eficiență energetică care este printre cele mai bune din industrie. Această performanță superioară a puterii elimină necesitatea măsurilor de dispersie a căldurii, cum ar fi radiatoarele sau ventilatoarele de răcire, ceea ce reduce costul listei de materiale (BOM) și face posibilă integrarea vizionarii AI într-o gamă largă de aplicații încorporate.

Cipul Syntiant NDP120 încorporează capabilități AI sofisticate care pot fi folosite pentru a implementa multe funcții vocale de înaltă precizie, hands-free, inclusiv recunoașterea vorbitorului, detectarea cuvintelor cheie, cuvintele de trezire multiple și recunoașterea comenzilor locale. Impachetat cu motorul de inferență al rețelei neuronale Syntiant Core 2, NDP120 poate rula, de asemenea, mai multe aplicații simultan, reducând în același timp consumul de energie la 1 mW de putere a bateriei.

Noua soluție de inteligență artificială multimodală controlată prin voce utilizează mai multe dispozitive compatibile reciproc din portofoliul mai larg Renesas pentru a oferi clienților o platformă de prototipare ridicată pentru un timp de lansare mai rapid pe piață și un risc redus. Noua soluție face parte din Renesas Combinații câștigătoare, care oferă combinații convingătoare de produse analogice, de putere și de procesare încorporată care îi ajută pe clienți să-și accelereze proiectele și să ajungă mai rapid pe piață.