Renesas ja Syntant kehittävät puheohjattua multimodaalista tekoälyratkaisua, jossa yhdistyvät edistyneet visio- ja ääniteknologiat

Julkaissut Platon

seuraajia: 0

Renesas Electronics Corporation, edistyneiden puolijohderatkaisujen johtava toimittaja, ja Syntiant Corp., syväoppimissiruteknologiayritys, joka edistää pienitehoista älykästä äänen ja anturien käsittelyä reunalaitteissa, ilmoitti yhteisestä puheohjatun multimodaalisen tekoälyratkaisun kehittämisestä, joka mahdollistaa pienitehoisen kontaktittoman toiminnan kuvankäsittelyssä vision AI-pohjaisessa IoT:ssä ja Edgessä. järjestelmät, kuten kassakoneet, turvakamerat ja videoneuvottelujärjestelmät, ja älykkäät laitteet, kuten robottipuhdistuslaitteet.

Uusi ratkaisu yhdistää Renesat RZ/V-sarja vision AI -mikroprosessoriyksikkö (MPU) ja pienitehoinen multimodaalinen, monitoimintoinen Syntant NDP120 Neuraalinen päätösprosessori tarjoaa edistyneitä äänen- ja kuvankäsittelyominaisuuksia. Yhteisratkaisussa on aina päällä oleva toiminnallisuus ja nopea äänikäynnistetty aktivointi valmiustilasta kohteentunnistuksen, kasvojentunnistuksen ja muiden valvontakameroiden ja muiden järjestelmien kriittisten toimintojen suorittamiseen.

Esimerkiksi, kun käyttäjän määrittämät ääniohjeet ohjaavat aktivointia ja järjestelmän toimintaa, vision AI -tunnistus seuraa käyttäjän käyttäytymistä ja ohjaa toimintaa tai antaa varoituksen, kun epäilyttäviä toimia havaitaan.

Multimodaalinen arkkitehtuuri helpottaa kontaktittomien käyttökokemusten luomista vision AI -pohjaisiin järjestelmiin. Erillisen, virtaa säästävän sirun käyttö puheentunnistukseen vähentää valmiustilan virrankulutusta ja nopeuttaa järjestelmän kehitystä, koska ohjelmistoa on mahdollista kehittää vision AI -toiminnallisuudesta riippumatta.

"Odotamme, että multimodaalisten järjestelmien, jotka käyttävät useita syöttötietovirtoja sekä kuvaa että ääntä, kysyntä kasvaa eteenpäin, jotta voidaan parantaa sekä käytön helppoutta että turvallisuutta", sanoo Hiroto Nitta, SoC-liiketoiminnan johtaja. Renesasin IoT- ja infrastruktuuriliiketoimintayksikkö.

”Vähätehoisen kuvan tekoälyteknologian toimittajan Renesasin ja puhe-AI-teknologian toimittajan Syntiantin välisen yhteistyön avulla nopeuttamme vähätehoisen, erittäin pienen älykkään ääniälyteknologian käyttöönottoa sulautetuissa järjestelmissä ja toimitamme uusia yhdistettyjä ratkaisuja asiakkaille maailmanlaajuisesti.”

”Puhepohjaisten käyttöliittymien avulla asiakkaat voivat tarjota uusia käyttökokemuksia, jotka tuovat seuraavan sukupolven innovatiivisia ideoita konseptista todellisuuteen”, sanoo Syntiantin toimitusjohtaja Kurt Busch. "Olemme jo toimittaneet yli 15 miljoonaa syvän oppimisen NDP-ohjelmaamme maailmanlaajuisesti mahdollistaaksemme jatkuvasti puheen monenlaisissa kuluttajien ja teollisuuden IoT-sovelluksissa. Yhteistyömme Renesasin kanssa tarjoaa tehokkaan, vähän virtaa kuluttavan ääni- ja kuvaratkaisun, joka varmasti nopeuttaa pitoa maailmanlaajuisen asiakaskunnan keskuudessa erilaisissa laitteissa ja käyttötapauksissa.

Renesas RZ/V -sarjan MPU vision AI:lle sisältää Renesasin ainutlaatuisen DRP-AI (Dynamically Reconfigurable Processor-AI) -kiihdytin ja yhdistää erittäin tarkan tekoälyn päättelyn tehokkuuteen, joka on alan parhaita. Tämä ylivoimainen tehonsuorituskyky eliminoi lämmönhajautustoimenpiteiden, kuten jäähdytyslevyjen tai jäähdytystuulettimien, tarpeen, mikä vähentää materiaalikuluja (BOM) ja mahdollistaa vision AI:n integroinnin moniin sulautettuihin sovelluksiin.

Syntiant NDP120 -siru sisältää kehittyneitä tekoälyominaisuuksia, joita voidaan käyttää monien erittäin tarkkojen handsfree-äänitoimintojen toteuttamiseen, mukaan lukien kaiuttimen tunnistus, avainsanan tunnistus, useat herätyssanat ja paikallinen komentotunnistus. Syntiant Core 2 -hermoverkkopäätelmämoottorilla pakattuna NDP120 voi myös käyttää useita sovelluksia samanaikaisesti minimoimalla virrankulutuksen 1 mW:n akun tehoon.

Uusi ääniohjattu multimodaalinen AI-ratkaisu käyttää useita keskenään yhteensopivia laitteita laajemmasta Renesas-valikoimasta tarjotakseen asiakkaille paremman prototyyppialustan, joka nopeuttaa markkinoille tuloa ja vähentää riskejä. Uusi ratkaisu on osa Renesasin Voittavat yhdistelmät, joissa on vakuuttavia analogisia, teho- ja sulautettuja prosessointituoteyhdistelmiä, jotka auttavat asiakkaita nopeuttamaan suunnitteluaan ja pääsemään markkinoille nopeammin.