Renesas ja Syntiant arendavad hääljuhitavat multimodaalset AI-lahendust, mis ühendab täiustatud nägemis- ja hääletehnoloogiad

Taasavaldanud Platon

järgijaid: 0

Renesas Electronics Corporation, täiustatud pooljuhtlahenduste juhtiv tarnija ja Syntiant Corp., süvaõppekiibi tehnoloogiaettevõte, mis edendab väikese võimsusega intelligentset hääle- ja andurite töötlemist servaseadmetes, teatas hääljuhitava multimodaalse AI-lahenduse ühisest väljatöötamisest, mis võimaldab vähese võimsusega kontaktivaba toimimist pilditöötluseks nägemis-AI-põhises IoT-s ja servas. süsteemid, nagu iseteeninduslikud kassamasinad, turvakaamerad ja videokonverentsisüsteemid, ning nutikad seadmed, nagu robotpuhastusseadmed.

Uus lahendus ühendab endas Renesad RZ/V seeria vision AI mikroprotsessorüksus (MPU) ja väikese võimsusega multimodaalne, mitme funktsiooniga Syntiant NDP120 Neuraalne otsustusprotsessor täiustatud hääle- ja pilditöötlusvõimaluste pakkumiseks. Ühislahendus sisaldab alati sisselülitatud funktsionaalsust koos kiire häälega aktiveerimisega ooterežiimist, et täita objektituvastust, näotuvastust ja muid nägemispõhiseid ülesandeid, mis on turvakaamerate ja muude süsteemide kriitilised funktsioonid.

Näiteks kui kasutaja määratud hääljuhised juhivad aktiveerimist ja süsteemi tööd, jälgib nägemis-AI-tuvastus operaatori käitumist ja juhib tegevust või annab hoiatuse, kui tuvastatakse kahtlased tegevused.

Multimodaalne arhitektuur muudab AI-põhiste süsteemide jaoks kontaktivaba kasutuskogemuse loomise lihtsamaks. Spetsiaalse energiatõhusa kiibi kasutamine hääletuvastuseks vähendab ooterežiimi energiatarbimist, kiirendades samal ajal süsteemi arendamist, kuna tarkvara on võimalik arendada sõltumatult visiooni AI funktsioonidest.

"Eeldame, et nõudlus multimodaalsete süsteemide järele, mis kasutavad mitut sisendteabevoogu nii pilti kui ka häält, kasvab edasi liikudes, et parandada nii kasutuslihtsust kui ka ohutust," ütleb Hiroto Nitta, vanem asepresident ja SoC ärijuht. Renesase asjade Interneti ja infrastruktuuri äriüksus.

„Väikese võimsusega pildi-AI-tehnoloogia pakkuja Renesase ja hääl-AI-tehnoloogia pakkuja Syntiant vahelise koostöö kaudu kiirendame vähese energiatarbega üliväikese nutika hääle-AI tehnoloogia kasutuselevõttu manustatud süsteemides ja tarnime uusi. kombineeritud lahendused klientidele kogu maailmas.

"Häälepõhised kasutajaliidesed võimaldavad klientidel pakkuda uusi kasutajakogemusi, mis viivad järgmise põlvkonna uuenduslikud ideed kontseptsioonist reaalsusesse," ütleb Syntianti tegevjuht Kurt Busch. „Oleme juba üle 15 miljoni oma süvaõppe NDP-d üle maailma tarninud, et võimaldada alati sisse lülitatud häält paljudes tarbija- ja tööstuslike asjade Interneti rakendustes. Meie koostöö Renesasega pakub võimsat vähese energiatarbega hääle- ja pildilahendust, mis kindlasti kiirendab globaalse kliendibaasi veojõudu mitmesugustes seadmetes ja kasutusjuhtudes.

Renesase RZ/V-seeria MPU nägemis-AI jaoks sisaldab Renesase eksklusiivset DRP-AI (dünaamiliselt ümberkonfigureeritav protsessor-AI) kiirendit ja ühendab ülitäpse AI järelduse energiatõhususega, mis on üks tööstuse parimaid. See suurepärane jõudlus välistab vajaduse soojuse hajutamise meetmete, näiteks jahutusradiaatorite või jahutusventilaatorite järele, mis vähendab materjaliarve (BOM) kulusid ja võimaldab integreerida nägemis-AI-d paljude sisseehitatud rakendustega.

Kiip Syntiant NDP120 sisaldab keerukaid tehisintellekti võimalusi, mida saab kasutada paljude ülitäpsete ja käed-vabad häälfunktsioonide rakendamiseks, sealhulgas kõlarite tuvastamine, märksõna tuvastamine, mitme äratussõna ja kohalike käskude tuvastamine. NDP2, mis on varustatud Syntiant Core 120 närvivõrgu järeldusmootoriga, suudab samaaegselt käivitada ka mitut rakendust, minimeerides samal ajal energiatarbimise 1 mW akuni.

Uus hääljuhtimisega multimodaalne AI-lahendus kasutab laiema Renesase portfelli mitut üksteisega ühilduvat seadet, et pakkuda klientidele kõrgendatud prototüüpimisplatvormi, mis kiirendab turule jõudmist ja vähendab riski. Uus lahendus on osa Renesase Võidukombinatsioonid, mis sisaldavad mõjuvaid analoog-, võimsus- ja manustatud töötlemistoodete kombinatsioone, mis aitavad klientidel oma disaini kiirendada ja kiiremini turule jõuda.