Renesas And Syntiant Develop Voice-controlled Multimodal AI Solution Combining Advanced Vision And Voice Technologies

Diterbitkan Ulang Oleh Plato

Followers: 0

Perusahaan Elektronik Renesas, pemasok utama solusi semikonduktor canggih, dan Syntiant Corp., sebuah perusahaan teknologi chip pembelajaran mendalam yang memajukan pemrosesan suara dan sensor cerdas berdaya rendah di perangkat edge, mengumumkan pengembangan bersama solusi AI multimodal yang dikontrol suara yang memungkinkan operasi nirsentuh berdaya rendah untuk pemrosesan gambar dalam IoT dan edge berbasis vision AI. sistem, seperti mesin pembayaran mandiri, kamera keamanan, dan sistem konferensi video, serta peralatan pintar seperti perangkat pembersih robotik.

Solusi baru ini menggabungkan Renesas Seri RZ/V unit mikroprosesor (MPU) vision AI dan Syntiant multimodal berdaya rendah dan multi-fitur NDP120 Prosesor Keputusan Neural untuk menghadirkan kemampuan pemrosesan suara dan gambar tingkat lanjut. Solusi gabungan ini menghadirkan fungsionalitas yang selalu aktif dengan aktivasi cepat yang dipicu oleh suara dari mode siaga untuk melakukan pengenalan objek, pengenalan wajah, dan tugas berbasis penglihatan lainnya yang merupakan fungsi penting dalam kamera keamanan dan sistem lainnya.

Misalnya, meskipun isyarat suara yang ditentukan pengguna mendorong aktivasi dan pengoperasian sistem, pengenalan vision AI melacak perilaku operator dan mengontrol pengoperasian atau mengeluarkan peringatan ketika tindakan mencurigakan terdeteksi.

Arsitektur multimodal memudahkan untuk menciptakan pengalaman pengguna tanpa kontak untuk sistem berbasis AI vision. Menggunakan chip khusus yang hemat daya untuk pengenalan suara mengurangi konsumsi daya siaga sekaligus mempercepat pengembangan sistem karena memungkinkan untuk mengembangkan perangkat lunak secara independen dari fungsi penglihatan AI.

“Kami mengantisipasi bahwa permintaan akan sistem multimoda yang menggunakan berbagai aliran informasi masukan baik gambar maupun suara akan meningkat ke depannya sebagai cara untuk meningkatkan kemudahan penggunaan dan keselamatan,” kata Hiroto Nitta, wakil presiden senior dan kepala bisnis SoC di Unit Bisnis IoT dan Infrastruktur di Renesas.

“Melalui kolaborasi antara Renesas, penyedia teknologi AI gambar berdaya rendah, dan Syntiant, penyedia teknologi AI suara, kami akan mempercepat penerapan teknologi AI suara cerdas ultra-kecil berdaya rendah dalam sistem tertanam dan menghadirkan teknologi baru. solusi gabungan untuk pelanggan secara global.”

“Antarmuka pengguna berbasis suara akan memungkinkan pelanggan untuk memberikan pengalaman pengguna baru yang menghadirkan ide-ide inovatif generasi berikutnya dari konsep menjadi kenyataan,” kata CEO Syntiant, Kurt Busch. “Kami telah mengirimkan lebih dari 15 juta NDP pembelajaran mendalam kami secara global untuk memungkinkan suara yang selalu aktif di berbagai macam aplikasi IoT konsumen dan industri. Kolaborasi kami dengan Renesas menghadirkan solusi suara dan gambar berdaya rendah yang pasti akan mempercepat daya tarik di antara basis pelanggan global dalam berbagai perangkat dan kasus penggunaan.”

MPU Seri RZ/V Renesas untuk vision AI menggabungkan akselerator DRP-AI (Dynamically Reconfigurable Processor-AI) eksklusif Renesas dan menggabungkan inferensi AI presisi tinggi dengan efisiensi daya yang termasuk yang terbaik di industri. Performa daya yang unggul ini menghilangkan kebutuhan akan tindakan dispersi panas seperti heat sink atau kipas pendingin, sehingga mengurangi biaya bill of material (BOM) dan memungkinkan integrasi vision AI ke dalam berbagai aplikasi tertanam.

Chip Syntiant NDP120 menggabungkan kemampuan AI canggih yang dapat digunakan untuk mengimplementasikan banyak fungsi suara handsfree berpresisi tinggi, termasuk pengenalan speaker, deteksi kata kunci, beberapa kata bangun, dan pengenalan perintah lokal. Dikemas dengan mesin inferensi jaringan saraf Syntiant Core 2, NDP120 juga dapat menjalankan beberapa aplikasi secara bersamaan sekaligus meminimalkan konsumsi daya hingga daya baterai 1mW.

Solusi AI multimodal baru yang dikontrol suara menggunakan beberapa perangkat yang saling kompatibel dari portofolio Renesas yang lebih luas untuk memberi pelanggan platform pembuatan prototipe yang lebih baik untuk waktu pemasaran yang lebih cepat dan mengurangi risiko. Solusi baru ini adalah bagian dari rencana Renesas. Menangkan Kombinasi, yang menampilkan kombinasi produk pemrosesan analog, daya, dan tertanam yang menarik yang membantu pelanggan mempercepat desain mereka dan mencapai pasar lebih cepat.