Renesas And Syntiant Develop Voice-controlled Multimodal AI Solution Combining Advanced Vision And Voice Technologies

Перевидано Платоном

читають: 0

Renesas Electronics Corporation, провідний постачальник вдосконалених напівпровідникових рішень, і Syntian Corp., компанія, що займається технологією глибокого вивчення мікросхем, просуваючи інтелектуальну обробку голосу та датчиків низької потужності у крайніх пристроях, оголосила про спільну розробку мультимодального рішення штучного інтелекту з керованим голосом, що забезпечує безконтактну роботу з низькою потужністю для обробки зображень в IoT на базі штучного інтелекту та краю системи, такі як машини самоперевірки, камери безпеки та системи відеоконференцій, та розумні прилади, такі як роботизовані пристрої для чищення.

Нове рішення поєднує в собі Renesas Серія RZ / V Vision AI мікропроцесорний блок (MPU) та малопотужний мультимодальний багатофункціональний Syntiant NDP120 Нейронний процесор рішень для розширених можливостей обробки голосу та зображень. Спільне рішення має постійну функціональність з швидкою голосовою активацією з режиму очікування для розпізнавання об’єктів, розпізнавання обличчя та інших завдань на основі зору, які є критично важливими функціями в камерах безпеки та інших системах.

Наприклад, коли визначені користувачем голосові сигнали керують активацією та роботою системи, розпізнавання AI зору відстежує поведінку оператора та контролює роботу або видає попередження при виявленні підозрілих дій.

Мультимодальна архітектура полегшує створення безконтактного користувацького досвіду для систем, що базуються на ШІ. Використання спеціального, енергоефективного чіпа для розпізнавання голосу зменшує споживання енергії в режимі очікування, пришвидшуючи розробку системи, оскільки можна розробляти програмне забезпечення незалежно від функціональних можливостей ШІ.

"Ми передбачаємо, що попит на мультимодальні системи, які використовують декілька потоків вхідної інформації, як зображення, так і голосу, збільшить просування вперед, як спосіб покращення як простоти використання, так і безпеки", - говорить Хірото Нітта, старший віце-президент і керівник бізнесу SoC у підрозділ IoT та інфраструктури в Ренесасі.

«Завдяки співпраці між Renesas, постачальником технології штучного інтелекту з низьким рівнем енергії, та Syntiant, постачальником технологій голосового штучного інтелекту, ми пришвидшимо впровадження у вбудовані системи надпотужної інтелектуальної технології голосового штучного інтелекту з низьким енергоспоживанням та надамо нові комбіновані рішення для клієнтів у всьому світі ".

«Голосові користувальницькі інтерфейси дозволять клієнтам надавати нові враження від користувачів, які перетворюють наступне покоління інноваційних ідей від концепції до реальності, - каже генеральний директор Syntiant Курт Буш. «Ми вже поставили понад 15 мільйонів наших глибоко вивчених ПНР у всьому світі, щоб забезпечити постійний голос у широкому спектрі споживчих та промислових програм IoT. Наша співпраця з Renesas забезпечує потужне, малопотужне рішення для голосу та зображення, яке, безсумнівно, прискорить тягу серед світової клієнтської бази у різноманітних пристроях та випадках використання ».

MPU серії Renesas RZ / V для зору AI включає ексклюзивний прискорювач DRP-AI (динамічно переконфігуруваний процесор AI) Renesas та поєднує високоточний висновок AI з енергоефективністю, яка є однією з найкращих у галузі. Ця чудова потужність усуває необхідність у розподілі тепла, таких як радіатори або вентилятори охолодження, що зменшує вартість матеріалу (BOM) і дає можливість інтегрувати Vision AI у широкий спектр вбудованих програм.

Мікросхема Syntiant NDP120 включає в себе розширені можливості штучного інтелекту, які можуть бути використані для реалізації багатьох високоточних голосових функцій "вільні руки", включаючи розпізнавання динаміків, виявлення ключових слів, кілька слів пробудження та локальне розпізнавання команд. У комплекті з механізмом виведення нейронних мереж Syntiant Core 2 NDP120 може одночасно запускати кілька додатків, мінімізуючи споживання енергії до заряду батареї 1 мВт.

У новому мультимодальному рішенні штучного інтелекту, керованому голосом, використовуються декілька взаємосумісних пристроїв із більш широкого асортименту Renesas, щоб надати клієнтам підвищену платформу для створення прототипів для швидшого виходу на ринок та зменшення ризику. Нове рішення є частиною Renesas Виграшні комбінації, які мають переконливі аналогові, енергетичні та вбудовані комбінації продуктів обробки, які допомагають клієнтам пришвидшити дизайн та швидше вийти на ринок.