Renesas And Syntiant Develop Voice-controlled Multimodal AI Solution Combining Advanced Vision And Voice Technologies

Переиздано Платоном

Читают: 0

Renesas Electronics Corporation, ведущего поставщика передовых полупроводниковых решений, и Компания Синтиант., компания, занимающаяся разработкой чипов глубокого обучения, продвигающая маломощную интеллектуальную обработку голоса и датчиков в периферийных устройствах, объявила о совместной разработке мультимодального решения искусственного интеллекта с голосовым управлением, которое обеспечивает бесконтактную работу с низким энергопотреблением для обработки изображений в системах машинного зрения на базе искусственного интеллекта и Интернета вещей. системы, такие как кассы самообслуживания, камеры видеонаблюдения и системы видеоконференций, а также интеллектуальные устройства, такие как роботизированные устройства для уборки.

Новое решение сочетает в себе возможности Renesas Серия RZ/V микропроцессор Vision AI (MPU) и маломощный мультимодальный многофункциональный Syntiant НДП120 Процессор нейронных решений, обеспечивающий расширенные возможности обработки голоса и изображений. Совместное решение обеспечивает постоянную функциональность с быстрой голосовой активацией из режима ожидания для выполнения распознавания объектов, распознавания лиц и других задач, основанных на зрении, которые являются критически важными функциями в камерах видеонаблюдения и других системах.

Например, в то время как определяемые пользователем голосовые сигналы управляют активацией и работой системы, распознавание машинного зрения отслеживает поведение оператора и контролирует работу или выдает предупреждение при обнаружении подозрительных действий.

Мультимодальная архитектура упрощает создание бесконтактных пользовательских интерфейсов для систем Vision на основе искусственного интеллекта. Использование специального энергоэффективного чипа для распознавания голоса снижает энергопотребление в режиме ожидания и ускоряет разработку системы, поскольку можно разрабатывать программное обеспечение независимо от функций Vision AI.

«Мы ожидаем, что спрос на мультимодальные системы, которые используют несколько потоков входной информации, как изображения, так и голоса, будет расти в будущем как способ повышения простоты использования и безопасности», — говорит Хирото Нитта, старший вице-президент и руководитель подразделения SoC в США. бизнес-подразделение Интернета вещей и инфраструктуры в Renesas.

«Благодаря сотрудничеству между Renesas, поставщиком технологии искусственного интеллекта для изображений с низким энергопотреблением, и Syntiant, поставщиком технологий голосового искусственного интеллекта, мы ускорим внедрение маломощной, сверхмалой технологии интеллектуального голосового искусственного интеллекта во встроенные системы и предоставим новые комбинированные решения для клиентов по всему миру».

«Голосовые пользовательские интерфейсы позволят клиентам предоставлять новый пользовательский опыт, который воплощает инновационные идеи следующего поколения из концепции в реальность», — говорит генеральный директор Syntiant Курт Буш. «Мы уже отправили более 15 миллионов наших NDP глубокого обучения по всему миру, чтобы обеспечить постоянную голосовую связь в широком спектре потребительских и промышленных приложений IoT. Наше сотрудничество с Renesas обеспечивает мощное, маломощное решение для передачи голоса и изображений, которое, несомненно, ускорит распространение среди глобальной клиентской базы на различных устройствах и в различных сценариях использования».

MPU серии Renesas RZ/V для искусственного интеллекта включает в себя эксклюзивный ускоритель Renesas DRP-AI (динамически реконфигурируемый процессор-AI) и сочетает в себе высокоточный вывод искусственного интеллекта с одной из лучших в отрасли энергоэффективностью. Эти превосходные показатели энергопотребления устраняют необходимость в мерах по рассеиванию тепла, таких как радиаторы или охлаждающие вентиляторы, что снижает стоимость спецификации (BOM) и позволяет интегрировать искусственный интеллект в широкий спектр встраиваемых приложений.

Чип Syntiant NDP120 включает в себя сложные возможности искусственного интеллекта, которые можно использовать для реализации множества высокоточных голосовых функций без помощи рук, включая распознавание говорящего, обнаружение ключевых слов, несколько слов для пробуждения и распознавание локальных команд. Оснащенный механизмом вывода нейронной сети Syntiant Core 2, NDP120 также может запускать несколько приложений одновременно, сводя к минимуму энергопотребление до 1 мВт от аккумулятора.

Новое мультимодальное решение искусственного интеллекта с голосовым управлением использует несколько взаимно совместимых устройств из более широкого портфолио Renesas, чтобы предоставить клиентам усовершенствованную платформу для прототипирования, ускоряющую выход на рынок и снижающую риски. Новое решение является частью проекта Renesas. Выигрышные комбинации, которые включают в себя привлекательные комбинации аналоговых, силовых и встроенных продуктов обработки, которые помогают клиентам ускорить разработку проектов и быстрее выйти на рынок.