Удосконалення векторних розширень RISC-V для прискорення продуктивності робочих навантажень ML

Протягом тижня 19 квіт^th, Linley Group провела весняну конференцію процесорів 2021. Linley Group має репутацію організації чудових конференцій. І цьогорічна весняна конференція не стала винятком. Була низка дуже інформативних доповідей від різних компаній, які інформували аудиторію про останні дослідження та розробки, які відбуваються в галузі. Презентації були розділені на вісім різних тем. Темами були Edge AI, Embedded SoC Design, Scaling AI Training, AI SoC Design, Network Infrastructure for AI and 5G, Edge AI Software, Signal Processing and Efficient AI Inference.

Штучний інтелект (ШІ) як технологія останніми роками привернув багато уваги та інвестицій. Конференція, безперечно, відобразила це в кількості предметних категорій, пов’язаних зі ШІ. У ширшій категорії штучного інтелекту Edge AI був предметом, який мав несправедливу частку презентацій, і це було виправдано. Граничні обчислення стрімко розвиваються завдяки IoT, 5G та іншим додаткам, які потребують низької затримки.

Одна з презентацій у категорії Edge AI мала назву «Покращення векторних розширень RISC-V для прискорення продуктивності робочих навантажень ML». З доповіддю виступив Кріс Латтнер, президент відділу інженерії та продуктів SiFive, Inc. Кріс навів вагомі аргументи на користь того, чому рішення SiFive на основі векторних розширень RISC-V чудово підходить для додатків, керованих штучним інтелектом. Моя думка наступна.

Вимоги ринку:

Наскільки швидко зростає ринок периферійних обчислень, вимоги до продуктивності та потужності цих додатків також стають все більш і більш вимогливими. Багато з цих додатків керуються штучним інтелектом і належать до категорії навантажень машинного навчання (ML). І впровадження ШІ підштовхує вимоги до обробки більше до маніпулювання даними, а не до обчислень загального призначення. Глибоке навчання лежить в основі моделей ML і передбачає обробку великих масивів даних. З огляду на те, що моделі ML швидко розвиваються, ідеальним рішенням було б таке, яке оптимізує: продуктивність, потужність, легкість включення нових моделей ML і обсяг результуючих змін апаратного та/або програмного забезпечення.

Перевага RISC-V Vector:

Початковою мотивацією ініціативи, яка дала нам архітектуру RISC-V, є експерименти. Експерименти для розробки дизайну чіпів, які дають кращу продуктивність в умовах очікуваного уповільнення закону Мура. RISC-V побудовано на ідеї можливості індивідуального виготовлення окремих мікросхем, де ви можете вибрати, які розширення набору інструкцій ви використовуєте. Векторні розширення дозволяють обробляти вектори будь-якої довжини за допомогою функцій, які обробляють вектори фіксованої довжини. Векторна обробка дозволяє існуючому програмному забезпеченню працювати без повторної компіляції, коли апаратне забезпечення оновлюється у формі більшої кількості ALU та інших функціональних блоків. Значний прогрес відбувся з точки зору встановленої бази апаратного забезпечення та підтримки екосистеми, такої як технології компілятора.

RISC-V можна оптимізувати для певного домену чи програми за допомогою спеціальних розширень. Завдяки відкритій стандартній архітектурі набору інструкцій користувачі RISC-V мають велику гнучкість у виборі постачальника для своїх потреб у розробці мікросхем.

Пропозиція SiFive:

SiFive розширив перевагу RISC-V Vector, додавши нові векторні розширення для прискорення виконання багатьох різних моделей нейронних мереж. Зверніться до малюнку 1, щоб побачити приклад прискорення, яке можна отримати за допомогою додаткових розширень SiFive порівняно з використанням лише базових векторних розширень RISC-V. Його рішення Intelligence X280 — це багатоядерне рішення RISC-V Vector (апаратне та програмне забезпечення), яке полегшує клієнтам реалізацію оптимізованих додатків Edge AI. Рішення також можна використовувати для реалізації додатків центрів обробки даних.

Малюнок 1:

Перевага SiFive:

• Рішення Intelligence X280 від SiFive повністю підтримує платформи TensorFlow і TensorFlow Lite з відкритим кодом для машинного навчання (див. рис. 2)
• SiFive забезпечує простий спосіб міграції існуючого коду клієнта на основі інших архітектур до векторної архітектури RISC-V. Наприклад, SiFive може перевести код ARM Neon у код складання RISC-V V
• SiFive дозволяє своїм клієнтам досліджувати додавання спеціальних розширень до їхніх реалізацій RISC-V
• SiFive через свій бізнес-підрозділ OpenFive розширює користувацькі послуги впровадження чіпів, щоб задовольнити потреби кремнію, що стосуються домену

Малюнок 2:

Основна інформація:

У двох словах, клієнти SiFive можуть легко та швидко впроваджувати свої додатки, незалежно від того, включають вони робочі навантаження Edge AI або традиційні типи робочих навантажень центру обробки даних. Якщо вам цікаво скористатися перевагами рішень SiFive для прискорення продуктивності ваших робочих навантажень ML, я рекомендую вам зареєструватися та послухати Вся розмова Кріса а потім обговоріть із SiFive способи використання їхніх різних пропозицій для розробки ваших продуктів.

Поділитися цим дописом через: Джерело: https://semiwiki.com/ip/sifive/299157-enhancing-risc-v-vector-extensions-to-accelerate-performance-on-ml-workloads/