Ulepszanie rozszerzeń wektorów RISC-V w celu przyspieszenia wydajności obciążeń ML

W tygodniu 19 kwietnia^th, Linley Group zorganizowała wiosenną konferencję dla procesorów 2021. Grupa Linley ma reputację organizatora doskonałych konferencji. I tegoroczna wiosenna konferencja nie była wyjątkiem. Odbyło się wiele bardzo pouczających wykładów różnych firm, które informowały słuchaczy o najnowszych pracach badawczo-rozwojowych prowadzonych w branży. Prezentacje zostały podzielone na osiem kategorii tematycznych. Tematyka obejmowała Edge AI, projektowanie wbudowanych SoC, szkolenie w zakresie skalowania AI, projektowanie AI SoC, infrastruktura sieciowa dla AI i 5G, oprogramowanie Edge AI, przetwarzanie sygnałów i wydajne wnioskowanie AI.

Sztuczna inteligencja (AI) jako technologia zyskała w ostatnich latach wiele uwagi i inwestycji. Konferencja z pewnością znalazła to odzwierciedlenie w liczbie kategorii tematycznych związanych z AI. W szerszej kategorii AI, Edge AI była tematem, który miał niesprawiedliwy udział w prezentacjach i było to uzasadnione. Przetwarzanie brzegowe odnotowuje szybki rozwój napędzany przez IoT, 5G i inne aplikacje wymagające małych opóźnień.

Jedna z prezentacji w kategorii Edge AI nosiła tytuł „Ulepszanie rozszerzeń wektorowych RISC-V w celu zwiększenia wydajności obciążeń ML”. Wykład wygłosił Chris Lattner, prezes ds. inżynierii i produktu w SiFive, Inc. Chris przedstawił mocne argumenty przemawiające za tym, dlaczego rozwiązanie SiFive oparte na rozszerzeniach wektorowych RISC-V doskonale nadaje się do aplikacji opartych na sztucznej inteligencji. Oto moje zdanie.

Wymagania rynkowe:

Wraz z rozwojem rynku rozwiązań brzegowych, wymagania dotyczące wydajności i zasilania tych aplikacji stają się coraz większe. Wiele z tych aplikacji jest napędzanych sztuczną inteligencją i należy do kategorii obciążeń związanych z uczeniem maszynowym (ML). A przyjęcie sztucznej inteligencji powoduje, że wymagania dotyczące przetwarzania są bardziej ukierunkowane na manipulację danymi niż obliczenia ogólnego przeznaczenia. Głębokie uczenie się leży u podstaw modeli uczenia maszynowego i obejmuje przetwarzanie dużych tablic danych. Ponieważ modele ML szybko się rozwijają, idealnym rozwiązaniem byłoby takie, które optymalizuje pod kątem: wydajności, mocy, łatwości włączania nowych modeli ML oraz zakresu wynikających z tego zmian sprzętu i/lub oprogramowania.

Zaleta wektora RISC-V:

Oryginalną motywacją stojącą za inicjatywą, która dała nam architekturę RISC-V, są eksperymenty. Eksperymentowanie w celu opracowania projektów chipów zapewniających lepszą wydajność w obliczu oczekiwanego spowolnienia prawa Moore'a. RISC-V opiera się na idei możliwości dostosowania konkretnych układów, w których można wybrać, których rozszerzeń zestawu instrukcji używasz. Rozszerzenia wektorów umożliwiają przetwarzanie wektorów o dowolnej długości przy użyciu funkcji przetwarzających wektory o ustalonych długościach. Przetwarzanie wektorowe umożliwia działanie istniejącego oprogramowania bez konieczności ponownej kompilacji, gdy sprzęt zostanie zaktualizowany w postaci większej liczby jednostek ALU i innych jednostek funkcjonalnych. Nastąpił znaczny postęp w zakresie ustalonej bazy sprzętowej i ekosystemu wspierającego, takiego jak technologie kompilatorów.

RISC-V można zoptymalizować pod kątem konkretnej domeny lub aplikacji poprzez niestandardowe rozszerzenia. Dzięki otwartej architekturze zestawu instrukcji użytkownicy RISC-V mogą cieszyć się dużą elastycznością w wyborze dostawcy odpowiadającego ich potrzebom w zakresie projektowania chipów.

Oferta SiFive:

SiFive zwiększył przewagę wektora RISC-V, dodając nowe rozszerzenia wektorów w celu przyspieszenia wykonywania wielu różnych modeli sieci neuronowych. Zobacz Rysunek 1, aby zobaczyć przykład przyspieszenia, jakie można uzyskać stosując dodatkowe rozszerzenia SiFive w porównaniu do używania samych rozszerzeń wektorów bazowych RISC-V. Rozwiązanie Intelligence X280 to wielordzeniowe rozwiązanie wektorowe RISC-V (sprzęt i oprogramowanie), które ułatwia klientom wdrażanie zoptymalizowanych aplikacji Edge AI. Rozwiązanie można wykorzystać także do realizacji aplikacji w centrach danych.

Rysunek 1:

Zaleta SiFive:

• Rozwiązanie Intelligence X280 firmy SiFive w pełni obsługuje platformy typu open source TensorFlow i TensorFlow Lite do uczenia maszynowego (patrz rysunek 2)
• SiFive zapewnia łatwy sposób migracji istniejącego kodu klienta opartego na innych architekturach do architektury wektorowej RISC-V. Na przykład SiFive może przetłumaczyć kod ARM Neon na kod złożenia RISC-V V
• SiFive umożliwia swoim klientom eksplorację możliwości dodawania niestandardowych rozszerzeń do ich implementacji RISC-V
• SiFive poprzez swoją jednostkę biznesową OpenFive rozszerza usługi wdrażania niestandardowych chipów, aby sprostać potrzebom krzemowym specyficznym dla domeny

Rysunek 2:

Podsumowanie:

W skrócie, klienci SiFive mogą łatwo i szybko wdrażać swoje aplikacje, niezależnie od tego, czy aplikacje obejmują obciążenia Edge AI, czy tradycyjne obciążenia typu centrum danych. Jeśli jesteś zainteresowany skorzystaniem z rozwiązań SiFive w celu przyspieszenia wydajności obciążeń ML, polecam zarejestrować się i posłuchać Cała rozmowa Chrisa a następnie omów z SiFive sposoby wykorzystania różnych ofert do rozwoju Twoich produktów.

Udostępnij ten post przez: Źródło: https://semiwiki.com/ip/sifive/299157-enhancing-risc-v-vector-extensions-to-accelerate- Performance-on-ml-workloads/