SiFive RISC-V-ydintä valittu Googlen tekoälyn laskentasolmuille

RISC-V-sirubiz SiFive sanoo, että sen prosessoreita käytetään hallitsemaan tekoälyn työkuormia jossain määrin Googlen palvelinkeskuksissa.

SiFiven mukaan kyseessä oleva prosessori on sen älykkyys X280, moniytiminen RISC-V-malli, jossa on vektorilaajennuksia, optimoitu AI/ML-sovelluksiin datakeskuksessa. Yhdistettynä matriisin kertolaskuyksiköihin (MXU), jotka on poistettu Googlen tensorinkäsittelyyksiköistä (TPU: t), tämän väitetään lisäävän joustavuutta koneoppimistyökuormien ohjelmointiin.

Pohjimmiltaan X280:n yleiskäyttöiset RV64-ytimet prosessorissa suorittavat koodia, joka hallitsee laitetta ja syöttää koneoppimislaskelmia Googlen MXU:iin tarpeen mukaan töiden suorittamiseksi. X280 sisältää myös oman vektorimatematiikan yksikön, joka pystyy käsittelemään toimintoja, joita kiihdytinyksiköt eivät pysty.

SiFive ja Google olivat ehkä kaupallisista syistä vähän pelleitä sen suhteen, miten tämä on pakattu ja käytetty, vaikka meistä kuulostaa siltä, ​​​​että Google olisi sijoittanut mukautetut kiihdytysyksiköt moniytimiseen X280-järjestelmäpiiriin, joka yhdistää Googlen suunnittelema MXU estää suoraan RISC-V-ydinkompleksin. Näitä siruja käytetään Googlen tietokeskuksissa, SiFiven mukaan "AI compute hosts" -koneissa koneoppimistyön nopeuttamiseksi.

Kuvittelemme, että jos näitä käytetään tuotannossa, nämä sirut ovat palvelutehtäviä. Huomaa, että et voi vuokrata tätä laitteistoa suoraan Google Cloudista, joka tarjoaa tekoälylle optimoituja virtuaalikoneita, jotka toimivat perinteisellä x86-, Arm-, TPU- ja GPU-tekniikalla.

Yksityiskohdat paljastettiin AI Hardware Summitissa Piilaaksossa aiemmin tässä kuussa SiFiven perustajan ja pääarkkitehti Krste Asanovićin ja Googlen TPU-arkkitehti Cliff Youngin keskustelussa. SiFive-blogipostaus tällä viikolla.

SiFiven mukaan se havaitsi, että X280:n esittelyn jälkeen jotkut asiakkaat alkoivat käyttää sitä kumppaniytimenä kiihdyttimen rinnalla hoitaakseen kaikki kodinhoito- ja yleiskäyttöiset prosessointitehtävät, joita kiihdytin ei ollut suunniteltu suorittamaan.

Monet huomasivat, että kiihdyttimen hallintaan tarvittiin täysin varusteltu ohjelmistopino, sirubiz sanoo, ja asiakkaat ymmärsivät, että he voisivat ratkaista tämän X280-ydinkompleksilla suuren kiihdytinnsä vieressä, RISC-V-suoritinytimet hoitavat kaiken ylläpidon ja operaatiokoodia, suorittaa matemaattisia operaatioita, joita iso kiihdytin ei voi, ja tarjota monia muita toimintoja. Pohjimmiltaan X280 voi toimia eräänlaisena kiihdytin hallintasolmuna.

Hyödyntääkseen tätä SiFive työskenteli Googlen kaltaisten asiakkaiden kanssa kehittääkseen niin kutsutun Vector Coprocessor Interface eXtension (VCIX) -sovelluksen, jonka avulla asiakkaat voivat tiiviisti linkittää kiihdytin suoraan X280:n vektorirekisteritiedostoon, mikä parantaa suorituskykyä ja enemmän dataa. kaistanleveys.

Asanovićin mukaan etu on, että asiakkaat voivat tuoda oman apuprosessorin RISC-V-ekosysteemiin ja käyttää täydellistä ohjelmistopinoa ja ohjelmointiympäristöä, jossa on mahdollisuus käynnistää Linux täydellä virtuaalimuistilla ja välimuistin yhtenäisellä tuella sirulla, joka sisältää sekoitus yleiskäyttöisiä CPU-ytimiä ja kiihdytysyksiköitä.

Googlen näkökulmasta se halusi keskittyä TPU-teknologiaperheensä parantamiseen eikä tuhlata aikaa oman sovellusprosessorin luomiseen tyhjästä, joten näiden kiihdytystoimintojen yhdistäminen valmiin yleisprosessorin kanssa tuntui oikealta tieltä. mennä, Youngin mukaan.

VCIX liimaa MXU:t käytännössä RISC-V-ytimiin alhaisella latenssilla, jolloin ei tarvitse viettää monia jaksoja odotellessa datan siirtämistä suorittimen ja kiihdytysyksikön välillä muistin, välimuistin tai PCIe:n kautta. Sen sijaan meille kerrotaan, että se on vain kymmeniä jaksoja läpi vektorirekisterin pääsyn. Tämä viittaa myös siihen, että kaikki – RISC-V-suoritinkompleksi ja mukautetut kiihdyttimet – ovat kaikki samassa mallissa, pakattuna järjestelmän piiriin.

Sovelluskoodi toimii yleiskäyttöisissä RISC-V-ytimissä, ja kaikki työ, jota MXU voi nopeuttaa, välitetään VCIX:n kautta. Youngin mukaan tällä lähestymistavalla on muitakin etuja tehokkuuden lisäksi. Ohjelmointimalli on yksinkertaistettu, mikä johtaa yhteen ohjelmaan, jossa on lomitettu skalaari-, vektori- ja apuprosessorikäskyt, ja mahdollistaa yhden ohjelmistotyökaluketjun, jossa kehittäjät voivat koodata C/C++-kielellä tai assemblerillä.

"SiFive VCIX -pohjaisilla yleiskäyttöisillä ytimillä, jotka on "hybridisoitu" Google MXU:iden kanssa, voit rakentaa koneen, jonka avulla voit "syö kakkusi ja syödä myös" hyödyntäen MXU:n kaikkea suorituskykyä ja yleisen ohjelmoitavuutta. CPU sekä X280-prosessorin vektorisuorituskyky", Young sanoi.

Mahdollisuus tehdä tämän kaltainen mukautettu siru jää todennäköisesti Googlen kaltaisten hyperskaalaajien tai niille, joilla on niche-vaatimukset ja syvät taskut, mutta se osoittaa, mitä voidaan saavuttaa avoimen ekosysteemin RISC-V-mallin joustavuuden ansiosta. .

Tämä joustavuus ja avoimuus näyttää riittävän houkuttelemaan Googlen – RISC-V:n pitkäaikaisen kannattajan, jonka joissakin muissa tuotteissa on käytetty RV-ytimiä – käyttämään nousevaa arkkitehtuuria sen sijaan, että sen räätälöidyt rinnakkaisprosessorit kengittäisivät x86-siruiksi tai Armiksi. - lisensoidut mallit. ®

PS: Muista, kun Google oli toying käyttämällä POWER CPU -arkkitehtuuria datakeskuksissaan?