100 biljoen parameter AI-trainingsmodellen

Recommender AI-systemen zijn tegenwoordig een belangrijk onderdeel van internetdiensten: bedrijven met een omzet van miljarden dollars zoals Amazon en Netflix worden rechtstreeks aangedreven door aanbevelingsdiensten.

AI-aanbevelingen worden beter naarmate ze groter worden. Er zijn eerder al verschillende modellen uitgebracht met miljard parameters tot zelfs biljoenen zeer recent. Elke sprong in de modelcapaciteit heeft geleid tot een aanzienlijke verbetering van de kwaliteit. Het tijdperk van 100 biljoen parameters staat voor de deur.

Gecompliceerd, dicht rust neuraal netwerk is steeds meer rekenintensief met meer dan 100 TFLOP's in elke trainingsiteratie. Het is dus belangrijk om een ​​geavanceerd mechanisme te hebben om een ​​cluster met heterogene middelen voor dergelijke trainingstaken te beheren.

Onlangs hebben Kwai Seattle AI Lab en DS3 Lab van ETH Zürich samengewerkt om een ​​nieuw systeem met de naam "Perzië" voor te stellen om dit probleem aan te pakken door zorgvuldig co-design van zowel het trainingsalgoritme als het trainingssysteem. Op algoritmeniveau past Perzië een hybride trainingsalgoritme toe om de inbeddingslaag en dichte neurale netwerkmodules anders te behandelen. De inbeddingslaag wordt asynchroon getraind om de doorvoer van trainingsvoorbeelden te verbeteren, terwijl het overige neurale netwerk synchroon wordt getraind om de statistische efficiëntie te behouden. Op systeemniveau is een breed scala aan systeemoptimalisaties voor geheugenbeheer en communicatiereductie geïmplementeerd om het volledige potentieel van het hybride algoritme te ontketenen.

Cloudbronnen voor AI-modellen met 100 biljoen parameters

Perzië 100 biljoen parameter AI-workload draait op de volgende heterogene bronnen:

3,000 cores van rekenintensieve virtuele machines
8 A2 virtuele machines met in totaal 64 A100 Nvidia GPU's
30 virtuele machines met hoog geheugen, elk met 12 TB RAM, in totaal 360 TB
Orkestratie met Kubernetes
Alle bronnen moesten gelijktijdig in dezelfde zone worden gestart om de netwerklatentie te minimaliseren. Google Cloud was in staat om de benodigde capaciteit binnen zeer korte tijd te leveren.

AI Training heeft middelen nodig in bursts.

Google Kubernetes Engine (GKE) werd gebruikt om de implementatie van de 138 VM's en softwarecontainers te orkestreren. Door de werklast in een container te plaatsen, is het ook mogelijk om de training over te dragen en te herhalen.

Resultaten en conclusies
Met de ondersteuning van de Google Cloud-infrastructuur demonstreerde het team de schaalbaarheid van Perzië tot 100 biljoen parameters. Het hybride gedistribueerde trainingsalgoritme introduceerde uitgebreide systeemversoepelingen voor efficiënt gebruik van heterogene clusters, terwijl het zo snel convergeerde als vanille SGD. Google Cloud was essentieel om de beperkingen van hardware op locatie te overwinnen en bleek een optimale computeromgeving te zijn voor gedistribueerde Machine Learning-training op grote schaal.

Persia is uitgebracht als een open source-project op github met installatie-instructies voor Google Cloud - iedereen uit zowel de academische wereld als de industrie zou het gemakkelijk vinden om deep learning-aanbevelingsmodellen op 100 biljoen-parameterschaal te trainen.