100 ट्रिलियन पैरामीटर एआई प्रशिक्षण मॉडल

अनुशंसाकर्ता एआई सिस्टम आज इंटरनेट सेवाओं का एक महत्वपूर्ण घटक हैं: अमेज़ॅन और नेटफ्लिक्स जैसे अरब डॉलर के राजस्व व्यवसाय सीधे अनुशंसा सेवाओं द्वारा संचालित होते हैं।

जैसे-जैसे वे बड़े होते जाते हैं AI अनुशंसाकर्ता बेहतर होते जाते हैं। कई मॉडल पहले अरबों मापदंडों के साथ हाल ही में खरब तक जारी किए गए हैं। मॉडल क्षमता में हर छलांग ने गुणवत्ता में महत्वपूर्ण सुधार लाया है। 100 ट्रिलियन मापदंडों का युग आने ही वाला है।

प्रत्येक प्रशिक्षण पुनरावृत्ति में 100 से अधिक TFLOPs के साथ जटिल, घने आराम तंत्रिका नेटवर्क तेजी से गणना-गहन है। इस प्रकार, ऐसे प्रशिक्षण कार्यों के लिए विषम संसाधनों वाले क्लस्टर का प्रबंधन करने के लिए कुछ परिष्कृत तंत्र का होना महत्वपूर्ण है।

हाल ही में, ईटीएच ज्यूरिख से क्वाई सिएटल एआई लैब और डीएस3 लैब ने प्रशिक्षण एल्गोरिदम और प्रशिक्षण प्रणाली दोनों के सावधानीपूर्वक सह-डिजाइन के माध्यम से इस समस्या से निपटने के लिए "फारस" नामक एक उपन्यास प्रणाली का प्रस्ताव करने के लिए सहयोग किया है। एल्गोरिथम स्तर पर, फारस एम्बेडिंग परत और घने तंत्रिका नेटवर्क मॉड्यूल को अलग-अलग तरीके से संभालने के लिए एक हाइब्रिड प्रशिक्षण एल्गोरिथ्म को अपनाता है। एम्बेडिंग परत को प्रशिक्षण नमूनों के थ्रूपुट में सुधार करने के लिए अतुल्यकालिक रूप से प्रशिक्षित किया जाता है, जबकि बाकी तंत्रिका नेटवर्क को सांख्यिकीय दक्षता को बनाए रखने के लिए समकालिक रूप से प्रशिक्षित किया जाता है। सिस्टम स्तर पर, मेमोरी प्रबंधन और संचार में कमी के लिए सिस्टम ऑप्टिमाइज़ेशन की एक विस्तृत श्रृंखला को हाइब्रिड एल्गोरिथम की पूरी क्षमता को उजागर करने के लिए लागू किया गया है।

100 ट्रिलियन पैरामीटर AI मॉडल के लिए क्लाउड संसाधन

फारस 100 ट्रिलियन पैरामीटर AI वर्कलोड निम्नलिखित विषम संसाधनों पर चलता है:

3,000 कोर कंप्यूट-इंटेंसिव वर्चुअल मशीन
कुल 8 A2 Nvidia GPU जोड़ने वाली 64 A100 वर्चुअल मशीनें
30 हाई मेमोरी वर्चुअल मशीन, प्रत्येक 12 टीबी रैम के साथ, कुल 360 टीबी
कुबेरनेट्स के साथ आर्केस्ट्रा
नेटवर्क विलंबता को कम करने के लिए सभी संसाधनों को एक ही क्षेत्र में एक साथ लॉन्च किया जाना था। Google क्लाउड बहुत कम नोटिस के साथ आवश्यक क्षमता प्रदान करने में सक्षम था।

एआई प्रशिक्षण को फटने में संसाधनों की आवश्यकता होती है।

Google Kubernetes Engine (GKE) का उपयोग 138 VMs और सॉफ़्टवेयर कंटेनरों के परिनियोजन को व्यवस्थित करने के लिए किया गया था। कार्यभार को कंटेनरीकृत करने से प्रशिक्षण की पोर्टिंग और दोहराव की भी अनुमति मिलती है।

परिणाम और निष्कर्ष
Google क्लाउड इन्फ्रास्ट्रक्चर के समर्थन से, टीम ने 100 ट्रिलियन मापदंडों तक फारस की मापनीयता का प्रदर्शन किया। हाइब्रिड वितरित प्रशिक्षण एल्गोरिथ्म ने विषम समूहों के कुशल उपयोग के लिए विस्तृत प्रणाली छूट की शुरुआत की, जबकि वैनिला एसजीडी के रूप में तेजी से अभिसरण किया। Google क्लाउड ऑन-प्रिमाइसेस हार्डवेयर की सीमाओं को पार करने के लिए आवश्यक था और बड़े पैमाने पर वितरित मशीन लर्निंग प्रशिक्षण के लिए एक इष्टतम कंप्यूटिंग वातावरण साबित हुआ।

फारस को जीथब पर एक ओपन सोर्स प्रोजेक्ट के रूप में Google क्लाउड के लिए सेटअप निर्देशों के साथ जारी किया गया है - अकादमिक और उद्योग दोनों से सभी को 100-ट्रिलियन-पैरामीटर पैमाने, गहन शिक्षण अनुशंसा मॉडल को प्रशिक्षित करना आसान होगा।