यह ब्लॉग सारा जेन हाँग सीएसओ, डैरीएल बार्नहार्ट सीटीओ, और अव्यक्त अंतरिक्ष के इयान थॉम्पसन सीईओ और एडब्ल्यूएस के प्रेम रंगा द्वारा सह-लेखक है।
अव्यक्त स्थान अमूर्त विचारों का एक छिपा हुआ प्रतिनिधित्व है जो मशीन लर्निंग (एमएल) मॉडल सीखते हैं। उदाहरण के लिए, "कुत्ता," "फूल," या "द्वार" अव्यक्त स्थान में अवधारणा या स्थान हैं। पर अव्यक्त स्थान, हम एक इंजन पर काम कर रहे हैं जो आपको भाषा और दृश्य संकेतों के साथ इस स्थान को हेरफेर करने और खोजने की अनुमति देता है। लेटेंट स्पेस टीम उन दो क्षेत्रों से आती है जिनमें लंबे समय से बहुत कम ओवरलैप था: ग्राफिक्स और प्राकृतिक भाषा प्रसंस्करण (एनएलपी)। परंपरागत रूप से, छवियों और पाठ के तौर-तरीकों को अलग-अलग संभाला गया है, प्रत्येक का अपना जटिल, महंगा और नाजुक फीचर इंजीनियरिंग का इतिहास है। दस्तावेज़ समझ या प्रश्न उत्तर जैसे एनएलपी कार्य आमतौर पर दृश्य समझ या प्रतिपादन जैसे दृष्टि कार्यों के साथ बहुत कम होते हैं, और आमतौर पर हम प्रत्येक कार्य के लिए बहुत अलग दृष्टिकोण और मॉडल का उपयोग करते हैं। लेकिन यह तेजी से बदल रहा है।
एकल साझा अव्यक्त स्थान में तौर-तरीकों का यह विलय गेमिंग से दस्तावेज़ समझ के लिए रचनात्मक और वाणिज्यिक अनुप्रयोगों की एक नई पीढ़ी को अनलॉक करता है। लेकिन इन नए अनुप्रयोगों को एक एकल मॉडल में अनलॉक करने से नई स्केलिंग चुनौतियां सामने आती हैं, जैसा कि रिचर्ड सुटन द्वारा "द बिटर लेसन" में हाइलाइट किया गया था, और स्केलिंग कानूनों पर पिछले कुछ वर्षों में रोमांचक काम। इसे संभव बनाने के लिए, लेटेंट स्पेस एक ही मॉडल में इन तौर-तरीकों को फ्यूज करने के लिए अत्याधुनिक अनुसंधान पर काम कर रहा है, लेकिन यह भी पैमाने और कुशलता से ऐसा करने के लिए। यह वह जगह है जहाँ मॉडल समानतावाद आता है।
अमेज़न SageMakerअद्वितीय स्वचालित मॉडल विभाजन और कुशल पाइपलाइनिंग दृष्टिकोण ने छोटे इंजीनियरिंग प्रयास के साथ मॉडल समानता को अपनाना संभव बनाया, और हमने 1 अरब मापदंडों से परे मॉडल के हमारे प्रशिक्षण को बढ़ाया (हम उपयोग करते हैं) p4d.24xlarge A100 उदाहरण), जो हमारे लिए एक महत्वपूर्ण आवश्यकता है। इसके अलावा, हमने देखा कि जब एक 16 नोड, आठ GPU प्रशिक्षण सेटअप SageMaker मॉडल समानता पुस्तकालय के साथ, हमने अपने पिछले प्रशिक्षण रन की तुलना में दक्षता में 38% सुधार दर्ज किया।
बड़े पैमाने पर ट्रांसफार्मर के प्रशिक्षण के साथ चुनौतियां
लेटेंट स्पेस में, हम ट्रांसफॉर्मर मॉडल में भाषा और विज़न को अरबों पैरामीटर्स के साथ "डिस्ट्रीब्यूशन से बाहर" उपयोग करने के लिए उपयोग करते हैं, जो किसी उपयोगकर्ता की कल्पना से मामलों का उपयोग करता है या वास्तविक दुनिया में नहीं बल्कि हमारे प्रशिक्षण डेटा में होता है। हम अरबों मापदंडों को और दो अलग-अलग तरीकों से आगे बढ़ाने में निहित चुनौतियों को संभाल रहे हैं:
सूचना पुनर्प्राप्ति तकनीक लंबे समय से खोज इंजन और क्यूए कार्यों का एक प्रमुख घटक है। हाल ही में, आधुनिक ट्रांसफॉर्मर के साथ क्लासिक आईआर तकनीकों के संयोजन में रोमांचक प्रगति हुई है, विशेष रूप से उन सवालों के जवाब देने वाले कार्यों के लिए जहां एक मॉडल को तंत्रिका रिट्रीवर के साथ संयुक्त रूप से प्रशिक्षित किया जाता है जो सवालों के जवाब देने में मदद करने के लिए प्रासंगिक दस्तावेजों को प्राप्त करना सीखता है। अवलोकन के लिए, FAIR से हाल के काम देखें पुनर्प्राप्ति संवर्धित पीढ़ी: बुद्धिमान प्राकृतिक भाषा प्रसंस्करण मॉडल के निर्माण को सुव्यवस्थित करना और फ्यूजन-इन-डिकोडर, गूगल ब्रेन दायरे, और एनवीडिया न्यूरल रिट्रीवर सवाल जवाब के लिए।
जबकि पुनर्प्राप्ति-संवर्धित तकनीक लागत और दक्षता के साथ मदद करती हैं, हम अभी भी अपने सबसे बड़े मॉडल के लिए एकल GPU पर मॉडल को फिट करने में असमर्थ हैं। इसका मतलब है कि हमें इसे प्रशिक्षित करने के लिए मॉडल समानता का उपयोग करने की आवश्यकता है। हालांकि, हमारे पुनर्प्राप्ति वास्तुकला की प्रकृति के कारण, प्रशिक्षण आदानों में पुनर्प्राप्त संदर्भों के बीच अन्योन्याश्रितियों के कारण हमारे मॉडल को विभाजित करना चुनौतीपूर्ण था। इसके अलावा, यहां तक कि अगर हम यह निर्धारित करते हैं कि हम अपने मॉडल को कैसे विभाजित करते हैं, तो मॉडल समानता का परिचय देना हमारे लिए एक महत्वपूर्ण इंजीनियरिंग कार्य था जिसे हम अपने शोध और विकास जीवनचक्र में मैन्युअल रूप से कर सकते हैं।
सेजमेकर मॉडल समानता पुस्तकालय
मॉडल समानतावाद कई उपकरणों या नोड्स (जैसे GPU- सुसज्जित उदाहरण) के बीच एक मॉडल को विभाजित करने और इन उपकरणों को GPU उपयोग को अधिकतम करने के लिए इन उपकरणों में मॉडल को प्रशिक्षित करने के लिए एक कुशल पाइपलाइन बनाने की प्रक्रिया है। मॉडल समानता पुस्तकालय SageMaker में स्वचालित मॉडल विभाजन को प्रदान करके मॉडल समानता को अधिक सुलभ बनाता है, जिसे भी संदर्भित किया जाता है स्वचालित मॉडल विभाजन और परिष्कृत पाइपलाइन शेड्यूलिंग चलाते हैं। मॉडल विभाजन एल्गोरिदम गति या स्मृति की खपत के लिए अनुकूलन कर सकता है। पुस्तकालय एक विभाजन एल्गोरिथ्म का उपयोग करता है जो मेमोरी को संतुलित करता है, उपकरणों के बीच संचार को कम करता है, और प्रदर्शन का अनुकूलन करता है।
स्वचालित मॉडल विभाजन
हमारे PyTorch उपयोग के मामले में, मॉडल समानांतर लाइब्रेरी आंतरिक रूप से एक अनुरेखण चरण (पहले प्रशिक्षण चरण में) चलाता है जो मॉडल ग्राफ का निर्माण करता है और टेंसर और पैरामीटर आकृतियों को निर्धारित करता है। यह तब एक पेड़ का निर्माण करता है, जिसमें घोंसले होते हैं nn.Module मॉडल में वस्तुएं, साथ ही अतिरिक्त डेटा ट्रेसिंग से एकत्र किए गए, जैसे संग्रहीत की गई राशि nn.Parameters, और प्रत्येक के लिए क्रम nn.Module.
पुस्तकालय तब इस पेड़ को जड़ से उखाड़ फेंकता है और एक विभाजन एल्गोरिथ्म चलाता है जो कम्प्यूटेशनल लोड और मेमोरी उपयोग को संतुलित करता है, और उदाहरणों के बीच संचार को कम करता है। यदि कई nn.Modules समान nn.Parameter साझा करते हैं, तो ये मॉड्यूल समान पैरामीटर के कई संस्करणों को बनाए रखने से बचने के लिए एक ही डिवाइस पर रखे जाते हैं। विभाजन के निर्णय के बाद, असाइन किए गए मॉड्यूल और वजन उनके उपकरणों पर लोड किए जाते हैं।
पाइपलाइन शेड्यूलिंग चलाते हैं
SageMaker वितरित मॉडल समानांतर लाइब्रेरी की एक अन्य मुख्य विशेषता है पाइप लाइन से चलता है, जो उस क्रम का निर्धारण करते हैं जिसमें कम्प्यूटेशन किए जाते हैं और मॉडल प्रशिक्षण के दौरान उपकरणों पर डेटा संसाधित किया जाता है। पाइपलाइनिंग एक मिनी-बैच को माइक्रोबैक्टेस में विभाजित करने पर आधारित है, जो एक-एक करके प्रशिक्षण पाइपलाइन में खिलाया जाता है और लाइब्रेरी रनटाइम द्वारा परिभाषित रन शेड्यूल का पालन करता है।
माइक्रोबैच पाइपलाइन यह सुनिश्चित करती है कि सभी GPU पूरी तरह से उपयोग किए जाते हैं, जो कि कुछ ऐसा है जिसे हमें स्वयं बनाना होगा, लेकिन मॉडल समानता पुस्तकालय के साथ यह पर्दे के पीछे बड़े करीने से होता है। अंत में, हम उपयोग कर सकते हैं अमेज़न FSx, जो हमारी पढ़ने की गति को सुनिश्चित करने के लिए महत्वपूर्ण है तेजी से पुनर्प्राप्ति के साथ एक मल्टीमॉडल मॉडल के प्रशिक्षण के दौरान पढ़ी जा रही फ़ाइलों की संख्या को देखते हुए।
प्रशिक्षण वास्तुकला
निम्नलिखित आरेख यह दर्शाता है कि हमने अपने प्रशिक्षण वास्तुकला को कैसे स्थापित किया। हमारे प्राथमिक उद्देश्य प्रशिक्षण की गति में सुधार करना और लागत कम करना था। हम जिस छवि और भाषा ट्रांसफार्मर का प्रशिक्षण दे रहे हैं, वह अत्यधिक जटिल है, जिसमें काफी बड़ी संख्या में परतें और भार अंदर हैं, अरबों मापदंडों तक चल रहे हैं, जो सभी को एक नोड की स्मृति में फिट करने में असमर्थ बनाता है। प्रत्येक नोड मॉडल का एक सबसेट वहन करता है, जिसके माध्यम से डेटा बहता है और परिवर्तन साझा और संकलित होते हैं। हमने 16 सेटअप किया p4d.24xबड़ा निम्नलिखित आर्किटेक्चर प्रतिनिधित्व का उपयोग करके आठ GPU के साथ प्रत्येक उदाहरण:
जैसा कि हम अपने मॉडल को बढ़ाते हैं, एक सामान्य प्रवृत्ति नेटवर्क के भार में सब कुछ संग्रहीत करना है। हालांकि, व्यावहारिक उद्देश्यों के लिए, हम अपने मॉडलों को संवर्धित करना चाहते हैं कि प्रतिपादन के कार्य में मदद करने के लिए प्रासंगिक संदर्भों की तलाश करें। यह हमें छवि गुणवत्ता से समझौता किए बिना अपनी सेवा लागत को कम रखने में सक्षम बनाता है। हम एक बड़े ट्रांसफॉर्मर-आधारित एनएलपी मॉडल का उपयोग करते हैं और जैसा कि पहले उल्लेख किया गया है, हमने सैजमेकर मॉडल समानता पुस्तकालय के साथ प्रशिक्षण दक्षता में 38% की वृद्धि देखी, जैसा कि निम्नलिखित द्वारा दिखाया गया है:
- हमें टेंसर लेवल समानता के मामले में हर कंपीटिशन के लिए एक आबंटन की आवश्यकता है। यह O (log_2 n) समानांतर चरण लेता है। O (n log_2 n) कुल संचालन के लिए, n (O) (n) कदम उठाने वाली मशीन है।
- पाइपलाइन समानतावाद के लिए, हमें पाइप लाइन के नीचे डेटा पारित करने के लिए ओ (1) समानांतर चरणों की आवश्यकता होती है
- आठ GPU के साथ 16 मशीनों को देखते हुए, हमारे पास पाइपलाइन के लिए O (1) लागत समानांतर है, और O- (log_2 (8)) = O (3) लागत गहराई से बुद्धिमान मॉडल के लिए समानांतर है।
- इस मामले में, हम देखते हैं कि पाइप लाइन के समानांतर स्विच करके नेटवर्क लागत 1 / 3rd तक कम हो जाती है जिसे हम SageMaker मॉडल समानता के साथ उपयोग करते हैं, और समग्र प्रशिक्षण लागत 1/2 + 1/2 * 1 / log_2 (16) तक कम हो जाती है ) = मूल लागत का 0.625 जिसके कारण दक्षता में सुधार होता है।
सामान्य तौर पर, जब आवश्यकता वारंट ने प्रशिक्षण वितरित किया (मॉडल आकार या प्रशिक्षण डेटा को स्केल करने के मुद्दे), तो हम यह निर्धारित करने के लिए सर्वोत्तम प्रथाओं के एक सेट का पालन कर सकते हैं कि कौन सा दृष्टिकोण सबसे अच्छा काम करता है।
वितरित प्रशिक्षण के लिए सर्वोत्तम अभ्यास
हमारे अनुभव के आधार पर, हम एक वितरित डेटा समानांतर दृष्टिकोण के साथ शुरू करने का सुझाव देते हैं। वितरित डेटा समानता जैसे SageMaker ने डेटा समानांतर लाइब्रेरी वितरित की मॉडल प्रतिकृतियों के साथ नेटवर्किंग के अधिकांश मुद्दों को हल करता है, इसलिए आपको मॉडल को सबसे छोटी संख्या में नोड्स में फिट करना चाहिए, फिर आवश्यकतानुसार बैच आकार को दोहराने के लिए।
यदि आप प्रशिक्षण के दौरान मेमोरी से बाहर निकलते हैं, जैसा कि हमने इस परिदृश्य में किया है, तो आप एक मॉडल समानांतर दृष्टिकोण पर स्विच करना चाह सकते हैं। हालांकि, मॉडल समानांतर प्रशिक्षण की कोशिश करने से पहले इन विकल्पों पर विचार करें:
- NVIDIA Tensor Core- सुसज्जित हार्डवेयर पर, उपयोग करें मिश्रित-सटीक प्रशिक्षण स्पीडअप बनाने और मेमोरी खपत को कम करने के लिए।
- बैच आकार को कम करें (या यदि संभव हो तो छवि रिज़ॉल्यूशन या एनएलपी अनुक्रम लंबाई कम करें)।
इसके अतिरिक्त, हम उन मॉडल डिज़ाइनों को पसंद करते हैं जिनमें बैच सामान्यीकरण नहीं है जैसा कि वर्णित है सामान्यीकरण के बिना उच्च-प्रदर्शन बड़े पैमाने पर छवि मान्यता। यदि इसे टाला नहीं जा सकता है, तो सुनिश्चित करें कि बैच सामान्यीकरण पूरे उपकरणों में समन्वयित है। जब आप वितरित प्रशिक्षण का उपयोग करते हैं, तो आपका बैच जीपीयू में विभाजित होता है, इसलिए सटीक बैच आँकड़ों के लिए सभी उपकरणों में सिंक्रनाइज़ेशन की आवश्यकता होती है। इसके बिना, सामान्यीकरण में त्रुटि बढ़ गई होगी और इससे अभिसरण होगा।
जब आपके पास निम्नलिखित बाधाएँ हों तो मॉडल समानांतर प्रशिक्षण से शुरू करें:
- आपका मॉडल एक डिवाइस पर फिट नहीं है
- आपके मॉडल के आकार के कारण, आप बड़े बैच आकारों को चुनने में सीमाओं का सामना कर रहे हैं, जैसे कि यदि आपका मॉडल वजन आपकी अधिकांश GPU मेमोरी को ले लेता है और आप एक छोटे, उप-स्तरीय बैच आकार को चुनने के लिए मजबूर हो जाते हैं
प्रदर्शन के लिए अनुकूलन करते समय, निम्न कार्य करें:
- विलंबता को कम करने और थ्रूपुट को बढ़ाने के लिए अंतर-नोड संचार के लिए पाइपलाइनिंग का उपयोग करें
- किसी भी बुलबुले को कम करने के लिए पाइपलाइनों को यथासंभव छोटा रखें। माइक्रोबैच की संख्या को बुलबुला आकार के साथ कम्प्यूटेशनल दक्षता को संतुलित करने के लिए ट्यून किया जाना चाहिए, और कम से कम पाइपलाइन की लंबाई होनी चाहिए। यदि आवश्यक हो तो आप टोकन स्तर पर माइक्रोबैच्यूज़ का निर्माण कर सकते हैं जैसा कि वर्णित है TeraPipe: बड़े स्तर के भाषा मॉडल के प्रशिक्षण के लिए टोकन लेवल पाइपलाइन समानांतरवाद
लागत के लिए अनुकूलन करते समय, SageMaker प्रशिक्षण के लिए स्पॉट इंस्टेंसेस प्रबंधित करें। यह ऑन-डिमांड उदाहरणों पर 90% तक प्रशिक्षण मॉडल की लागत को अनुकूलित कर सकता है। SageMaker आपकी ओर से स्पॉट व्यवधानों का प्रबंधन करता है।
अन्य कारकों पर विचार करने के लिए:
- एक नोड के भीतर जब एक तेज इंटरकनेक्ट होता है, तो यह अधिक बारीक होता है। यदि पर्याप्त इंट्रा-नोड नेटवर्क क्षमता है, तो अधिक इष्टतम गणना के लिए डेटा को फेरबदल करना एक लाभ दिखा सकता है।
- यदि सक्रियता वजन दहाई से अधिक होती है, तो एक आशावादी आशावादी भी मदद कर सकता है। कृपया देखें शून्य अधिक जानकारी के लिए.
निम्न तालिका कुछ सामान्य प्रशिक्षण पैमाने परिदृश्य प्रदान करती है और आप उन्हें एडब्ल्यूएस पर कैसे कॉन्फ़िगर कर सकते हैं।
| परिदृश्य | यह कब लागू होता है? | उपाय |
| एकल GPU से कई GPU तक स्केलिंग | जब प्रशिक्षण डेटा या मॉडल का आकार बहुत बड़ा है | मल्टी जीपीयू इंस्टेंस जैसे पी 3.16xlarge, जिसमें आठ जीपीयू हैं, आठ जीपीयू में डेटा और प्रोसेसिंग स्प्लिट के साथ बदलें, और आपके मॉडल को प्रशिक्षित करने में लगने वाले समय में एक निकट-रैखिक स्पीडअप का उत्पादन करें। |
| एकल उदाहरण से कई उदाहरणों तक स्केलिंग | जब स्केलिंग की आवश्यकता आवृत्ति के आकार को बदलने से परे होती है | SageMaker Python SDK के अनुमानक फ़ंक्शन के साथ उदाहरणों की संख्या को अपने inst_type को p3.16xlarge और example_count से 2 पर सेट करें। एकल p3.16xlarge पर आठ GPU के बजाय, आपके पास दो समान उदाहरणों में 16 GPU हैं। का उपयोग करने पर विचार करें SageMaker ने डेटा समानांतर लाइब्रेरी वितरित की. |
| प्रशिक्षण के लिए एक मॉडल समानांतर दृष्टिकोण का चयन करना | जब प्रशिक्षण के दौरान मेमोरी त्रुटियों का सामना करना पड़ता है | का उपयोग कर एक मॉडल समानांतर दृष्टिकोण पर स्विच करें SageMaker ने मॉडल समानांतर लाइब्रेरी का वितरण किया. |
| इंटर-नोड संचार के लिए नेटवर्क प्रदर्शन | कई उदाहरणों के साथ वितरित प्रशिक्षण के लिए (उदाहरण के लिए, AllReduce संचालन करते समय क्लस्टर में नोड्स के बीच संचार) | आपके उदाहरणों को समान क्षेत्र और समान उपलब्धता क्षेत्र में होना चाहिए। जब आप SageMaker Python SDK का उपयोग करते हैं, तो यह आपके लिए संभाला जाता है। आपका प्रशिक्षण डेटा भी उसी उपलब्धता क्षेत्र में होना चाहिए। का उपयोग करने पर विचार करें SageMaker ने डेटा समानांतर लाइब्रेरी वितरित की. |
| अनुकूलित जीपीयू, नेटवर्क और स्टोरेज | बड़े पैमाने पर वितरित प्रशिक्षण आवश्यकताओं के लिए | P4d.24xlarge इंस्टेंस प्रकार को तेज स्थानीय भंडारण और 400 गीगाबिट तक एक फास्ट नेटवर्क बैकप्लेन के लिए डिज़ाइन किया गया था, और हम इसे वितरित प्रशिक्षण के लिए सबसे अच्छा विकल्प के रूप में सुझाते हैं। |
निष्कर्ष
SageMaker में मॉडल समानांतर लाइब्रेरी के साथ, हमें बॉक्स से बाहर बहुत सारे लाभ मिलते हैं, जैसे स्वचालित मॉडल विभाजन और कुशल पाइपलाइनिंग। इस पोस्ट में, हमने अपने एमएल उपयोग मामले, विभिन्न प्रशिक्षण दृष्टिकोणों पर हमारी राय, और हमने अपने प्रशिक्षण को गति देने के लिए अमेज़ॅन सैजमेकर मॉडल समानता पुस्तकालय का उपयोग कैसे किया, के साथ हमारी चुनौतियों को साझा किया। सबसे अच्छी बात यह है कि अब यहां वर्णित मॉडल समानता और प्रदर्शन में सुधार के लिए सर्वोत्तम प्रथाओं को अपनाने में केवल कुछ घंटे लग सकते हैं। यदि यह पोस्ट आपकी मदद करती है या आपको किसी समस्या को हल करने के लिए प्रेरित करती है, तो हम इसके बारे में सुनना पसंद करेंगे! कृपया अपनी टिप्पणी और प्रतिक्रिया साझा करें।
संदर्भ
अधिक जानकारी के लिए, कृपया निम्नलिखित देखें:
लेखक के बारे में
प्रेम रंगा अटलांटा, GA से बाहर एक एंटरप्राइज सॉल्यूशन आर्किटेक्ट है। वह मशीन लर्निंग टेक्निकल फील्ड कम्युनिटी का हिस्सा हैं और ग्राहकों के साथ उनके ML और AI सफर में काम करना पसंद करते हैं। प्रेम रोबोटिक्स के बारे में भावुक है, एक स्वायत्त वाहन शोधकर्ता है, और उसने ह्यूस्टन और अन्य स्थानों में एलेक्सा-नियंत्रित बीयर पॉर्स भी बनाया है।
सारा जेन हांग अव्यक्त अंतरिक्ष में सह-संस्थापक और मुख्य विज्ञान अधिकारी है। उसकी पृष्ठभूमि मानव-कंप्यूटर इंटरैक्शन और मशीन लर्निंग के चौराहे पर है। उसने पहले सोनार (मार्चेक्स द्वारा अधिग्रहित) में एनएलपी अनुसंधान का नेतृत्व किया, जो संवादी एआई अंतरिक्ष में कारोबार करता है। वह एक सम्मानित AR / VR डेवलपर भी हैं, जिन्हें ओकुलस, मोज़िला मिक्स्ड रियलिटी और Microsoft होलोलेंस से पुरस्कार और फ़ेलोशिप मिली है।
डेरिल बरनाहट अव्यक्त अंतरिक्ष में सह-संस्थापक और मुख्य प्रौद्योगिकी अधिकारी है। वह GPU त्वरण, कंप्यूटर ग्राफिक्स, बड़े पैमाने पर डेटा और मशीन लर्निंग में अनुभव के साथ एक अनुभवी डेवलपर है। अन्य जुनून में गणित, खेल विकास और सूचना का अध्ययन शामिल है।
इयान थॉम्पसन लेटेंट स्पेस में संस्थापक और सीईओ हैं। इयान "आसन्न संभव" से प्रेरित एक इंजीनियर और शोधकर्ता है - हमारे जीवन पर एक बड़ा प्रभाव डालने वाली प्रौद्योगिकियों के बारे में। वर्तमान में सुरक्षित और रचनात्मक एआई बनाने में मदद करने के लिए मल्टीमॉडल प्रतिनिधित्व सीखने को सरल और स्केल करने पर ध्यान केंद्रित किया गया है। उन्होंने पहले ग्राफिक्स / वर्चुअल रियलिटी (AltspaceVR, Microsoft द्वारा अधिग्रहित) और शिक्षा / NLP (HSE) में कंपनियों के निर्माण में मदद की।
