ऑक्सफोर्ड के शोधकर्ताओं ने एक साधारण गणितीय ट्रिक के साथ एआई को दो गुना तेजी से प्रशिक्षित किया

प्लेटो द्वारा पुनर्प्रकाशित

अनुयायियों: 0

जैसे-जैसे एआई मॉडल बड़े होते जाते हैं, धन की मात्रा और ऊर्जा उन्हें प्रशिक्षित करने के लिए आवश्यक एक हॉट-बटन मुद्दा बन गया है। एक नया दृष्टिकोण जो अनुशासन के मूलभूत निर्माण खंडों में से एक को फिर से लिखता है, एक संभावित समाधान प्रदान कर सकता है।

तब से GPT-3 केवल वृद्धि से प्राप्त प्रदर्शन में महत्वपूर्ण उछाल का प्रदर्शन कियामॉडल आकार गाएं, एआई उद्योग में नेता प्रशिक्षण में संसाधनों को जमा कर रहे हैं तेजी से बड़े पैमाने पर तंत्रिका नेटवर्क.

लेकिन इसके लिए भारी मात्रा में पैसा खर्च होता है, बड़े पैमाने पर कंप्यूटिंग संसाधनों की आवश्यकता होती है, और भारी मात्रा में बिजली का उपयोग करता है। न केवल पर्यावरणीय प्रभावों के कारण, बल्कि इसलिए भी कि यह छोटे एआई संगठनों के लिए प्रतिस्पर्धा करना मुश्किल बना रहा है, और परिणामस्वरूप उद्योग के नेताओं के हाथों में शक्ति केंद्रित करने के कारण इसे एक समस्या के रूप में देखा जा रहा है।

अब हालांकि, ऑक्सफोर्ड विश्वविद्यालय के शोधकर्ताओं ने एक नए दृष्टिकोण की रूपरेखा तैयार की है जो संभावित हो सकता हैly आधे में प्रशिक्षण समय स्लैश करें। वे आज के तंत्रिका नेटवर्क-आधारित एआई सिस्टम में सबसे मौलिक अवयवों में से एक को फिर से लिखकर ऐसा करते हैं: बैकप्रोपेगेशन।

एक तंत्रिका नेटवर्क डेटा को कैसे संसाधित करता है, यह उसके विभिन्न न्यूरॉन्स के बीच कनेक्शन की ताकत से नियंत्रित होता है। इसलिए उन्हें उपयोगी कार्य करने के लिए, आपको पहले इन कनेक्शनों को तब तक समायोजित करने की आवश्यकता है जब तक कि वे डेटा को उस तरह से संसाधित न करें जिस तरह से आप उन्हें चाहते हैं। आप बैकप्रोपेगेशन नामक प्रक्रिया का उपयोग करके समस्या से संबंधित डेटा पर नेटवर्क को प्रशिक्षण देकर ऐसा करते हैं, जो दो चरणों में विभाजित है।

फॉरवर्ड रन में नेटवर्क के माध्यम से डेटा फीड करना और भविष्यवाणियां करने के लिए इसे प्राप्त करना शामिल है। बैकवर्ड पास में, इन भविष्यवाणियों की सटीकता के माप का उपयोग नेटवर्क के माध्यम से वापस जाने के लिए किया जाता है और यह पता चलता है कि प्रदर्शन में सुधार के लिए विभिन्न कनेक्शनों की ताकत को कैसे समायोजित किया जाना चाहिए। बहुत सारे डेटा का उपयोग करके इस प्रक्रिया को कई बार दोहराते हुए, नेटवर्क धीरे-धीरे कनेक्शन के इष्टतम कॉन्फ़िगरेशन की दिशा में काम करता है जो समस्या को हल करता है।

यह दोहराव प्रक्रिया इसलिए एआई को प्रशिक्षित करने में इतना समय लेती है, लेकिन ऑक्सफोर्ड के शोधकर्ताओं ने चीजों को सरल बनाने का एक तरीका खोज लिया हो सकता है। मैंna प्री-प्रिंट पोस्ट किया गया arXiv, वे देएक नया प्रशिक्षण दृष्टिकोण लिखें जो पिछड़े पास को पूरी तरह से दूर करता है. इसके बजाय, उनका एल्गोरिथम अनुमान लगाता है कि वज़न की आवश्यकता कैसे होगी be फॉरवर्ड पास पर बदल दिया गया है, और यह पता चला है कि ये अनुमान बैकप्रॉपैगेशन के तुलनीय प्रदर्शन को प्राप्त करने के लिए काफी करीब हैं।

शोधकर्ताओं ने दिखाया कि विभिन्न मशीन लर्निंग एल्गोरिदम को प्रशिक्षित करने के लिए दृष्टिकोण का उपयोग किया जा सकता है, लेकिन क्योंकि इसमें केवल एक फॉरवर्ड पास शामिल है, यह प्रशिक्षण के समय को आधा तक कम करने में सक्षम था।

यह एक सरल गणितीय चाल है, यूके में एक्सेटर विश्वविद्यालय से एंड्रयू कॉर्बेट बोला था न्यू साइंटिस्ट, लेकिन सहuld आज AI के सामने सबसे अधिक दबाव वाली चुनौतियों में से एक से निपटने में मदद करता है। "यह हल करने के लिए एक बहुत ही महत्वपूर्ण बात है, क्योंकि यह मशीन लर्निंग एल्गोरिदम की बाधा है," उन्होंने कहा।

हालाँकि, यह दृष्टिकोण कितना व्यापक रूप से लागू होता है, यह देखा जाना बाकी है। अपने पेपर में, शोधकर्ता बताते हैं कि तंत्रिका नेटवर्क में परतों की संख्या बढ़ने पर रनटाइम लागत में अंतर कम हो जाता है, यह सुझाव देता है कि तकनीक में बड़े मॉडल के साथ कम रिटर्न हो सकता है।

हालांकि, शोधकर्ताओं ने यह भी नोट किया कि उन्होंने मानक मशीन लर्निंग एल्गोरिदम के काम करने के तरीके को बेहतर बनाने के लिए कई अवसरों की पहचान की है, जिससे आगे प्रदर्शन लाभ हो सकता है।

शोध संभावित रूप से मानव बुद्धि में चल रहे रहस्य में भी योगदान दे सकता है। मस्तिष्क कैसे सीखता है, इसकी जांच के लिए कृत्रिम तंत्रिका नेटवर्क हमारे सर्वोत्तम उपकरणों में से एक है, लेकिन यह haलंबे समय से ज्ञात है कि न्यूरॉन्स के बीच किसी भी पश्चगामी संपर्क की कमी के कारण बैकप्रॉपैगैशन जैविक रूप से प्रशंसनीय नहीं है। एक सीखने का दृष्टिकोण जिसके लिए केवल आगे के पास की आवश्यकता होती है, यह इस बात पर प्रकाश डालने में मदद कर सकता है कि हमारा मस्तिष्क सीखने की समस्या को कैसे हल करता है।

छवि क्रेडिट: Pexels / 9144 छवियां

समय टिकट: मार्च २०,२०२१