मशीन लर्निंग मॉडल मौन में क्यों मरते हैं?

By थुवरकेश मुरली, स्टैक्स, इंक में डेटा वैज्ञानिक।

जीवन का अर्थ एक व्यक्ति से दूसरे व्यक्ति में, दिन-प्रतिदिन और हर घंटे में भिन्न होता है।
— विक्टर ई. फ्रेंकल, अर्थ के लिए मनुष्य की खोज

फ्रेंकल न केवल जीवन के अर्थ के बारे में सही थे। उत्पादन में मशीन लर्निंग मॉडल के बारे में भी उनका कहना सही था।

जब आप उन्हें उत्पादन में तैनात करते हैं तो एमएल मॉडल अच्छा प्रदर्शन करते हैं। फिर भी, उनका प्रदर्शन रास्ते में गिरता है। यह भविष्यवाणियों की गुणवत्ता का क्षय है और जल्द ही कम मूल्यवान हो जाता है।

यह सॉफ़्टवेयर परिनियोजन और मशीन सीखने वाले के बीच प्राथमिक अंतर है। एक सॉफ्टवेयर प्रोग्राम हर बार उसी तरह से कार्य करता है। उनके निर्माण के दशकों बाद भी, वे तब तक उपयोगी रहते हैं जब तक कि नई प्रौद्योगिकियां उन्हें खत्म नहीं कर देतीं या जिस उद्देश्य से इसे पहली बार बनाया गया था वह अप्रचलित है।

अधिकांश कंपनियां इस अंतर को जाने बिना अपने व्यावसायिक कार्यों में मशीन लर्निंग का उपयोग करने की कोशिश करती हैं और असफल होती हैं। इस तकनीक की पेशकश के मूल्यों से लाभ उठाने से पहले उन्होंने जल्द ही छोड़ दिया।

कम कंपनियां अपने व्यवसाय संचालन को शक्ति देने के लिए मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस का उपयोग करती हैं। — छवि द्वारा Author.

 

अमेरिकी जनगणना ब्यूरो के अनुसार सर्वेक्षण 583,000 में 2018 अमेरिकी कंपनियों में से केवल 2.8% ही अपने संचालन का लाभ उठाने के लिए मशीन लर्निंग का उपयोग करती हैं। लगभग सर्वेक्षण में शामिल 8.9% लोग एआई के किसी न किसी रूप का उपयोग करते हैं जैसे आवाज की पहचान।

एक एमएल मॉडल का प्रदर्शन उत्पादन में गिरावट क्यों करता है?

 
 
आपने मशीन लर्निंग मॉडल को प्रशिक्षित करने में महीनों नहीं तो सप्ताह बिताए, और अंत में, इसे उत्पादन में स्थानांतरित कर दिया गया। अब, आपको अपनी मेहनत का लाभ दिखना चाहिए।

लेकिन इसके बजाय, आप देखते हैं कि समय के साथ मॉडल का प्रदर्शन धीरे-धीरे कम होता जा रहा है। इसका क्या कारण हो सकता है?

यदि भविष्य कहनेवाला गुणवत्ता में गिरावट के लिए लगातार और पर्याप्त रूप से मूल्यांकन नहीं किया जाता है, तो अवधारणा बहाव मशीन सीखने के मॉडल को उसकी अपेक्षित सेवानिवृत्ति तिथि से पहले मार सकता है।

अवधारणा बहाव क्या है?

 
 
अवधारणा बहाव तब होता है जब प्रशिक्षण सेट उदाहरणों के वितरण में परिवर्तन होते हैं।

सबसे बुनियादी स्तर पर, अवधारणा बहाव डेटा बिंदुओं का कारण बनता है जिन्हें एक बार एक अवधारणा का उदाहरण माना जाता था जिसे पूरी तरह से समय के साथ दूसरी अवधारणा के रूप में देखा जाता था।

उदाहरण के लिए, जब धोखाधड़ी की अवधारणा लगातार बदल रही है, तो धोखाधड़ी का पता लगाने वाले मॉडल अवधारणा के बहाव के जोखिम में हैं।

यह मॉडल के प्रदर्शन को खराब कर सकता है, विशेष रूप से विस्तारित अवधि में जहां अवधारणा बहाव आपके मॉनिटरिंग सिस्टम द्वारा पता लगाए बिना जारी रहता है।

अवधारणा बहाव का क्या कारण है?

 
 
प्राथमिक कारण अवधारणा बहाव होता है कि किसी एप्लिकेशन में अंतर्निहित डेटा वितरण लगातार बदल रहा है।

जब वितरण बदलते हैं, तो पुराने मशीन लर्निंग मॉडल अब सटीक भविष्यवाणियां नहीं कर सकते हैं और इन परिवर्तनों के अनुकूल होने के लिए उन्हें पूरी तरह से फिर से परिभाषित या फिर से प्रशिक्षित किया जाना चाहिए।

यद्यपि यह कुछ ऐसा लगता है जिसे आप कभी भी किसी एप्लिकेशन में नहीं करना चाहेंगे, यह कई मशीन लर्निंग मॉडल का लक्ष्य है कि जितनी बार संभव हो अपडेट किया जाए।

ऐसा इसलिए है क्योंकि उत्पादन परिवेश से एकत्र किए गए नए डेटा में मूल्यवान जानकारी होती है जो आपके मॉडल द्वारा किए गए पूर्वानुमानों की सटीकता को बेहतर बनाने में मदद कर सकती है।

इनपुट डेटा का वितरण बाहरी कारणों से या स्वयं भविष्यवाणियों के कारण बदल सकता है। उदाहरण के लिए, ग्राहक क्रय व्यवहार समष्टि आर्थिक प्रवृत्तियों से प्रभावित होता है। फिर भी, आपके मंच पर उनका व्यवहार भी आपकी अनुशंसा प्रणाली का प्रत्यक्ष परिणाम हो सकता है।

उत्पादन में मॉडल के लिए अवधारणा बहाव को कैसे संबोधित करें?

 
 
हालांकि कॉन्सेप्ट ड्रिफ्ट काफी डराने वाला लगता है, लेकिन इसे दूर करने के कई तरीके हैं। यह एक प्रचलित समस्या है जिसका सामना सभी मशीन लर्निंग डेवलपर्स जल्द या बाद में करते हैं।

अवधारणा समय के साथ बदल जाती है, और डेटा आपके मॉडल के प्रशिक्षण के लिए उपयोग किए गए डेटा से बदल जाता है। यदि आपके पास इस बहाव की निगरानी करने का कोई तरीका नहीं है, तो आपकी सटीकता धीरे-धीरे तब तक कम हो जाएगी जब तक कि कोई भी आपकी भविष्यवाणियों पर भरोसा नहीं करता।

समय के साथ मॉडल के इनपुट और आउटपुट की निगरानी करें।

 
 
इनपुट और आउटपुट डेटा वितरण की निगरानी करके, हम पहचान सकते हैं कि प्रदर्शन रिसाव डेटा समस्या है या मॉडल समस्या है।

यदि यह डेटा की समस्या है, तो आप देख सकते हैं कि इस बदलाव के कारण कौन से परिवर्तन हो रहे हैं। यह डेटा संग्रह विधि या प्रवृत्ति में वास्तविक बदलाव हो सकता है।

यदि यह एक मॉडल समस्या है, तो आपको यह देखना चाहिए कि आपके मॉडल की कौन सी विशेषता वितरण में इस परिवर्तन का कारण हो सकती है। यह मॉडल में पूर्वाग्रह या यहां तक ​​​​कि पर्यावरणीय परिवर्तनों जैसी चीजों के कारण हो सकता है, जिसके कारण प्रशिक्षण सेट वास्तविक डेटा से मेल नहीं खाता है।

समय के साथ मॉडल की भविष्यवाणी की गुणवत्ता को ट्रैक करें

 
 
समय के साथ विभिन्न प्रदर्शन मेट्रिक्स की निगरानी करना महत्वपूर्ण है क्योंकि हम किसी भी बहाव के बारे में उन्हें बारीकी से देखकर पता लगा सकते हैं। कुछ महत्वपूर्ण मॉडल प्रदर्शन मैट्रिक्स में सटीक, रिकॉल, एफ-माप और आरओसी शामिल हैं।

शुद्धता भविष्यवाणी कितनी सटीक होती है जब वास्तविक सकारात्मक को की गई सभी भविष्यवाणियों से विभाजित किया जाता है। यदि आप समय के साथ सटीकता को देखते हैं, तो यह इंगित करता है कि हमारा मॉडल वास्तविक डेटा वितरण से अब तक की भविष्यवाणी की ओर कितना बढ़ गया है।

वापस बुलाना हमें बताता है कि क्या हम पर्याप्त सकारात्मक उदाहरणों को पकड़ रहे हैं।

यदि समय के साथ रिकॉल कम हो जाता है, तो यह इंगित करता है कि हमारा मॉडल वास्तविक सकारात्मक से गलत नकारात्मक की ओर चला गया है, जो व्यावसायिक निर्णयों के लिए उपयुक्त नहीं हैं।

एफ उपाय सटीकता को जोड़ती है और उनके मूल्यों के हार्मोनिक माध्य का उपयोग करके एक ही संख्या में वापस बुलाती है। यदि एफ-माप सटीकता के साथ बदल रहा है, तो यह एक मॉडल बहाव को भी इंगित करता है।

आरओसी हमें अन्य सभी भविष्यवाणियों के खिलाफ एक सच्चे सकारात्मक को देखने की क्षमता देता है, जो किसी भी क्लासिफायर पूर्वाग्रह की समस्याओं की पहचान करने में मदद करता है या झूठी सकारात्मक पैदा करने वाली सुविधाओं में परिवर्तन करता है। इसे सटीकता और स्मरण के विस्तार के रूप में देखा जा सकता है, लेकिन इसमें अधिक जानकारी है।

सटीकता और विश्वसनीयता बनाए रखने के लिए नए डेटा का उपयोग करके अपने मॉडलों को नियमित रूप से फिर से प्रशिक्षित करें।

 
 
प्रदर्शन मैट्रिक्स पर नज़र रखने के दौरान जितनी जल्दी हो सके अवधारणा बहाव की पहचान करने की अनुमति मिलती है, नियमित रूप से पुन: प्रशिक्षण ऐसी स्थिति को खत्म करने की कोशिश करता है।

आपके मॉडलों को लगातार प्रशिक्षित करने में बहुत समय और संसाधन लग सकते हैं, लेकिन यह एक ऐसा निवेश है जो लंबे समय में भुगतान करता है।

पुनर्प्रशिक्षण की आवृत्ति काफी हद तक डोमेन पर निर्भर करती है। ई-कॉमर्स में, हर हफ्ते मॉडल को फिर से प्रशिक्षित करना शायद समझ में आता है। लेकिन धोखाधड़ी का पता लगाने वाली प्रणालियों के लिए जहां धोखाधड़ी करने वाले उपयोगकर्ताओं का व्यवहार लगातार बदल रहा है, आपको अपने मॉडल को प्रतिदिन फिर से प्रशिक्षित करने की आवश्यकता हो सकती है।

मॉडल के एक समूह का प्रयोग करें।

 
 
उत्पादन में मशीन सीखने के बहाव को रोकने या संबोधित करने के लिए ये सभी उत्कृष्ट रणनीतियाँ हैं। हालाँकि, इस समस्या को हल करने का एक और तरीका पहनावा मॉडल का उपयोग करना है।

एन्सेम्बल मॉडल एक साथ कई एल्गोरिदम का उपयोग करते हैं और अपनी भविष्यवाणियों को एक अंतिम भविष्यवाणी में जोड़ते हैं जो किसी भी व्यक्तिगत एल्गोरिदम से अधिक सटीक हो सकता है।

यह सटीकता बढ़ाने और समय के साथ होने वाले किसी भी बहाव को रोकने का एक शानदार तरीका हो सकता है।

अंतिम विचार

 
 
कॉन्सेप्ट ड्रिफ्ट उत्पादन में मशीन लर्निंग मॉडल को प्रशिक्षण के दौरान अलग-अलग प्रदर्शन करने का कारण बनता है। यह एक बड़ी समस्या है जो खराब उपयोगकर्ता अनुभव का कारण बन सकती है या यहां तक ​​​​कि मॉडल के विफल होने का कारण बन सकती है यदि बहाव का सही अनुमान नहीं लगाया गया हो।

जब आपका डेटा समय के साथ बदलता है (उदाहरण के लिए, नई सुविधाएँ जोड़ी जाती हैं, कुछ मौजूदा हटा दी जाती हैं) तो उत्पादन में अवधारणा बहाव का सबसे आम तरीका है। अपने डेटा की निगरानी करना और जितनी जल्दी हो सके बहाव का पता लगाना आवश्यक है।

पहली जगह में बहाव को रोकने के लिए आपको नियमित रूप से पुनः प्रशिक्षण या संयोजन जैसी तकनीकों का भी उपयोग करना चाहिए।

इससे पहले कि उपयोगकर्ता आपके उत्पाद के साथ खराब अनुभवों की रिपोर्ट करना शुरू करें, आपको मशीन लर्निंग ड्रिफ्ट को संबोधित करना चाहिए। यदि ऐसा होता है, तो यह जल्दी से विश्वास की हानि और बाद में चीजों को ठीक करने के लिए बहुत अधिक लागत का कारण बनेगा। सक्रिय होना!

 
जैव: थुवरकेश मुरली (@थुवरकेश) स्टैक्स, इंक. में डेटा साइंटिस्ट हैं, और मीडियम फॉर एनालिटिक्स के शीर्ष लेखक हैं। मुरली हर दिन डेटा साइंस में जो कुछ भी खोजता है उसे साझा करता है।

स्रोत: https://www.kdnuggets.com/2022/01/machine-learning-models-die-silence.html