पर्यवेक्षण: वितरित प्रणालियों के लिए पता लगाने की क्षमता

क्या आपने कभी उस महंगे पार्सल का इंतजार किया है जो "भेज दिया गया" दिखाता है, लेकिन आपको पता नहीं है कि वह कहां है? ट्रैकिंग इतिहास पांच दिन पहले अपडेट होना बंद हो गया, और आप लगभग उम्मीद खो चुके हैं। लेकिन रुकिए, 11 दिन बाद, यह आपके दरवाजे पर है। आप चाहते थे कि ट्रेसेबिलिटी बेहतर हो सकती थी ताकि आपको सभी चिंताजनक प्रतीक्षा से राहत मिल सके। यहीं पर "अवलोकनशीलता" काम आती है।

तकनीकी परिदृश्य में, आप अपने सॉफ़्टवेयर या डेटा सिस्टम के साथ ऐसा होने से बचना चाहेंगे। और इस प्रकार, आप निगरानी उपकरण अपनाते हैं, जो आपके सिस्टम के लॉग और मेट्रिक्स एकत्र करते हैं और आपको उनकी आंतरिक स्थिति के बारे में सूचित करते हैं। मॉनिटरिंग तब सबसे अच्छा काम करती है जब आप चाहते हैं कि आपका सिस्टम आपको सूचित करे कि त्रुटि क्या है, कहां और कब हुई, लेकिन यह आपको यह नहीं बताता कि त्रुटि को कैसे हल किया जाए।

एक दशक से भी पहले, निगरानी उपकरणों में अंतर्निहित सिस्टम मुद्दों के संदर्भ और दूरदर्शिता का अभाव था और टीमें दिन-प्रतिदिन की परिचालन त्रुटियों को डीबग करने तक ही सीमित थीं। आज, हम माइक्रोसर्विसेज की एक वितरित दुनिया में काम करते हैं और रहते हैं डेटा पाइपलाइन; यहां तक ​​​​कि कई निगरानी उपकरणों को नियोजित करने से भी आपको अपने व्यावसायिक प्रश्नों का उत्तर देने में मदद नहीं मिलेगी जैसे "मेरा एप्लिकेशन हमेशा धीमा क्यों है?" या "समस्या किस स्तर पर उत्पन्न हुई, और यह ढेर में कितनी गहराई तक है?" या "मैं पर्यावरण के समग्र प्रदर्शन को कैसे सुधार सकता हूँ?" इन निर्णयों को लेने में सक्रिय रहना और आपके सिस्टम, एप्लिकेशन और डेटा की समग्र दृश्यता होना आवश्यक हो जाता है।

इस ब्लॉग पोस्ट Etsy द्वारा एक दशक पहले प्रकाशित किया गया था, और यह दूसरे पैराग्राफ में तथ्य बताता है:

“एप्लिकेशन मेट्रिक्स आमतौर पर तीनों में से सबसे कठिन, फिर भी सबसे महत्वपूर्ण हैं। वे आपके व्यवसाय के लिए बहुत विशिष्ट हैं, और जैसे-जैसे आपके एप्लिकेशन बदलते हैं (और Etsy बहुत अधिक बदलता है) वे बदल जाते हैं।

तो, हम हर चीज़ और किसी भी चीज़ को कैसे मापते हैं? हम अवलोकन से शुरू करते हैं।

अवलोकनशीलता क्या है?

शब्द "अवलोकनशीलता" था गढ़ा रुडोल्फ एमिल कलमैन ने 1960 में अपने इंजीनियरिंग पेपर में गणितीय नियंत्रण प्रणालियों का वर्णन किया था। उन्होंने इसे इस माप के रूप में परिभाषित किया कि किसी सिस्टम की आंतरिक स्थिति का उसके बाहरी आउटपुट के ज्ञान से कितना अच्छा अनुमान लगाया जा सकता है। लेकिन क्या यह निगरानी जैसा नहीं लगता? मूलतः, हाँ, यह निगरानी है।

इन दिनों, अवलोकनशीलता काफी गर्म विषय बन गया है। कई बाज़ार सर्वेक्षणों के अनुसार, यह एक अरब डॉलर का प्लेटफ़ॉर्म है। कई संगठनों ने इस अवधारणा को अपनाया है और इसे अपने वितरित सिस्टम और पाइपलाइनों की एंड-टू-एंड दृश्यता के लिए एक ढांचे के रूप में नियोजित किया है। हालाँकि, अवलोकनशीलता को निगरानी के साथ भ्रमित किया जाता है। अभी के लिए, मैं कह सकता हूं कि निगरानी अवलोकनशीलता का एक उपसमूह है, जहां अवलोकनशीलता एक बड़ा छत्र शब्द है। 

अवलोकनशीलता निशान, लॉग और मेट्रिक्स को इकट्ठा करने और एकत्र करने के माध्यम से वितरित ट्रेसिंग की अनुमति देती है। आइए देखें कि ये क्या निष्कर्ष निकालते हैं:

• निशान: जब कोई सिस्टम कोई अनुरोध प्राप्त करता है, तो ट्रेस आपको बताता है कि वह अनुरोध अपने पूरे जीवनचक्र में, स्रोत से गंतव्य तक कैसे प्रवाहित होता है। निशानों को "स्पैन्स" द्वारा दर्शाया जाता है। एक ट्रेस स्पैन का एक पेड़ है, और एक स्पैन एक ट्रेस के भीतर एक एकल ऑपरेशन है। वे सिस्टम में त्रुटियों, विलंबता या बाधाओं का पता लगाने में आपकी सहायता करते हैं।
• लॉग्स: ये मशीन-जनित टाइम-स्टैम्प्ड घटनाएँ हैं जो आपको सिस्टम में होने वाले संचालन या परिवर्तनों के बारे में बताती हैं। लॉग का उपयोग अक्सर सिस्टम में इन त्रुटियों या परिवर्तनों को क्वेरी करने के लिए किया जाता है।
• मेट्रिक्स: ये सीपीयू, मेमोरी, डिस्क उपयोग और एक समयावधि में सिस्टम कैसा प्रदर्शन कर रहा है, इस पर मात्रात्मक अंतर्दृष्टि प्रदान करते हैं।

ये विशेषताएँ ट्रेसेबिलिटी के साथ निगरानी ढांचे को बढ़ाती हैं। ट्रैसेबिलिटी आपको एक अनुरोध का पता लगाने के लिए लेंस प्रदान करती है जो आपके सिस्टम पर कॉल करता है, एक घटक से दूसरे तक पहुंचने में कितना समय लगता है, यह किन अन्य सेवाओं को आमंत्रित करता है, क्या यह कोई त्रुटि उत्पन्न करता है, यह कौन सा लॉग उत्पन्न करता है, यह क्या बताता है में है, यह कब प्रारंभ और समाप्त हुआ, आपके सिस्टम में यह किस समय सीमा तक रहा, आदि। जब आप इन निशानों को एकत्र करते हैं, एकत्रित करते हैं और उनका विश्लेषण करते हैं, तो आप ई-कॉमर्स वेबसाइट पर ग्राहक समयरेखा जैसे मूल्यवान सूचित निर्णय लेने में सक्षम होते हैं। , किसी उत्पाद को खोजने में उन्हें कितना समय लगा, उन्होंने उत्पाद को कितनी देर तक देखा, क्या HTML पेज ने छवियों या एम्बेडेड वीडियो जैसे संपूर्ण विवरण लोड किए, सिस्टम को भुगतान को प्रमाणित करने और संसाधित करने में कितना समय लगा, आदि।

वितरित वातावरण में अवलोकनशीलता से हम क्या हासिल करते हैं?

वितरित प्रणालियों का विकास तब शुरू हुआ जब संगठनों ने अपने केंद्रीकृत मोनोलिथ आर्किटेक्चर से दूर वितरित और विकेन्द्रीकृत माइक्रोसर्विस आर्किटेक्चर की ओर बढ़ना शुरू कर दिया। और यह अभी भी प्रगति पर है जहां कई संगठन सिस्टम और अनुप्रयोगों की माइक्रोसर्विस प्रकृति को अपना रहे हैं। और यह सब इसके लिए जिम्मेदार ठहराया जा सकता है बड़ा डेटा और स्केलिंग. वितरित वातावरण को प्रबंधित करने के लिए निरंतर सीखने, अतिरिक्त कार्यबल, ढांचे और नीतियों में बदलाव, आईटी प्रबंधन आदि की आवश्यकता होती है। यह वाकई एक बड़ा बदलाव है.

पहले, सीमित अखंड वातावरण में, हार्डवेयर, सॉफ्टवेयर, डेटा और डेटाबेस सभी एक ही छत के नीचे रहते थे। 2000 के दशक में बड़े डेटा के आगमन के साथ, निगरानी और स्केलिंग सिस्टम एक बड़ी चिंता बनने लगी। अक्सर, संगठन अपने विभिन्न अनुप्रयोगों की आवश्यकताओं को पूरा करने के लिए विभिन्न निगरानी उपकरणों को नियोजित करते हैं। परिणामस्वरूप, यह जल्द ही खराब लचीलेपन, दृश्यता और विश्वसनीयता के साथ एक परिचालन ओवरहेड बन गया।

इन सभी मुद्दों ने अवलोकनशीलता को अपनाने को जन्म दिया। आज, एक जटिल वातावरण में वितरित ट्रेसिंग के लिए सुरक्षा, नेटवर्क, एप्लिकेशन और डेटा पाइपलाइनों के लिए कई अवलोकन उपकरण मौजूद हैं। वे अपने चचेरे भाई, निगरानी उपकरणों के साथ सह-अस्तित्व में रहते हैं, और अपने चचेरे भाई से जानकारी एकत्र करने का लाभ उठाते हैं और अपने स्वयं के ट्रेस डेटा से अतिरिक्त जानकारी एकत्र करते हैं।

इन सभी प्रणालियों में बहुत सारे गतिशील घटक होते हैं, जिनके निशान पकड़ लेने पर 5 डब्ल्यू की कहानी बता सकते हैं: कब, कहां, क्यों, क्या और कैसे। उदाहरण के लिए, आप कुछ ब्लॉग पोस्ट पढ़ने के लिए दोपहर 1:43 बजे DATAVERSITY की वेबसाइट पर जाते हैं। जब आप dataversity.net पर क्लिक करते हैं, तो HTTP अनुरोध सिस्टम में लॉग हो जाता है। आप एक ब्लॉग पोस्ट खोजना शुरू करते हैं और डेटा गवर्नेंस पोस्ट पर जाते हैं, जहां आप उस पोस्ट को पढ़ने में 17 मिनट बिताते हैं और फिर दोपहर 2:00 बजे अपना टैब बंद कर देते हैं।

नेटवर्क पैकेट कैप्चर के लिए नेटवर्क सिस्टम पर अन्य कॉल भी की जाएंगी। अवलोकन उपकरण सभी स्पैन एकत्र करते हैं और उन्हें एक ट्रेस या निशान में एकीकृत करते हैं, जिससे आप इसके जीवनचक्र के दौरान बने पथ को देख सकते हैं। यदि आपके पास नेटवर्क विलंबता या सिस्टम दोष जैसी कोई समस्या है, तो अब विच्छेदन (प्याज छीलना) और समस्या को डीबग करना (किस परत में त्रुटि) करना आसान है।

अब एक बड़े वितरित वातावरण में, जब आपके एप्लिकेशन को लाखों अनुरोध प्राप्त होते हैं, तो ट्रेस डेटा भारी मात्रा में बढ़ता है। भंडारण खपत और डेटा स्थानांतरण के लिए इन निशानों को एकत्र करना और उनका विश्लेषण करना महंगा है। इसलिए, लागत बचाने के लिए, ट्रेस डेटा का नमूना लिया जाता है, क्योंकि ज्यादातर मामलों में, इंजीनियरिंग टीमों को यह जांचने के लिए केवल कुछ टुकड़ों की आवश्यकता होती है कि क्या गलत हुआ या त्रुटि पैटर्न क्या है।

उस छोटे से उदाहरण से, हम समझते हैं कि हमें अपने सिस्टम में बहुत गहरी अंतर्दृष्टि मिलती है। इसलिए, सिस्टम के बड़े पैमाने पर विचार करते हुए, इंजीनियरिंग टीमें सिस्टम की वर्तमान संरचना को बेहतर बनाने, नए घटकों को लागू करने या रिटायर करने, एक और सुरक्षा परत जोड़ने, बाधाओं को दूर करने आदि के लिए नमूना किए गए डेटा को कैप्चर और काम कर सकती हैं। 

क्या संगठनों को अवलोकनशीलता चुननी चाहिए?

हम सभी को यह समझना चाहिए कि अंतिम लक्ष्य बेहतर उपयोगकर्ता अनुभव और अधिक उपयोगकर्ता संतुष्टि हैं। और इन लक्ष्यों को प्राप्त करने का मार्ग एक स्वचालित और सक्रिय अवलोकन ढांचे के साथ आसान बनाया जा सकता है। निरंतर सुधार और अनुकूलन की संस्कृति स्थापित करना इष्टतम व्यवसाय और नेतृत्व दृष्टिकोण माना जाता है। 

डिजिटल परिवर्तन के इस युग में, किसी व्यवसाय की डिजिटल यात्रा में सफल होने के लिए अवलोकनशीलता आवश्यक हो गई है। आपको अंतर्दृष्टिपूर्ण निशान प्रदान करते हुए, अवलोकनशीलता आपको केवल डेटा-संचालित के बजाय डेटा-सूचित होने के लिए भी प्रेरित करती है।

निष्कर्ष

हालाँकि हमने मॉनिटरिंग और ऑब्जर्वेबिलिटी शब्दों का परस्पर उपयोग किया है, हमने देखा है कि मॉनिटरिंग आपको सिस्टम के स्वास्थ्य और उस पर होने वाली घटनाओं के बारे में जानकारी देने में मदद करती है, ऑब्जर्वेबिलिटी आपको अंत की गहरी परतों से एकत्र किए गए साक्ष्य के आधार पर अनुमान लगाने की सुविधा प्रदान करती है- अंत तक का वातावरण.

अवलोकनशीलता डेटा गवर्नेंस ढांचे के एक घटक के रूप में है और इसे माना भी जा सकता है। इस पीढ़ी में, जहां लगातार बढ़ती डेटा मात्रा कमोडिटी हार्डवेयर के नेटवर्क पर रहती है, आर्किटेक्चर को यथासंभव सरल रखना महत्वपूर्ण है। और जाहिर है, पर्यावरण को प्रबंधित करना एक असंभव कार्य बन जाता है। इस प्रकार, आपके सिस्टम, पाइपलाइनों और डेटा के बड़े जाल को व्यवस्थित रखने के लिए उचित और स्वचालित शासन नीतियों और नियमों को लागू करना जल्द से जल्द कार्रवाई की मांग करता है।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोब्लॉकचैन। Web3 मेटावर्स इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• स्रोत: https://www.dataversity.net/observability-traceability-for-distributed-systems/