स्टिच फिक्स सीमलेस माइग्रेशन: स्व-प्रबंधित काफ्का से अमेज़ॅन एमएसके में संक्रमण | अमेज़न वेब सेवाएँ

यह पोस्ट स्टिच फिक्स के कार्तिक कोंडामुडी और जेनी थॉम्पसन के साथ सह-लिखित है।

सिलाई फिक्स पुरुषों, महिलाओं और बच्चों के लिए एक वैयक्तिकृत वस्त्र स्टाइलिंग सेवा है। स्टिच फिक्स में, हम इसकी स्थापना के बाद से डेटा विज्ञान द्वारा संचालित हैं और कई आधुनिक डेटा लेक और डेटा प्रोसेसिंग तकनीकों पर निर्भर हैं। हमारे बुनियादी ढांचे में, अपाचे काफ्का इवेंट स्ट्रीम के प्रबंधन और वास्तविक समय डेटा प्रोसेसिंग की सुविधा के लिए एक शक्तिशाली उपकरण के रूप में उभरा है। स्टिच फिक्स में, हमने छह वर्षों से अधिक समय से व्यवसाय में विभिन्न आवश्यकताओं का समर्थन करने के लिए अपने डेटा इंफ्रास्ट्रक्चर के हिस्से के रूप में काफ्का का बड़े पैमाने पर उपयोग किया है। काफ्का अपने इवेंट डिलीवरी इंफ्रास्ट्रक्चर को ओवरहाल करने और स्वयं-सेवा डेटा एकीकरण मंच बनाने के लिए स्टिच फिक्स प्रयासों में केंद्रीय भूमिका निभाता है।

यदि आप इस बारे में अधिक पृष्ठभूमि जानना चाहते हैं कि हम स्टिच फिक्स में काफ्का का उपयोग कैसे करते हैं, तो कृपया हमारे पहले प्रकाशित ब्लॉग पोस्ट को देखें, काफ्का की शक्ति को डेटा वैज्ञानिकों के हाथों में सौंपना. इस पोस्ट में व्यावसायिक उपयोग के मामलों, वास्तुकला आरेख और तकनीकी बुनियादी ढांचे पर अधिक जानकारी शामिल है।

इस पोस्ट में, हम बताएंगे कि कैसे और क्यों हमने अपाचे काफ्का के लिए स्व-प्रबंधित काफ्का से अमेज़ॅन प्रबंधित स्ट्रीमिंग पर माइग्रेट करने का निर्णय लिया (अमेज़ॅन एमएसके). हम अपने स्व-प्रबंधित काफ्का के एक सिंहावलोकन के साथ शुरुआत करेंगे, हमने अमेज़ॅन एमएसके पर माइग्रेट करने का विकल्प क्यों चुना और अंततः हमने यह कैसे किया।

1. काफ्का समूहों का अवलोकन
2. Amazon MSK पर माइग्रेट क्यों करें?
3. हम Amazon MSK में कैसे स्थानांतरित हुए
4. चुनौतियों से निपटना और सीखे गए सबक
5. निष्कर्ष

काफ्का क्लस्टर अवलोकन

स्टिच फिक्स में, हम विशिष्ट उद्देश्यों के लिए समर्पित कई अलग-अलग काफ्का समूहों पर भरोसा करते हैं। यह हमें इन समूहों को स्वतंत्र रूप से स्केल करने और प्रति क्लस्टर अधिक कठोर एसएलए और संदेश वितरण गारंटी लागू करने की अनुमति देता है। यह परिवर्तनों और उन्नयन के प्रभाव को कम करके समग्र जोखिम को भी कम करता है और हमें एक ही क्लस्टर के भीतर होने वाली किसी भी समस्या को अलग करने और ठीक करने की अनुमति देता है।

हमारा मुख्य काफ्का क्लस्टर हमारे डेटा बुनियादी ढांचे की रीढ़ के रूप में कार्य करता है। यह कई महत्वपूर्ण कार्यों को संभालता है, जिसमें व्यावसायिक घटनाओं का प्रबंधन, माइक्रोसर्विस संचार की सुविधा, मशीन लर्निंग वर्कफ़्लो के लिए फीचर जेनरेशन का समर्थन करना और बहुत कुछ शामिल है। इस क्लस्टर की स्थिरता, विश्वसनीयता और प्रदर्शन हमारे परिचालन के लिए अत्यंत महत्वपूर्ण हैं।

हमारा लॉगिंग क्लस्टर हमारे डेटा इंफ्रास्ट्रक्चर में महत्वपूर्ण भूमिका निभाता है। यह वेब सर्वर लॉग और Nginx सर्वर लॉग सहित विभिन्न एप्लिकेशन लॉग के लिए एक केंद्रीकृत भंडार के रूप में कार्य करता है। ये लॉग निगरानी और समस्या निवारण उद्देश्यों के लिए मूल्यवान अंतर्दृष्टि प्रदान करते हैं। लॉगिंग क्लस्टर लॉग डेटा के सुचारू संचालन और कुशल विश्लेषण को सुनिश्चित करता है।

Amazon MSK पर माइग्रेट क्यों करें?

पिछले छह वर्षों में, हमारी डेटा इन्फ्रास्ट्रक्चर टीम ने हमारे काफ्का समूहों का परिश्रमपूर्वक प्रबंधन किया है। जबकि हमारी टीम ने काफ्का को बनाए रखने में व्यापक ज्ञान हासिल किया है, हमें संस्करण उन्नयन के लिए रोलिंग तैनाती, ओएस पैच लागू करने और समग्र परिचालन ओवरहेड जैसी चुनौतियों का भी सामना करना पड़ा है।

स्टिच फिक्स में, हमारे इंजीनियर हमारे ग्राहकों को प्रसन्न करने के लिए नई सुविधाएँ बनाने और हमारी सेवा पेशकश का विस्तार करने पर जोर देते हैं। हालाँकि, हमने माना कि काफ्का रखरखाव के लिए महत्वपूर्ण संसाधन आवंटित करना नवाचार से कीमती समय छीन रहा था। इस चुनौती से उबरने के लिए, हमने एक प्रबंधित सेवा प्रदाता की तलाश की, जो विभाजन प्रबंधन और पुनर्संतुलन सहित क्लस्टर संचालन पर पूर्ण नियंत्रण प्रदान करते हुए अपग्रेड और पैचिंग जैसे रखरखाव कार्यों को संभाल सके। हमने भंडारण की मात्रा के लिए एक सहज स्केलिंग समाधान की भी मांग की, जिससे भविष्य में विकास को समायोजित करने के लिए तैयार रहते हुए हमारी लागत को नियंत्रित रखा जा सके।

कई विकल्पों के गहन मूल्यांकन के बाद, हमें अमेज़ॅन एमएसके में सही मिलान मिला क्योंकि यह हमें अत्यधिक कुशल अमेज़ॅन इंजीनियरों को क्लस्टर रखरखाव का कार्यभार सौंपने की अनुमति देता है। अमेज़ॅन एमएसके के साथ, हमारी टीमें अब काफ्का प्रशासन कार्यों में फंसने के बजाय, स्टिच फिक्स के लिए अद्वितीय और मूल्यवान नवीन अनुप्रयोगों को विकसित करने पर अपनी ऊर्जा केंद्रित कर सकती हैं।

अमेज़ॅन एमएसके प्रक्रिया को सुव्यवस्थित करता है, मैन्युअल कॉन्फ़िगरेशन, अतिरिक्त सॉफ़्टवेयर इंस्टॉलेशन और स्केलिंग के बारे में चिंताओं को समाप्त करता है। यह बस काम करता है, जिससे हम अपने पसंदीदा ग्राहकों को असाधारण मूल्य प्रदान करने पर ध्यान केंद्रित कर पाते हैं।

हम Amazon MSK में कैसे स्थानांतरित हुए

अपने माइग्रेशन की योजना बनाते समय, हम विशिष्ट सेवाओं को बिना किसी डाउनटाइम के व्यक्तिगत रूप से अमेज़ॅन एमएसके पर स्विच करना चाहते थे, यह सुनिश्चित करते हुए कि एक समय में सेवाओं का केवल एक विशिष्ट उपसमूह ही माइग्रेट किया जाएगा। समग्र बुनियादी ढांचा एक हाइब्रिड वातावरण में चलेगा जहां कुछ सेवाएं अमेज़ॅन एमएसके से और अन्य मौजूदा काफ्का बुनियादी ढांचे से जुड़ेंगी।

हमने पहले अपने कम महत्वपूर्ण लॉगिंग क्लस्टर के साथ माइग्रेशन शुरू करने का निर्णय लिया और फिर मुख्य क्लस्टर को माइग्रेट करने के लिए आगे बढ़े। हालाँकि लॉग निगरानी और समस्या निवारण उद्देश्यों के लिए आवश्यक हैं, लेकिन वे मुख्य व्यवसाय संचालन के लिए अपेक्षाकृत कम महत्व रखते हैं। इसके अतिरिक्त, लॉगिंग क्लस्टर के लिए उपभोक्ताओं और उत्पादकों की संख्या और प्रकार छोटे हैं, जिससे इसे शुरू करना एक आसान विकल्प बन गया है। फिर, हम लॉगिंग क्लस्टर माइग्रेशन से मुख्य क्लस्टर में अपनी सीख को लागू करने में सक्षम थे। इस जानबूझकर किए गए विकल्प ने हमें माइग्रेशन प्रक्रिया को नियंत्रित तरीके से निष्पादित करने में सक्षम बनाया, जिससे हमारी महत्वपूर्ण प्रणालियों में किसी भी संभावित व्यवधान को कम किया जा सका।

वर्षों से, हमारी अनुभवी डेटा इन्फ्रास्ट्रक्चर टीम मौजूद है अपाचे काफ्का मिररमेकर 2 (एमएम2) का उपयोग किया गया विभिन्न काफ्का समूहों के बीच डेटा को दोहराने के लिए। वर्तमान में, हम दो अलग-अलग उत्पादन काफ्का समूहों से डेटा को दोहराने के लिए एमएम2 पर भरोसा करते हैं। हमारे संगठन के भीतर इसके सिद्ध ट्रैक रिकॉर्ड को देखते हुए, हमने अपनी डेटा माइग्रेशन प्रक्रिया के लिए प्राथमिक उपकरण के रूप में एमएम2 का उपयोग करने का निर्णय लिया।

MM2 के लिए सामान्य मार्गदर्शन इस प्रकार है:

1. कम महत्वपूर्ण अनुप्रयोगों से शुरुआत करें।
2. सक्रिय माइग्रेशन करें.
3. MM2 के लिए प्रमुख सर्वोत्तम प्रथाओं से स्वयं को परिचित करें।
4. माइग्रेशन को मान्य करने के लिए निगरानी लागू करें।
5. अन्य एप्लिकेशन माइग्रेट करने के लिए आवश्यक जानकारी संचित करें।

MM2 लचीले परिनियोजन विकल्प प्रदान करता है, जो इसे एक स्टैंडअलोन क्लस्टर के रूप में कार्य करने या मौजूदा काफ्का कनेक्ट क्लस्टर के भीतर एम्बेडेड होने की अनुमति देता है। हमारे माइग्रेशन प्रोजेक्ट के लिए, हमने वितरित मोड में संचालित एक समर्पित काफ्का कनेक्ट क्लस्टर तैनात किया है।

इस सेटअप ने हमें आवश्यक स्केलेबिलिटी प्रदान की, जिससे यदि आवश्यक हो तो हम आसानी से स्टैंडअलोन क्लस्टर का विस्तार कर सकें। भू-निकटता, उच्च उपलब्धता (एचए), या माइग्रेशन जैसे विशिष्ट उपयोग के मामलों के आधार पर, एमएम2 को सक्रिय-सक्रिय प्रतिकृति, सक्रिय-निष्क्रिय प्रतिकृति या दोनों के लिए कॉन्फ़िगर किया जा सकता है। हमारे मामले में, जैसे ही हम स्व-प्रबंधित काफ्का से अमेज़ॅन एमएसके में स्थानांतरित हुए, हमने एक सक्रिय-निष्क्रिय कॉन्फ़िगरेशन का विकल्प चुना, जहां मिररमेकर का उपयोग माइग्रेशन उद्देश्यों के लिए किया गया था और बाद में पूरा होने पर ऑफ़लाइन ले लिया गया था।

मिररमेकर कॉन्फ़िगरेशन और प्रतिकृति नीति

डिफ़ॉल्ट रूप से, मिररमेकर गंतव्य क्लस्टर में स्रोत काफ्का क्लस्टर का नाम उपसर्ग करके प्रतिकृति विषयों का नाम बदल देता है। उदाहरण के लिए, यदि हम स्रोत क्लस्टर "मौजूदा" से विषय ए को नए क्लस्टर "न्यूकाफ्का" में दोहराते हैं, तो प्रतिकृति विषय को "न्यूकाफ्का" में "मौजूदा.ए" नाम दिया जाएगा। हालाँकि, इस डिफ़ॉल्ट व्यवहार को नव निर्मित MSK क्लस्टर के भीतर सुसंगत विषय नाम बनाए रखने के लिए संशोधित किया जा सकता है।

नव निर्मित MSK क्लस्टर में सुसंगत विषय नाम बनाए रखने और डाउनस्ट्रीम समस्याओं से बचने के लिए, हमने इसका उपयोग किया कस्टमप्रतिकृति नीति जार AWS द्वारा प्रदान किया गया। हमारे मिररमेकर सेटअप में शामिल इस जार ने हमें MSK क्लस्टर में समान नामों वाले विषयों को दोहराने की अनुमति दी। इसके अतिरिक्त, हमने उपभोक्ता ऑफसेट को स्रोत क्लस्टर से लक्ष्य क्लस्टर तक सिंक्रनाइज़ करने के लिए मिररचेकपॉइंटकनेक्टर और क्लस्टर के बीच कनेक्टिविटी सुनिश्चित करने के लिए मिररहर्टबीटकनेक्टर का उपयोग किया।

निगरानी और मेट्रिक्स

मिररमेकर प्रतिकृति अंतराल और अन्य आवश्यक मापदंडों की निगरानी के लिए अंतर्निहित मेट्रिक्स से सुसज्जित है। हमने इन मेट्रिक्स को अपने मिररमेकर सेटअप में एकीकृत किया, उन्हें विज़ुअलाइज़ेशन के लिए ग्राफाना में निर्यात किया। चूँकि हम अन्य प्रणालियों की निगरानी के लिए ग्राफाना का उपयोग कर रहे हैं, इसलिए हमने माइग्रेशन के दौरान भी इसका उपयोग करने का निर्णय लिया। इसने हमें माइग्रेशन प्रक्रिया के दौरान प्रतिकृति स्थिति की बारीकी से निगरानी करने में सक्षम बनाया। जिन विशिष्ट मेट्रिक्स की हमने निगरानी की, उनका नीचे अधिक विस्तार से वर्णन किया जाएगा।

इसके अतिरिक्त, हमने मिररमेकर के साथ शामिल मिररचेकपॉइंटकनेक्टर की निगरानी की, क्योंकि यह समय-समय पर गंतव्य क्लस्टर में चेकपॉइंट उत्सर्जित करता है। इन चौकियों में स्रोत क्लस्टर में प्रत्येक उपभोक्ता समूह के लिए ऑफसेट शामिल थे, जो क्लस्टर के बीच निर्बाध सिंक्रनाइज़ेशन सुनिश्चित करते थे।

नेटवर्क लेआउट

स्टिच फिक्स में, हम अपने प्रत्येक एडब्ल्यूएस खाते में पर्यावरण अलगाव के लिए अमेज़ॅन वर्चुअल प्राइवेट क्लाउड (अमेज़ॅन वीपीसी) के माध्यम से कई वर्चुअल प्राइवेट क्लाउड (वीपीसी) का उपयोग करते हैं। जब से हमने शुरुआत में AWS का उपयोग करना शुरू किया तब से हम अलग-अलग उत्पादन और स्टेजिंग VPC का उपयोग कर रहे हैं। जब आवश्यक हो, सभी खातों में वीपीसी की जांच एडब्ल्यूएस ट्रांजिट गेटवे के माध्यम से की जाती है। जिन परिवेशों का हम हमेशा से उपयोग कर रहे हैं, उनके बीच मजबूत अलगाव बनाए रखने के लिए, हमने उत्पादन और स्टेजिंग परिवेशों के लिए उनके संबंधित वीपीसी में अलग-अलग एमएसके क्लस्टर बनाए हैं।

साइड नोट: हाल ही में घोषित विभिन्न वर्चुअल प्राइवेट क्लाउड्स में होस्ट किए गए काफ्का क्लाइंट्स को तुरंत कनेक्ट करना अब आसान हो जाएगा अमेज़ॅन एमएसके मल्टी-वीपीसी निजी कनेक्टिविटी, जो हमारे प्रवास के समय उपलब्ध नहीं था।

प्रवासन चरण: उच्च-स्तरीय अवलोकन

इस अनुभाग में, हम माइग्रेशन प्रक्रिया के लिए घटनाओं के उच्च-स्तरीय अनुक्रम की रूपरेखा तैयार करते हैं।

काफ्का कनेक्ट सेटअप और MM2 परिनियोजन

सबसे पहले, हमने मौजूदा काफ्का क्लस्टर और नए एमएसके क्लस्टर के बीच मध्यस्थ के रूप में अमेज़ॅन इलास्टिक कंप्यूट क्लाउड (अमेज़ॅन ईसी 2) क्लस्टर पर एक नया काफ्का कनेक्ट क्लस्टर तैनात किया। इसके बाद, हमने इस काफ्का कनेक्ट क्लस्टर में 3 मिररमेकर कनेक्टर तैनात किए। प्रारंभ में, इस क्लस्टर को सभी मौजूदा विषयों और उनके कॉन्फ़िगरेशन को गंतव्य MSK क्लस्टर में प्रतिबिंबित करने के लिए कॉन्फ़िगर किया गया था। (हमने अंततः इस कॉन्फ़िगरेशन को और अधिक विस्तृत बनाने के लिए बदल दिया, जैसा कि नीचे दिए गए "चुनौतियों और सीखे गए सबक को नेविगेट करना" अनुभाग में वर्णित है।)

एमएम मेट्रिक्स के साथ प्रतिकृति प्रगति की निगरानी करें

डेटा प्रतिकृति की प्रगति की निगरानी के लिए मिररमेकर द्वारा पेश किए गए जेएमएक्स मेट्रिक्स का लाभ उठाएं। व्यापक मेट्रिक्स के अलावा, हमने मुख्य रूप से प्रमुख मेट्रिक्स, अर्थात् प्रतिकृति-विलंबता-एमएस और चेकपॉइंट-विलंबता-एमएस पर ध्यान केंद्रित किया। ये मेट्रिक्स प्रतिकृति स्थिति में अमूल्य अंतर्दृष्टि प्रदान करते हैं, जिसमें प्रतिकृति अंतराल और चेकपॉइंट विलंबता जैसे महत्वपूर्ण पहलू शामिल हैं। इन मेट्रिक्स को ग्राफाना में निर्बाध रूप से निर्यात करके, आप मिररमेकर द्वारा ऐतिहासिक और नए डेटा दोनों के सफल पुनरुत्पादन को सुनिश्चित करते हुए, प्रतिकृति की प्रगति को देखने और बारीकी से ट्रैक करने की क्षमता प्राप्त करते हैं।

उपयोग मेट्रिक्स और प्रावधान का मूल्यांकन करें

उचित प्रावधान सुनिश्चित करने के लिए नए MSK क्लस्टर के उपयोग मेट्रिक्स का विश्लेषण करें। भंडारण, थ्रूपुट और प्रदर्शन जैसे कारकों पर विचार करें। यदि आवश्यक हो, तो देखे गए उपयोग पैटर्न को पूरा करने के लिए क्लस्टर का आकार बदलें। हालाँकि आकार बदलने से माइग्रेशन प्रक्रिया में अतिरिक्त समय लग सकता है, लेकिन लंबे समय में यह एक लागत प्रभावी उपाय है।

स्रोत और लक्ष्य क्लस्टर के बीच उपभोक्ता ऑफसेट को सिंक करें

सुनिश्चित करें कि उपभोक्ता ऑफसेट स्रोत इन-हाउस क्लस्टर और लक्ष्य एमएसके क्लस्टर के बीच सिंक्रनाइज़ हैं। एक बार उपभोक्ता ऑफसेट सिंक हो जाए, तो मौजूदा इन-हाउस क्लस्टर के उपभोक्ताओं को नए एमएसके क्लस्टर से डेटा उपभोग करने के लिए रीडायरेक्ट करें। यह कदम उपभोक्ताओं के लिए निर्बाध संक्रमण सुनिश्चित करता है और माइग्रेशन के दौरान निर्बाध डेटा प्रवाह की अनुमति देता है।

निर्माता एप्लिकेशन अपडेट करें

यह पुष्टि करने के बाद कि सभी उपभोक्ता नए MSK क्लस्टर से डेटा का सफलतापूर्वक उपभोग कर रहे हैं, नए क्लस्टर पर सीधे डेटा लिखने के लिए निर्माता एप्लिकेशन को अपडेट करें। यह अंतिम चरण माइग्रेशन प्रक्रिया को पूरा करता है, यह सुनिश्चित करते हुए कि सभी डेटा अब नए एमएसके क्लस्टर में लिखा जा रहा है और इसकी क्षमताओं का पूरा लाभ उठाया जा रहा है।

चुनौतियों से निपटना और सीखे गए सबक

हमारे प्रवासन के दौरान, हमें तीन चुनौतियों का सामना करना पड़ा जिन पर सावधानीपूर्वक ध्यान देने की आवश्यकता थी: स्केलेबल स्टोरेज, प्रतिकृति कॉन्फ़िगरेशन का अधिक दानेदार कॉन्फ़िगरेशन, और मेमोरी आवंटन।

प्रारंभ में, हमें अमेज़ॅन एमएसके स्टोरेज को ऑटो स्केल करने में समस्याओं का सामना करना पड़ा। हमने सीखा कि स्टोरेज ऑटो स्केलिंग के लिए किसी अन्य स्केलिंग घटना के घटित होने से पहले 24 घंटे की कूल-ऑफ अवधि की आवश्यकता होती है। लॉगिंग क्लस्टर को माइग्रेट करते समय हमने इसे देखा, और हमने इससे मिली सीख को लागू किया और उत्पादन क्लस्टर माइग्रेशन के दौरान कूल-ऑफ अवधि को ध्यान में रखा।

इसके अतिरिक्त, मिररमेकर प्रतिकृति गति को अनुकूलित करने के लिए, हमने प्रतिकृति नौकरियों को वॉल्यूम के आधार पर बैचों में विभाजित करने के लिए मूल कॉन्फ़िगरेशन को अपडेट किया और उच्च-वॉल्यूम विषयों के लिए अधिक कार्य आवंटित किए।

प्रारंभिक चरण के दौरान, हमने सभी विषयों को स्रोत से लक्ष्य समूहों में स्थानांतरित करने के लिए एक एकल कनेक्टर का उपयोग करके प्रतिकृति शुरू की, जिसमें महत्वपूर्ण संख्या में कार्य शामिल थे। हालाँकि, हमें उच्च-मात्रा वाले विषयों के लिए बढ़ती प्रतिकृति अंतराल और विशिष्ट विषयों के लिए धीमी प्रतिकृति जैसी चुनौतियों का सामना करना पड़ा। मेट्रिक्स की सावधानीपूर्वक जांच करने पर, हमने उच्च-मात्रा वाले विषयों को कई कनेक्टरों में अलग करके एक वैकल्पिक दृष्टिकोण अपनाया। संक्षेप में, हमने विषयों को उच्च, मध्यम और निम्न वॉल्यूम की श्रेणियों में विभाजित किया है, उन्हें संबंधित कनेक्टर्स को सौंपा है और प्रतिकृति विलंबता के आधार पर कार्यों की संख्या को समायोजित किया है। इस रणनीतिक समायोजन से सकारात्मक परिणाम मिले, जिससे हमें बोर्ड भर में तेज़ और अधिक कुशल डेटा प्रतिकृति प्राप्त करने की अनुमति मिली।

अंत में, हमें जावा वर्चुअल मशीन हीप मेमोरी थकावट का सामना करना पड़ा, जिसके परिणामस्वरूप मिररमेकर प्रतिकृति चलाते समय मेट्रिक्स गायब हो गए। इसे संबोधित करने के लिए, हमने मेमोरी आवंटन बढ़ाया और मिररमेकर प्रक्रिया को फिर से शुरू किया।

निष्कर्ष

स्टिच फिक्स के स्व-प्रबंधित काफ्का से अमेज़ॅन एमएसके में स्थानांतरण ने हमें अपना ध्यान रखरखाव कार्यों से हटाकर अपने ग्राहकों के लिए मूल्य प्रदान करने पर केंद्रित करने की अनुमति दी है। इसने हमारी बुनियादी ढांचे की लागत को 40 प्रतिशत तक कम कर दिया है और हमें यह विश्वास दिलाया है कि जरूरत पड़ने पर हम भविष्य में समूहों को आसानी से बढ़ा सकते हैं। रणनीतिक रूप से माइग्रेशन की योजना बनाकर और अपाचे काफ्का मिररमेकर का उपयोग करके, हमने उच्च उपलब्धता सुनिश्चित करते हुए एक निर्बाध संक्रमण हासिल किया। मॉनिटरिंग और मेट्रिक्स के एकीकरण ने माइग्रेशन प्रक्रिया के दौरान मूल्यवान अंतर्दृष्टि प्रदान की, और स्टिच फिक्स ने रास्ते में आने वाली चुनौतियों का सफलतापूर्वक सामना किया। अमेज़ॅन एमएसके में स्थानांतरण ने स्टिच फिक्स को अमेज़ॅन इंजीनियरों की विशेषज्ञता से लाभान्वित करते हुए काफ्का की क्षमताओं को अधिकतम करने में सक्षम बनाया है, जिससे निरंतर विकास और नवाचार के लिए मंच तैयार हुआ है।

आगे पढ़ने के लिए

---

लेखक के बारे में

कार्तिक कोंडामुडी स्टिचफिक्स में डेटा और एमएल प्लेटफॉर्म ग्रुप में इंजीनियरिंग मैनेजर हैं। उनकी रुचि डिस्ट्रीब्यूटेड सिस्टम और बड़े पैमाने पर डेटा प्रोसेसिंग में है। काम से परे, उन्हें परिवार के साथ समय बिताना और लंबी पैदल यात्रा करना पसंद है। एक कुत्ता प्रेमी, वह खेल, विशेष रूप से क्रिकेट, टेनिस और फुटबॉल का भी शौकीन है।

जेनी थॉम्पसन स्टिच फिक्स में डेटा प्लेटफ़ॉर्म इंजीनियर हैं। वह डेटा वैज्ञानिकों के लिए विभिन्न प्रणालियों पर काम करती है और चीजों को साफ, सरल और उपयोग में आसान बनाना पसंद करती है। उसे पैनकेक और पावलोवा बनाना, क्रेगलिस्ट पर फर्नीचर ब्राउज़ करना और पिकनिक के दौरान बारिश का सामना करना भी पसंद है।

राहुल नम्मीरेड्डी AWS में एक वरिष्ठ समाधान वास्तुकार हैं, जो अपने क्लाउड नेटिव परिवर्तन के माध्यम से डिजिटल देशी ग्राहकों का मार्गदर्शन करने पर ध्यान केंद्रित करते हैं। एआई/एमएल प्रौद्योगिकियों के प्रति जुनून के साथ, वह खुदरा और दूरसंचार जैसे उद्योगों में ग्राहकों के साथ काम करते हैं, और उन्हें तीव्र गति से नवाचार करने में मदद करते हैं। अपने 23+ वर्षों के करियर के दौरान, राहुल ने स्टार्टअप से लेकर सार्वजनिक रूप से सूचीबद्ध संगठनों तक विभिन्न प्रकार की कंपनियों में प्रमुख तकनीकी नेतृत्व भूमिकाएँ निभाई हैं, और एक बिल्डर और नवाचार को बढ़ावा देने के रूप में अपनी विशेषज्ञता का प्रदर्शन किया है। अपने खाली समय में वह फुटबॉल देखना और क्रिकेट खेलना पसंद करते हैं।

टॉड मैकग्राथ Amazon Web Services में डेटा स्ट्रीमिंग विशेषज्ञ हैं, जहां वह ग्राहकों को उनकी स्ट्रीमिंग रणनीतियों, एकीकरण, आर्किटेक्चर और समाधानों पर सलाह देते हैं। व्यक्तिगत रूप से, वह अपने 3 किशोरों को उनकी पसंदीदा गतिविधियों में देखने और उनका समर्थन करने के साथ-साथ मछली पकड़ने, अचार, आइस हॉकी, और पोंटून नौकाओं पर दोस्तों और परिवार के साथ खुश घंटे का पालन करने का आनंद लेता है। उसके साथ जुड़ें लिंक्डइन.

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/big-data/stitch-fix-seamless-migration-transitioning-from-self-managed-kafka-to-amazon-msk/