आप का उपयोग कर सकते हैं एडब्ल्यूएस स्नोबॉल एज निगरानी, चेहरे की पहचान और औद्योगिक निरीक्षण जैसे मशीन लर्निंग (एमएल) अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए क्रूज़ जहाजों, तेल रिग और फ़ैक्टरी फ़्लोर जैसे स्थानों में बिना नेटवर्क कनेक्टिविटी वाले उपकरण। हालाँकि, इन उपकरणों की दूरस्थ और डिस्कनेक्टेड प्रकृति को देखते हुए, किनारे पर एमएल मॉडल को तैनात करना और प्रबंधित करना अक्सर मुश्किल होता है। साथ AWS IoT ग्रीनग्रास और अमेज़न सेजमेकर एज मैनेजर, आप क्लाउड-प्रशिक्षित एमएल मॉडल का उपयोग करके स्नोबॉल एज उपकरणों पर स्थानीय रूप से उत्पन्न डेटा पर एमएल अनुमान लगा सकते हैं। आप न केवल स्थानीय अनुमान चलाने की कम विलंबता और लागत बचत से लाभान्वित होते हैं, बल्कि एमएल मॉडल को उत्पादन में लाने के लिए आवश्यक समय और प्रयास को भी कम करते हैं। आप अपने स्नोबॉल एज डिवाइस बेड़े में मॉडल की गुणवत्ता की निरंतर निगरानी और सुधार करते हुए यह सब कर सकते हैं।
इस पोस्ट में, हम इस बारे में बात करते हैं कि आप शिपिंग कंटेनर (कॉननेक्स) और लोगों को वर्गीकृत करने के लिए एक सरल टेन्सरफ्लो वर्गीकरण मॉडल को अनुकूलित, सुरक्षित, मॉनिटर और बनाए रखने के लिए एडब्ल्यूएस आईओटी ग्रीनग्रास संस्करण 2.0 या उच्चतर और एज मैनेजर का उपयोग कैसे कर सकते हैं।
आइए शुरू करते हैं
आरंभ करने के लिए, स्नोबॉल एज डिवाइस ऑर्डर करें (अधिक जानकारी के लिए देखें AWS स्नोबॉल एज जॉब बनाना). आप AWS IoT ग्रीनग्रास मान्य AMI वाला स्नोबॉल एज डिवाइस ऑर्डर कर सकते हैं।
डिवाइस प्राप्त होने के बाद, आप इसका उपयोग कर सकते हैं एडब्ल्यूएस ऑप्सहब स्नो फ़ैमिली के लिए या स्नोबॉल एज क्लाइंट डिवाइस को अनलॉक करने के लिए. आप एक शुरू कर सकते हैं अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन EC2) इंस्टेंस नवीनतम AWS IoT ग्रीनग्रास के साथ स्थापित है या स्नो फ़ैमिली के लिए AWS OpsHub पर कमांड का उपयोग करें।
निम्नलिखित आवश्यकताओं के साथ एएमआई लॉन्च और इंस्टॉल करें, या ऑर्डर करने से पहले स्नोबॉल कंसोल पर एक एएमआई संदर्भ प्रदान करें और इसे एएमआई में सभी पुस्तकालयों और डेटा के साथ भेजा जाएगा:
- आपकी पसंद का ML फ्रेमवर्क, जैसे TensorFlow, PyTorch, या MXNet
- डॉकर (यदि आप इसका उपयोग करना चाहते हैं)
- AWS IoT ग्रीनग्रास
- किसी अन्य पुस्तकालय की आपको आवश्यकता हो सकती है
एडब्ल्यूएस स्नो फैमिली कंसोल पर स्नोबॉल एज डिवाइस को ऑर्डर करते समय एएमआई तैयार करें। निर्देशों के लिए देखें Amazon EC2 कंप्यूट इंस्टेंस का उपयोग करना. आपके पास यह विकल्प भी है स्नोबॉल को आपके किनारे वाले स्थान पर तैनात करने के बाद एएमआई को अपडेट करें.
स्नोबॉल एज पर नवीनतम AWS IoT ग्रीनग्रास स्थापित करें
अपने डिवाइस पर AWS IoT ग्रीनग्रास स्थापित करने के लिए, निम्नलिखित चरणों को पूरा करें:
- नवीनतम AWS IoT ग्रीनग्रास स्थापित करें आपके स्नोबॉल एज डिवाइस पर। सुनिश्चित करें
dev_tools=True
होना तय हैggv2 cli
निम्नलिखित कोड देखें:
हम संदर्भ देते हैं --thing-name
जब हमने एज मैनेजर की स्थापना की थी तो आपने यहां चुना था।
- अपनी स्थापना का परीक्षण करने के लिए निम्न आदेश चलाएँ:
- AWS IoT कंसोल पर, अपने AWS IoT ग्रीनग्रास खाते के साथ सफलतापूर्वक पंजीकृत स्नोबॉल एज डिवाइस को मान्य करें।
एज मैनेजर के साथ एमएल मॉडल को अनुकूलित करें
हम स्नोबॉल एज पर मॉडल को तैनात और प्रबंधित करने के लिए एज मैंगर का उपयोग करते हैं।
- नवीनतम AWS IoT ग्रीनग्रास का उपयोग करके स्नोबॉल एज पर एज मैनेजर एजेंट स्थापित करें।
- अपने एमएल मॉडल को प्रशिक्षित करें और संग्रहीत करें।
आप अपनी पसंद के किसी भी ढांचे का उपयोग करके अपने एमएल मॉडल को प्रशिक्षित कर सकते हैं और इसे एक में सहेज सकते हैं अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बाल्टी। निम्नलिखित स्क्रीनशॉट में, हम एक छवि में कॉनक्स और लोगों को वर्गीकृत करने के लिए मल्टी-लेबल मॉडल को प्रशिक्षित करने के लिए टेन्सरफ्लो का उपयोग करते हैं। यहां प्रयुक्त मॉडल को पहले एक .tar फ़ाइल बनाकर S3 बकेट में सहेजा जाता है।
मॉडल सहेजे जाने के बाद (इस मामले में TensorFlow Lite), आप प्रारंभ कर सकते हैं अमेज़न SageMaker नियो मॉडल का संकलन कार्य और स्नोबॉल एज कंप्यूट के लिए एमएल मॉडल का अनुकूलन (SBE_C
).
- SageMaker कंसोल पर, के तहत अनुमान नेविगेशन फलक में, चुनें संकलन कार्य.
- चुनें संकलन कार्य बनाएँ.
- अपने काम को एक नाम दें और मौजूदा भूमिका बनाएं या उसका उपयोग करें।
यदि आप नया बना रहे हैं AWS पहचान और अभिगम प्रबंधन (IAM) भूमिका, सुनिश्चित करें कि SageMaker के पास उस बकेट तक पहुंच है जिसमें मॉडल सहेजा गया है।
- में इनपुट कॉन्फ़िगरेशन अनुभाग, के लिए मॉडल कलाकृतियों का स्थान, का पथ दर्ज करें
model.tar.gz
आपने फ़ाइल को कहाँ सहेजा है (इस मामले में,s3://feidemo/tfconnexmodel/connexmodel.tar.gz
). - के लिए डेटा इनपुट कॉन्फ़िगरेशन, एमएल मॉडल की इनपुट परत (इसका नाम और इसका आकार) दर्ज करें। इस मामले में, इसे कहा जाता है
keras_layer_input
और इसका आकार [1,224,224,3] है, इसलिए हम प्रवेश करते हैं{“keras_layer_input”:[1,224,224,3]}
.
- के लिए मशीन सीखने की रूपरेखा, चुनें टीएफलाइट.
- के लिए लक्ष्य डिवाइस, चुनें sbe_c.
- छोड़ना संकलक विकल्प
- के लिए S3 आउटपुट स्थान, वही स्थान दर्ज करें जहां आपका मॉडल उपसर्ग (फ़ोल्डर) के साथ सहेजा गया है
output
. उदाहरण के लिए, हम प्रवेश करते हैंs3://feidemo/tfconnexmodel/output
.
- चुनें सब्मिट संकलन कार्य प्रारंभ करने के लिए.
अब आप एज मैनेजर द्वारा उपयोग के लिए एक मॉडल परिनियोजन पैकेज बनाते हैं।
- SageMaker कंसोल पर, के तहत एज मैनेजर, चुनें एज पैकेजिंग नौकरियां.
- चुनें एज पैकेजिंग कार्य बनाएँ.
- में नौकरी गुण अनुभाग, नौकरी विवरण दर्ज करें।
- में मॉडल स्रोत अनुभाग, के लिए संकलन कार्य का नाम, वह नाम दर्ज करें जो आपने नियो संकलन कार्य के लिए प्रदान किया था.
- चुनें अगला.
- में आउटपुट कॉन्फ़िगरेशन अनुभाग, के लिए S3 बाल्टी URI, वह स्थान दर्ज करें जहाँ आप Amazon S3 में पैकेज संग्रहीत करना चाहते हैं।
- के लिए घटक का नाम, अपने AWS IoT ग्रीनग्रास घटक के लिए एक नाम दर्ज करें।
यह चरण एक AWS IoT ग्रीनग्रास मॉडल घटक बनाता है जहां मॉडल को अमेज़ॅन S3 से डाउनलोड किया जाता है और स्नोबॉल एज पर स्थानीय भंडारण में असम्पीडित किया जाता है।
- उपकरणों के एक समूह को प्रबंधित करने के लिए एक उपकरण बेड़ा बनाएं, इस मामले में, केवल एक (एसबीई)।
- के लिए IAM भूमिका¸ पहले AWS IoT ग्रीनग्रास द्वारा उत्पन्न भूमिका दर्ज करें (-tes-role-name)।
IAM कंसोल पर जाकर, भूमिका की खोज करके और उसमें आवश्यक नीतियां जोड़कर सुनिश्चित करें कि उसके पास आवश्यक अनुमतियाँ हैं।
- स्नोबॉल एज डिवाइस को आपके द्वारा बनाए गए बेड़े में पंजीकृत करें।
- में डिवाइस स्रोत अनुभाग, डिवाइस का नाम दर्ज करें. IoT नाम को आपके द्वारा पहले उपयोग किए गए नाम से मेल खाना चाहिए - इस मामले में, -थिंग-नाम MyGreengrassCore।
आप अतिरिक्त स्नोबॉल उपकरणों को डिवाइस बेड़े में जोड़ने के लिए सेजमेकर कंसोल पर पंजीकृत कर सकते हैं, जो आपको इन उपकरणों को एक साथ समूहित करने और प्रबंधित करने की अनुमति देता है।
AWS IoT ग्रीनग्रास का उपयोग करके स्नोबॉल एज में एमएल मॉडल तैनात करें
पिछले अनुभागों में, आपने अपने स्नोबॉल एज डिवाइस को अनलॉक और कॉन्फ़िगर किया था। एमएल मॉडल अब स्नोबॉल एज पर प्रदर्शन के लिए संकलित और अनुकूलित किया गया है। संकलित मॉडल के साथ एक एज मैनेजर पैकेज बनाया जाता है और स्नोबॉल डिवाइस को बेड़े में पंजीकृत किया जाता है। इस अनुभाग में, आप नवीनतम AWS IoT ग्रीनग्रास के साथ स्नोबॉल एज के अनुमान के लिए एमएल मॉडल को तैनात करने में शामिल चरणों को देखेंगे।
अवयव
AWS IoT ग्रीनग्रास आपको घटकों और संबंधित कलाकृतियों के संयोजन के रूप में किनारे के उपकरणों पर तैनात करने की अनुमति देता है। घटक JSON दस्तावेज़ हैं जिनमें मेटाडेटा, जीवनचक्र, कब क्या तैनात करना है और क्या स्थापित करना है। घटक यह भी परिभाषित करते हैं कि विभिन्न ओएस विकल्पों पर चलते समय किस ऑपरेटिंग सिस्टम का उपयोग करना है और किन कलाकृतियों का उपयोग करना है।
कलाकृतियों
कलाकृतियाँ कोड फ़ाइलें, मॉडल या कंटेनर छवियां हो सकती हैं। उदाहरण के लिए, एक घटक को पांडा पायथन लाइब्रेरी स्थापित करने और एक कोड फ़ाइल चलाने के लिए परिभाषित किया जा सकता है जो डेटा को बदल देगा, या एक टेन्सरफ्लो लाइब्रेरी स्थापित करने और अनुमान के लिए मॉडल चलाने के लिए परिभाषित किया जा सकता है। एक अनुमान अनुप्रयोग परिनियोजन के लिए आवश्यक उदाहरण कलाकृतियाँ निम्नलिखित हैं:
- जीआरपीसी प्रोटो और पायथन स्टब्स (यह आपके मॉडल और ढांचे के आधार पर भिन्न हो सकते हैं)
- मॉडल को लोड करने और अनुमान लगाने के लिए पायथन कोड
ये दो आइटम S3 बकेट में अपलोड किए गए हैं।
घटकों को तैनात करें
परिनियोजन के लिए निम्नलिखित घटकों की आवश्यकता है:
- एज मैनेजर एजेंट (जीए पर सार्वजनिक घटकों में उपलब्ध)
- आदर्श
- आवेदन
घटकों को तैनात करने के लिए निम्नलिखित चरणों को पूरा करें:
- AWS IoT कंसोल पर, के अंतर्गत हरी घास, चुनें अवयव, और एप्लिकेशन घटक बनाएं।
- सार्वजनिक घटकों की सूची में एज मैनेजर एजेंट घटक ढूंढें और उसे तैनात करें।
- एज मैनेजर द्वारा बनाए गए एक मॉडल घटक को तैनात करें, जिसका उपयोग एप्लिकेशन घटक में निर्भरता के रूप में किया जाता है।
- AWS IoT ग्रीनग्रास परिनियोजन की सूची पर जाकर और एक नया परिनियोजन बनाकर एप्लिकेशन घटक को एज डिवाइस पर परिनियोजित करें।
यदि आपके पास मौजूदा परिनियोजन है, तो आप एप्लिकेशन घटक जोड़ने के लिए इसे संशोधित कर सकते हैं।
अब आप अपने घटक का परीक्षण कर सकते हैं.
- एप्लिकेशन घटक के साथ तैनात आपके पूर्वानुमान या अनुमान कोड में, स्नोबॉल एज डिवाइस पर स्थानीय रूप से फ़ाइलों तक पहुंचने के लिए तर्क में कोड (उदाहरण के लिए, आने वाले फ़ोल्डर में) और पूर्वानुमानों या संसाधित फ़ाइलों को एक संसाधित फ़ोल्डर में ले जाया जाता है।
- यह देखने के लिए कि क्या पूर्वानुमान लगाए गए हैं, डिवाइस में लॉग इन करें।
- कोड को लूप पर चलाने के लिए सेट करें, नई फ़ाइलों के लिए आने वाले फ़ोल्डर की जाँच करें, फ़ाइलों को संसाधित करें और उन्हें संसाधित फ़ोल्डर में ले जाएँ।
निम्नलिखित स्क्रीनशॉट स्नोबॉल एज के अंदर तैनाती से पहले फ़ाइलों का एक उदाहरण सेटअप है।
परिनियोजन के बाद, सभी परीक्षण छवियों में रुचि की श्रेणियां होती हैं और इसलिए उन्हें संसाधित फ़ोल्डर में ले जाया जाता है।
क्लीन अप
सब कुछ साफ़ करने या इस समाधान को नए सिरे से लागू करने के लिए, सभी EC2 उदाहरणों को लागू करके रोकें TerminateInstance
आपके स्नोबॉल एज डिवाइस पर चल रहे EC2-संगत एंडपॉइंट के विरुद्ध एपीआई। अपना स्नोबॉल एज डिवाइस वापस करने के लिए देखें स्नोबॉल एज को बंद करना और स्नोबॉल एज डिवाइस लौटाना.
निष्कर्ष
इस पोस्ट में आपको बताया गया कि अपनी पसंद के एएमआई के साथ स्नोबॉल एज डिवाइस कैसे ऑर्डर करें। फिर आप सेजमेकर का उपयोग करके किनारे के लिए एक मॉडल संकलित करते हैं, एज मैनेजर का उपयोग करके उस मॉडल को पैकेज करते हैं, और नवीनतम एडब्ल्यूएस आईओटी ग्रीनग्रास का उपयोग करके स्नोबॉल एज पर एमएल अनुमान लगाने के लिए कलाकृतियों के साथ घटकों को बनाते हैं और चलाते हैं। एज मैनेजर के साथ, आप अपने एमएल मॉडल को स्नोबॉल एज उपकरणों के बेड़े पर तैनात और अपडेट कर सकते हैं, और अमेज़ॅन एस 3 पर सहेजे गए इनपुट और भविष्यवाणी डेटा के साथ किनारे पर प्रदर्शन की निगरानी कर सकते हैं। आप इन घटकों को लंबे समय तक चलने वाले के रूप में भी चला सकते हैं AWS लाम्बा फ़ंक्शंस जो एक मॉडल को स्पिन कर सकते हैं और अनुमान लगाने के लिए डेटा की प्रतीक्षा कर सकते हैं।
आप MQTT क्लाइंट बनाने के लिए AWS IoT ग्रीनग्रास की कई विशेषताओं को जोड़ते हैं और अन्य सेवाओं या माइक्रोसर्विसेज को लागू करने के लिए पब/उप मॉडल का उपयोग करते हैं। संभावनाएं अनंत हैं।
एज मैनेजर और एडब्ल्यूएस आईओटी ग्रीनग्रास के साथ स्नोबॉल एज पर एमएल अनुमान चलाकर, आप स्नोबॉल एज उपकरणों के बेड़े पर एमएल मॉडल को अनुकूलित, सुरक्षित, मॉनिटर और बनाए रख सकते हैं। पढ़ने के लिए धन्यवाद और कृपया टिप्पणी अनुभाग में प्रश्न या टिप्पणियाँ छोड़ने में संकोच न करें।
AWS स्नो फ़ैमिली, AWS IoT ग्रीनग्रास और एज मैनेजर के बारे में अधिक जानने के लिए, निम्नलिखित देखें:
लेखक के बारे में
राज कडियाल एडब्ल्यूएस डब्ल्यूडब्ल्यूपीएस पार्टनर ऑर्गनाइजेशन में एआई/एमएल टेक बिजनेस डेवलपमेंट मैनेजर है। राज को मशीन लर्निंग में 12 साल से अधिक का अनुभव है और वह अपना खाली समय मशीन लर्निंग की खोज में व्यावहारिक दैनिक समाधानों के लिए और कोलोराडो के महान आउटडोर में सक्रिय रहना पसंद करते हैं।
निदा बेग अमेज़ॅन वेब सर्विसेज में एक सीनियर प्रोडक्ट मैनेजर - टेक हैं जहां वह एडब्ल्यूएस स्नो फैमिली टीम में काम करती हैं। उन्हें ग्राहकों की जरूरतों को समझने और उपभोक्ता उत्पादों को वितरित करने के लिए परिवर्तनकारी सोच के संवाहक के रूप में प्रौद्योगिकी का उपयोग करने का शौक है। काम के अलावा, उसे यात्रा करना, लंबी पैदल यात्रा करना और दौड़ना पसंद है।
- 100
- 9
- पहुँच
- लेखा
- सक्रिय
- अतिरिक्त
- सब
- वीरांगना
- अमेज़ॅन EC2
- अमेज़न SageMaker
- अमेज़ॅन वेब सेवा
- एपीआई
- आवेदन
- अनुप्रयोगों
- एडब्ल्यूएस
- व्यापार
- जाँच
- वर्गीकरण
- कोड
- कोलोराडो
- टिप्पणियाँ
- अंग
- गणना करना
- कंडक्टर
- कनेक्टिविटी
- उपभोक्ता
- उपभोक्ता उत्पादों
- कंटेनर
- कंटेनरों
- बनाना
- क्रूज
- तिथि
- दिन
- विकास
- डिवाइस
- दस्तावेजों
- Edge
- अनुभव
- चेहरे की पहचान
- कारखाना
- परिवार
- विशेषताएं
- प्रथम
- बेड़ा
- मंजिलों
- ढांचा
- मुक्त
- महान
- अच्छे पर्यटन स्थल
- समूह
- यहाँ उत्पन्न करें
- हाइकिंग
- कैसे
- How To
- HTTPS
- आई ए एम
- पहचान
- की छवि
- औद्योगिक
- करें-
- ब्याज
- शामिल
- IOT
- IT
- जावा
- काम
- ताज़ा
- जानें
- सीख रहा हूँ
- पुस्तकालय
- सीमित
- सूची
- भार
- स्थानीय
- स्थानीय स्तर पर
- स्थान
- यंत्र अधिगम
- मैच
- ML
- आदर्श
- निगरानी
- पथ प्रदर्शन
- NEO
- नेटवर्क
- तेल
- परिचालन
- ऑपरेटिंग सिस्टम
- विकल्प
- ऑप्शंस
- आदेश
- अन्य
- सड़क पर
- पैकेजिंग
- साथी
- स्टाफ़
- प्रदर्शन
- नीतियाँ
- भविष्यवाणी
- भविष्यवाणियों
- एस्ट्रो मॉल
- उत्पादन
- उत्पाद
- सार्वजनिक
- अजगर
- pytorch
- गुणवत्ता
- रेंज
- पढ़ना
- को कम करने
- आवश्यकताएँ
- रन
- दौड़ना
- sagemaker
- सेवाएँ
- सेट
- शिपिंग
- जहाजों
- सरल
- बर्फ
- So
- समाधान ढूंढे
- बिताना
- स्पिन
- प्रारंभ
- शुरू
- भंडारण
- की दुकान
- निगरानी
- प्रणाली
- तकनीक
- टेक्नोलॉजी
- tensorflow
- परीक्षण
- विचारधारा
- पहर
- अपडेट
- प्रतीक्षा
- वेब
- वेब सेवाओं
- काम
- कार्य
- साल