मशीन लर्निंग (एमएल) प्रतिमान में बदलाव के बीज दशकों से मौजूद हैं, लेकिन वस्तुतः अनंत गणना क्षमता की उपलब्धता, डेटा के बड़े पैमाने पर प्रसार और एमएल प्रौद्योगिकियों की तेजी से प्रगति के साथ, उद्योगों में ग्राहक तेजी से एमएल को अपना रहे हैं और उपयोग कर रहे हैं। अपने व्यवसायों को बदलने के लिए प्रौद्योगिकियाँ।
अभी हाल ही में, जेनरेटिव एआई अनुप्रयोगों ने हर किसी का ध्यान और कल्पना पर कब्जा कर लिया है। हम वास्तव में एमएल को व्यापक रूप से अपनाने के एक रोमांचक मोड़ पर हैं, और हमारा मानना है कि हर ग्राहक अनुभव और एप्लिकेशन को जेनरेटिव एआई के साथ फिर से तैयार किया जाएगा।
जेनरेटिव एआई एक प्रकार का एआई है जो बातचीत, कहानियां, चित्र, वीडियो और संगीत सहित नई सामग्री और विचार बना सकता है। सभी एआई की तरह, जेनरेटिव एआई एमएल मॉडल द्वारा संचालित होता है - बहुत बड़े मॉडल जो डेटा के विशाल कॉर्पोरा पर पूर्व-प्रशिक्षित होते हैं और आमतौर पर फाउंडेशन मॉडल (एफएम) के रूप में संदर्भित होते हैं।
एफएम का आकार और सामान्य प्रयोजन प्रकृति उन्हें पारंपरिक एमएल मॉडल से अलग बनाती है, जो आम तौर पर विशिष्ट कार्य करते हैं, जैसे भावनाओं के लिए पाठ का विश्लेषण करना, छवियों को वर्गीकृत करना और रुझानों का पूर्वानुमान लगाना।
परंपरा एमएल मॉडल के साथ, प्रत्येक विशिष्ट कार्य को प्राप्त करने के लिए, आपको लेबल किए गए डेटा को इकट्ठा करने, एक मॉडल को प्रशिक्षित करने और उस मॉडल को तैनात करने की आवश्यकता होती है। फाउंडेशन मॉडल के साथ, प्रत्येक मॉडल के लिए लेबल किए गए डेटा को इकट्ठा करने और कई मॉडलों को प्रशिक्षित करने के बजाय, आप विभिन्न कार्यों को अनुकूलित करने के लिए एक ही पूर्व-प्रशिक्षित एफएम का उपयोग कर सकते हैं। आप डोमेन-विशिष्ट कार्यों को करने के लिए एफएम को भी अनुकूलित कर सकते हैं जो आपके व्यवसायों को अलग कर रहे हैं, किसी मॉडल को स्क्रैच से प्रशिक्षित करने के लिए आवश्यक डेटा और गणना के केवल एक छोटे से अंश का उपयोग करके।
जेनरेटिव एआई में सामग्री के निर्माण और उपभोग के तरीके में क्रांतिकारी बदलाव लाकर कई उद्योगों को बाधित करने की क्षमता है। मूल सामग्री उत्पादन, कोड जनरेशन, ग्राहक सेवा संवर्द्धन और दस्तावेज़ सारांश जेनेरिक एआई के विशिष्ट उपयोग के मामले हैं।
अमेज़न SageMaker जम्पस्टार्ट एमएल के साथ आरंभ करने में आपकी सहायता के लिए विभिन्न प्रकार की समस्या के लिए पूर्व-प्रशिक्षित, ओपन-सोर्स मॉडल प्रदान करता है। आप तैनाती से पहले इन मॉडलों को क्रमिक रूप से प्रशिक्षित और ट्यून कर सकते हैं। जंपस्टार्ट समाधान टेम्पलेट भी प्रदान करता है जो सामान्य उपयोग के मामलों के लिए बुनियादी ढांचा स्थापित करता है, और एमएल के लिए निष्पादन योग्य उदाहरण नोटबुक प्रदान करता है अमेज़न SageMaker.
600 से अधिक पूर्व-प्रशिक्षित मॉडल उपलब्ध हैं और हर दिन बढ़ रहे हैं, जम्पस्टार्ट डेवलपर्स को अपने उत्पादन वर्कफ़्लो में अत्याधुनिक एमएल तकनीकों को जल्दी और आसानी से शामिल करने में सक्षम बनाता है। आप जम्पस्टार्ट लैंडिंग पृष्ठ के माध्यम से पूर्व-प्रशिक्षित मॉडल, समाधान टेम्पलेट और उदाहरणों तक पहुंच सकते हैं अमेज़ॅन सैजमेकर स्टूडियो. आप सेजमेकर पायथन एसडीके का उपयोग करके जम्पस्टार्ट मॉडल तक भी पहुंच सकते हैं। जंपस्टार्ट मॉडल को प्रोग्रामेटिक रूप से उपयोग करने के तरीके के बारे में जानकारी के लिए देखें पूर्व-प्रशिक्षित मॉडल के साथ सेजमेकर जम्पस्टार्ट एल्गोरिदम का उपयोग करें.
अप्रैल 2023 में, AWS का अनावरण किया गया अमेज़ॅन बेडरॉक, जो स्टार्टअप सहित पूर्व-प्रशिक्षित मॉडल के माध्यम से जेनेरिक एआई-संचालित ऐप्स बनाने का एक तरीका प्रदान करता है AI21 लैब्स, anthropic, तथा स्थिरता एआई. अमेज़ॅन बेडरॉक टाइटन फाउंडेशन मॉडल तक पहुंच भी प्रदान करता है, जो एडब्ल्यूएस द्वारा इन-हाउस प्रशिक्षित मॉडलों का एक परिवार है। अमेज़ॅन बेडरॉक के सर्वर रहित अनुभव के साथ, आप आसानी से अपनी आवश्यकताओं के लिए सही मॉडल ढूंढ सकते हैं, जल्दी से आरंभ कर सकते हैं, अपने स्वयं के डेटा के साथ एफएम को निजी तौर पर अनुकूलित कर सकते हैं, और अपने परिचित AWS टूल और क्षमताओं का उपयोग करके उन्हें आसानी से अपने अनुप्रयोगों में एकीकृत और तैनात कर सकते हैं। (जैसे सेजमेकर एमएल सुविधाओं के साथ एकीकरण सहित)। अमेज़न SageMaker प्रयोग विभिन्न मॉडलों का परीक्षण करने के लिए और अमेज़न SageMaker पाइपलाइन किसी भी बुनियादी ढांचे का प्रबंधन किए बिना अपने एफएम को बड़े पैमाने पर प्रबंधित करने के लिए)।
इस पोस्ट में, हम दिखाते हैं कि जम्पस्टार्ट का उपयोग करके छवि और टेक्स्ट जेनरेटर एआई मॉडल को कैसे तैनात किया जाए AWS क्लाउड डेवलपमेंट किट (एडब्ल्यूएस सीडीके)। एडब्ल्यूएस सीडीके पायथन जैसी परिचित प्रोग्रामिंग भाषाओं का उपयोग करके आपके क्लाउड एप्लिकेशन संसाधनों को परिभाषित करने के लिए एक ओपन-सोर्स सॉफ्टवेयर डेवलपमेंट फ्रेमवर्क है।
हम छवि निर्माण के लिए स्थिर प्रसार मॉडल और FLAN-T5-XL मॉडल का उपयोग करते हैं प्राकृतिक भाषा समझ (एनएलयू) और से पाठ पीढ़ी गले लगना जम्पस्टार्ट में.
समाधान अवलोकन
वेब एप्लिकेशन पर बनाया गया है स्ट्रीमलाइट, एक ओपन-सोर्स पायथन लाइब्रेरी जो एमएल और डेटा साइंस के लिए सुंदर, कस्टम वेब ऐप्स बनाना और साझा करना आसान बनाती है। हम वेब एप्लिकेशन का उपयोग करके होस्ट करते हैं अमेज़ॅन इलास्टिक कंटेनर सेवा (अमेज़ॅन ईसीएस) के साथ AWS फरगेट और इसे एप्लिकेशन लोड बैलेंसर के माध्यम से एक्सेस किया जाता है। फ़ार्गेट एक ऐसी तकनीक है जिसे चलाने के लिए आप Amazon ECS के साथ उपयोग कर सकते हैं कंटेनर सर्वर या क्लस्टर या वर्चुअल मशीन को प्रबंधित किए बिना। जेनेरिक एआई मॉडल एंडपॉइंट्स को जम्पस्टार्ट छवियों से लॉन्च किया गया है अमेज़ॅन इलास्टिक कंटेनर रजिस्ट्री (अमेज़ॅन ईसीआर)। मॉडल डेटा संग्रहीत है अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) जम्पस्टार्ट खाते में। वेब एप्लिकेशन मॉडलों के साथ इंटरैक्ट करता है अमेज़ॅन एपीआई गेटवे और AWS लाम्बा निम्नलिखित चित्र में दिखाए अनुसार कार्य करता है।
एपीआई गेटवे वेब एप्लिकेशन और अन्य क्लाइंट को एक मानक RESTful इंटरफ़ेस प्रदान करता है, जबकि मॉडल के साथ इंटरफ़ेस करने वाले लैम्ब्डा फ़ंक्शन को ढाल देता है। यह मॉडलों का उपभोग करने वाले क्लाइंट एप्लिकेशन कोड को सरल बनाता है। इस उदाहरण में एपीआई गेटवे एंडपॉइंट सार्वजनिक रूप से पहुंच योग्य हैं, जिससे इस आर्किटेक्चर को अलग-अलग लागू करने के लिए विस्तारित करने की संभावना मिलती है एपीआई अभिगम नियंत्रण और अन्य अनुप्रयोगों के साथ एकीकृत करें।
इस पोस्ट में, हम आपको निम्नलिखित चरणों के माध्यम से चलते हैं:
- स्थापित करें AWS कमांड लाइन इंटरफ़ेस (AWS CLI) और एडब्ल्यूएस सीडीके v2 अपने स्थानीय मशीन पर।
- AWS CDK एप्लिकेशन को क्लोन करें और सेट करें।
- AWS CDK एप्लिकेशन परिनियोजित करें।
- छवि निर्माण एआई मॉडल का उपयोग करें।
- टेक्स्ट जनरेशन एआई मॉडल का उपयोग करें।
- पर तैनात संसाधनों को देखें एडब्ल्यूएस प्रबंधन कंसोल.
हम इस पोस्ट के अंत में परिशिष्ट में इस प्रोजेक्ट में कोड का अवलोकन प्रदान करते हैं।
.. पूर्वापेक्षाएँ
आपके पास निम्नलिखित पूर्वापेक्षाएँ होनी चाहिए:
आप इस ट्यूटोरियल में बुनियादी ढांचे को अपने स्थानीय कंप्यूटर से तैनात कर सकते हैं या उपयोग कर सकते हैं AWS क्लाउड 9 आपके परिनियोजन कार्य केंद्र के रूप में। AWS Cloud9 AWS CLI, AWS CDK और Docker के साथ प्री-लोडेड आता है। यदि आप AWS Cloud9 चुनते हैं, वातावरण बनाओ से एडब्ल्यूएस कंसोल.
इस पोस्ट को पूरा करने की अनुमानित लागत $50 है, यह मानते हुए कि आप संसाधनों को 8 घंटे तक चालू रखते हैं। सुनिश्चित करें कि आप चल रहे शुल्कों से बचने के लिए इस पोस्ट में बनाए गए संसाधनों को हटा दें।
अपनी स्थानीय मशीन पर AWS CLI और AWS CDK स्थापित करें
यदि आपकी स्थानीय मशीन पर पहले से ही AWS CLI नहीं है, तो देखें एडब्ल्यूएस सीएलआई के नवीनतम संस्करण को स्थापित या अद्यतन करना और एडब्ल्यूएस सीएलआई को कॉन्फ़िगर करना.
निम्नलिखित नोड पैकेज मैनेजर कमांड का उपयोग करके विश्व स्तर पर AWS CDK टूलकिट स्थापित करें:
सही इंस्टॉलेशन को सत्यापित करने और AWS CDK की संस्करण संख्या प्रिंट करने के लिए निम्नलिखित कमांड चलाएँ:
सुनिश्चित करें कि आपकी स्थानीय मशीन पर डॉकर स्थापित है। संस्करण को सत्यापित करने के लिए निम्नलिखित आदेश जारी करें:
AWS CDK एप्लिकेशन को क्लोन करें और सेट करें
अपनी स्थानीय मशीन पर, निम्नलिखित कमांड के साथ AWS CDK एप्लिकेशन को क्लोन करें:
प्रोजेक्ट फ़ोल्डर पर नेविगेट करें:
एप्लिकेशन को तैनात करने से पहले, आइए निर्देशिका संरचना की समीक्षा करें:
RSI stack
फ़ोल्डर में AWS CDK एप्लिकेशन में प्रत्येक स्टैक के लिए कोड होता है। code
फ़ोल्डर में लैम्ब्डा फ़ंक्शंस के लिए कोड होता है। रिपॉजिटरी में फ़ोल्डर के नीचे स्थित वेब एप्लिकेशन भी शामिल है web-app
.
RSI cdk.json
फ़ाइल AWS CDK टूलकिट को बताती है कि आपका एप्लिकेशन कैसे चलाया जाए।
इस एप्लिकेशन का परीक्षण किया गया था us-east-1
क्षेत्र, लेकिन इसे किसी भी क्षेत्र में काम करना चाहिए जिसमें आवश्यक सेवाएँ और अनुमान उदाहरण प्रकार हों ml.g4dn.4xlarge
में निर्दिष्ट किया app.py
.
एक आभासी वातावरण स्थापित करें
यह प्रोजेक्ट एक मानक पायथन प्रोजेक्ट की तरह स्थापित किया गया है। निम्नलिखित कोड का उपयोग करके एक पायथन वर्चुअल वातावरण बनाएं:
वर्चुअल वातावरण को सक्रिय करने के लिए निम्नलिखित कमांड का उपयोग करें:
यदि आप विंडोज़ प्लेटफ़ॉर्म पर हैं, तो वर्चुअल वातावरण को निम्नानुसार सक्रिय करें:
वर्चुअल वातावरण सक्रिय होने के बाद, पिप को नवीनतम संस्करण में अपग्रेड करें:
आवश्यक निर्भरताएँ स्थापित करें:
किसी भी AWS CDK एप्लिकेशन को तैनात करने से पहले, आपको अपने खाते और जिस क्षेत्र में आप तैनात कर रहे हैं, उसमें एक स्थान बूटस्ट्रैप करना होगा। अपने डिफ़ॉल्ट क्षेत्र में बूटस्ट्रैप करने के लिए, निम्नलिखित आदेश जारी करें:
यदि आप किसी विशिष्ट खाते और क्षेत्र में तैनात करना चाहते हैं, तो निम्न आदेश जारी करें:
इस सेटअप के बारे में अधिक जानकारी के लिए, यहाँ जाएँ AWS CDK के साथ शुरुआत करना.
AWS CDK एप्लिकेशन स्टैक संरचना
AWS CDK एप्लिकेशन में एकाधिक स्टैक शामिल हैं, जैसा कि निम्नलिखित चित्र में दिखाया गया है।
आप निम्नलिखित कमांड के साथ अपने AWS CDK एप्लिकेशन में स्टैक को सूचीबद्ध कर सकते हैं:
अन्य उपयोगी AWS CDK कमांड निम्नलिखित हैं:
- सीडीके एलएस - ऐप में सभी स्टैक सूचीबद्ध करता है
- सीडीके सिंथ – संश्लेषित उत्सर्जित करता है एडब्ल्यूएस CloudFormation टेम्पलेट
- सीडीके परिनियोजन - इस स्टैक को आपके डिफ़ॉल्ट AWS खाते और क्षेत्र में तैनात करता है
- सीडीके अंतर - वर्तमान स्थिति के साथ तैनात स्टैक की तुलना करता है
- सीडीके दस्तावेज़ - AWS CDK दस्तावेज़ खोलता है
अगला भाग आपको दिखाता है कि AWS CDK एप्लिकेशन को कैसे तैनात किया जाए।
AWS CDK एप्लिकेशन परिनियोजित करें
AWS CDK एप्लिकेशन को आपके वर्कस्टेशन कॉन्फ़िगरेशन के आधार पर डिफ़ॉल्ट क्षेत्र में तैनात किया जाएगा। यदि आप किसी विशिष्ट क्षेत्र में तैनाती को बाध्य करना चाहते हैं, तो अपना सेट करें AWS_DEFAULT_REGION
तदनुसार पर्यावरण परिवर्तनशील।
इस बिंदु पर, आप AWS CDK एप्लिकेशन को तैनात कर सकते हैं। सबसे पहले आप VPC नेटवर्क स्टैक लॉन्च करें:
यदि आपसे संकेत मिले तो दर्ज करें y
तैनाती के साथ आगे बढ़ने के लिए. आपको AWS संसाधनों की एक सूची देखनी चाहिए जिनका स्टैक में प्रावधान किया जा रहा है। इस चरण को पूरा होने में लगभग 3 मिनट का समय लगता है।
फिर आप वेब एप्लिकेशन स्टैक लॉन्च करें:
स्टैक का विश्लेषण करने के बाद, AWS CDK स्टैक में संसाधन सूची प्रदर्शित करेगा। परिनियोजन के साथ आगे बढ़ने के लिए y दर्ज करें। इस चरण में लगभग 5 मिनट लगते हैं।
नीचे नोट करें WebApplicationServiceURL
बाद में उपयोग करने के लिए आउटपुट से। आप इसे AWS CloudFormation कंसोल पर भी पुनः प्राप्त कर सकते हैं GenerativeAiDemoWebStack
स्टैक आउटपुट.
अब, इमेज जेनरेशन AI मॉडल एंडपॉइंट स्टैक लॉन्च करें:
इस चरण में लगभग 8 मिनट लगते हैं। छवि निर्माण मॉडल समापन बिंदु तैनात है, अब हम इसका उपयोग कर सकते हैं।
छवि निर्माण एआई मॉडल का उपयोग करें
पहला उदाहरण दर्शाता है कि स्टेबल डिफ्यूजन का उपयोग कैसे किया जाए, एक शक्तिशाली जेनरेटर मॉडलिंग तकनीक जो टेक्स्ट प्रॉम्प्ट से उच्च गुणवत्ता वाली छवियों के निर्माण को सक्षम बनाती है।
- का उपयोग करके वेब एप्लिकेशन तक पहुंचें
WebApplicationServiceURL
के आउटपुट सेGenerativeAiDemoWebStack
अपने ब्राउज़र में. - नेविगेशन फलक में, चुनें छवि निर्माण.
- RSI सेजमेकर एंडपॉइंट नाम और एपीआई जीडब्ल्यू यूआरएल फ़ील्ड पहले से भरी होंगी, लेकिन यदि आप चाहें तो छवि विवरण के लिए संकेत बदल सकते हैं।
- चुनें छवि उत्पन्न करें.
- एप्लिकेशन सेजमेकर एंडपॉइंट पर कॉल करेगा। इसमें कुछ सेकंड लगते हैं. आपके छवि विवरण में विशेषताओं वाला एक चित्र प्रदर्शित किया जाएगा।
टेक्स्ट जनरेशन एआई मॉडल का उपयोग करें
दूसरा उदाहरण FLAN-T5-XL मॉडल का उपयोग करने पर केंद्रित है, जो एक आधार या बड़ा भाषा मॉडल (एलएलएम) है, ताकि प्राकृतिक भाषा समझ (एनएलयू) और प्राकृतिक भाषा समझ (एनएलयू) की एक विस्तृत श्रृंखला को संबोधित करते हुए पाठ पीढ़ी के लिए संदर्भ में सीखने को प्राप्त किया जा सके। भाषा निर्माण (एनएलजी) कार्य।
कुछ वातावरण आपके द्वारा एक समय में लॉन्च किए जा सकने वाले समापन बिंदुओं की संख्या को सीमित कर सकते हैं। यदि यह मामला है, तो आप एक समय में एक सेजमेकर एंडपॉइंट लॉन्च कर सकते हैं। एडब्ल्यूएस सीडीके ऐप में सेजमेकर एंडपॉइंट को रोकने के लिए, आपको तैनात एंडपॉइंट स्टैक को नष्ट करना होगा और अन्य एंडपॉइंट स्टैक को लॉन्च करने से पहले। छवि निर्माण एआई मॉडल समापन बिंदु को बंद करने के लिए, निम्नलिखित आदेश जारी करें:
फिर टेक्स्ट जेनरेशन AI मॉडल एंडपॉइंट स्टैक लॉन्च करें:
संकेतों पर y दर्ज करें।
टेक्स्ट जेनरेशन मॉडल एंडपॉइंट स्टैक लॉन्च होने के बाद, निम्नलिखित चरणों को पूरा करें:
- वेब एप्लिकेशन पर वापस जाएं और चुनें टेक्स्ट जनरेशन नेविगेशन फलक में
- RSI इनपुट प्रसंग फ़ील्ड पहले से ही ग्राहक और एजेंट के बीच ग्राहक के फ़ोन की समस्या के संबंध में हुई बातचीत से भरा हुआ है, लेकिन यदि आप चाहें तो आप अपना स्वयं का संदर्भ दर्ज कर सकते हैं।
- संदर्भ के नीचे, आपको ड्रॉप-डाउन मेनू पर कुछ पूर्व-पॉप्युलेटेड प्रश्न मिलेंगे। एक प्रश्न चुनें और चुनें प्रतिक्रिया उत्पन्न करें.
- आप इसमें अपनी स्वयं की क्वेरी भी दर्ज कर सकते हैं इनपुट क्वेरी फ़ील्ड और फिर चुनें प्रतिक्रिया उत्पन्न करें.
कंसोल पर तैनात संसाधनों को देखें
AWS CloudFormation कंसोल पर, चुनें ढेर तैनात किए गए स्टैक को देखने के लिए नेविगेशन फलक में।
अमेज़ॅन ईसीएस कंसोल पर, आप क्लस्टर देख सकते हैं क्लस्टर इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
AWS लैम्ब्डा कंसोल पर, आप फ़ंक्शन देख सकते हैं कार्य इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
एपीआई गेटवे कंसोल पर, आप एपीआई गेटवे एंडपॉइंट देख सकते हैं एपीआई इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
सेजमेकर कंसोल पर, आप तैनात मॉडल एंडपॉइंट देख सकते हैं endpoints इस पृष्ठ पर ज़ूम कई वीडियो ट्यूटोरियल और अन्य साहायक साधन प्रदान करता है।
जब स्टैक लॉन्च किए जाते हैं, तो कुछ पैरामीटर उत्पन्न होते हैं। इन्हें संग्रहित किया जाता है एडब्ल्यूएस सिस्टम मैनेजर पैरामीटर स्टोर. उन्हें देखने के लिए चुनें पैरामीटर स्टोर नेविगेशन फलक में एडब्ल्यूएस सिस्टम मैनेजर सांत्वना.
क्लीन अप
अनावश्यक लागत से बचने के लिए, अपने वर्कस्टेशन पर निम्नलिखित कमांड के साथ बनाए गए सभी बुनियादी ढांचे को साफ करें:
दर्ज y
संकेत पर. इस चरण में लगभग 10 मिनट लगते हैं। जांचें कि क्या कंसोल पर सभी संसाधन हटा दिए गए हैं। साथ ही Amazon S3 कंसोल पर AWS CDK द्वारा बनाई गई संपत्ति S3 बकेट के साथ-साथ Amazon ECR पर संपत्ति रिपॉजिटरी को भी हटा दें।
निष्कर्ष
जैसा कि इस पोस्ट में दिखाया गया है, आप जम्पस्टार्ट में जेनेरिक एआई मॉडल को तैनात करने के लिए एडब्ल्यूएस सीडीके का उपयोग कर सकते हैं। हमने स्ट्रीमलिट, लैम्ब्डा और एपीआई गेटवे द्वारा संचालित यूजर इंटरफेस का उपयोग करके एक छवि निर्माण उदाहरण और एक टेक्स्ट पीढ़ी उदाहरण दिखाया।
अब आप जंपस्टार्ट में पूर्व-प्रशिक्षित एआई मॉडल का उपयोग करके अपनी जेनरेटिव एआई परियोजनाएं बना सकते हैं। आप अपने उपयोग के मामले के लिए फाउंडेशन मॉडल को ठीक करने और एपीआई गेटवे एंडपॉइंट तक पहुंच को नियंत्रित करने के लिए इस प्रोजेक्ट का विस्तार भी कर सकते हैं।
हम आपको समाधान का परीक्षण करने और परियोजना में योगदान देने के लिए आमंत्रित करते हैं GitHub. इस ट्यूटोरियल पर अपने विचार टिप्पणियों में साझा करें!
लाइसेंस सारांश
यह नमूना कोड संशोधित एमआईटी लाइसेंस के तहत उपलब्ध कराया गया है। देखें लाइसेंस अधिक जानकारी के लिए फ़ाइल करें. इसके अलावा, संबंधित लाइसेंसों की भी समीक्षा करें स्थिर प्रसार और फ़्लान-t5-xl गले मिलते चेहरे पर मॉडल.
लेखक के बारे में
हन्त्ज़ले टाकूर सिंगापुर में स्थित एक एपीजे पार्टनर सॉल्यूशंस आर्किटेक्चर लीडर है। उनके पास समाधान वास्तुकला, व्यवसाय विकास, बिक्री रणनीति, परामर्श और नेतृत्व सहित कई कार्यात्मक क्षेत्रों में फैले आईसीटी उद्योग में 20 वर्षों का अनुभव है। वह सीनियर सॉल्यूशंस आर्किटेक्ट्स की एक टीम का नेतृत्व करते हैं जो भागीदारों को संयुक्त समाधान विकसित करने, तकनीकी क्षमताओं का निर्माण करने और उन्हें कार्यान्वयन चरण के माध्यम से चलाने में सक्षम बनाता है क्योंकि ग्राहक अपने अनुप्रयोगों को एडब्ल्यूएस में स्थानांतरित और आधुनिक बनाते हैं।
क्वोन्युल चोई सियोल स्थित कोरियाई ब्यूटी केयर प्लेटफॉर्म स्टार्टअप BABITALK में CTO हैं। इस भूमिका से पहले, कोन्युल ने AWS CDK और Amazon SageMaker पर ध्यान केंद्रित करते हुए AWS में सॉफ्टवेयर डेवलपमेंट इंजीनियर के रूप में काम किया।
अरुणाप्रसथ शंकर AWS के साथ एक वरिष्ठ AI/ML विशेषज्ञ समाधान आर्किटेक्ट हैं, जो वैश्विक ग्राहकों को क्लाउड में उनके AI समाधानों को प्रभावी ढंग से और कुशलता से बढ़ाने में मदद करते हैं। अपने खाली समय में, अरुण को विज्ञान-फाई फिल्में देखना और शास्त्रीय संगीत सुनना पसंद है।
-सतीश उप्रेती एपीजे में भागीदार संगठन में एक माइग्रेशन लीड पीएसए और सुरक्षा एसएमई है। सतीश के पास ऑन-प्रिमाइसेस निजी क्लाउड और सार्वजनिक क्लाउड प्रौद्योगिकियों में 20 वर्षों का अनुभव है। अगस्त 2020 में माइग्रेशन विशेषज्ञ के रूप में AWS में शामिल होने के बाद से, वह जटिल माइग्रेशन की योजना बनाने और लागू करने के लिए AWS भागीदारों को व्यापक तकनीकी सलाह और सहायता प्रदान करते हैं।
परिशिष्ट: कोड वॉकथ्रू
इस अनुभाग में, हम इस प्रोजेक्ट में कोड का एक सिंहावलोकन प्रदान करते हैं।
एडब्ल्यूएस सीडीके आवेदन
मुख्य AWS CDK एप्लिकेशन इसमें निहित है app.py
रूट निर्देशिका में फ़ाइल. प्रोजेक्ट में कई स्टैक शामिल हैं, इसलिए हमें स्टैक आयात करना होगा:
हम अपने जेनरेटिव एआई मॉडल को परिभाषित करते हैं और सेजमेकर से संबंधित यूआरआई प्राप्त करते हैं:
फ़ंक्शन get_sagemaker_uris जम्पस्टार्ट से सभी मॉडल जानकारी पुनर्प्राप्त करता है। देखना script/sagemaker_uri.py
.
फिर, हम स्टैक को तुरंत चालू करते हैं:
लॉन्च होने वाला पहला स्टैक VPC स्टैक, GenerativeAiVpcNetworkStack है। वेब एप्लिकेशन स्टैक, जेनरेटिवएआईडेमोवेबस्टैक, वीपीसी स्टैक पर निर्भर है। निर्भरता vpc=network_stack.vpc पास करने वाले पैरामीटर के माध्यम से की जाती है।
देख app.py
पूरे कोड के लिए.
वीपीसी नेटवर्क स्टैक
जेनरेटिवएआईवीपीसीनेटवर्कस्टैक स्टैक में, हम एक सार्वजनिक सबनेट और दो उपलब्धता क्षेत्रों में फैले एक निजी सबनेट के साथ एक वीपीसी बनाते हैं:
देख /stack/generative_ai_vpc_network_stack.py
पूरे कोड के लिए.
डेमो वेब एप्लिकेशन स्टैक
जेनरेटिवएआईडेमोवेबस्टैक स्टैक में, हम लैम्ब्डा फ़ंक्शन और संबंधित एपीआई गेटवे एंडपॉइंट लॉन्च करते हैं जिसके माध्यम से वेब एप्लिकेशन सेजमेकर मॉडल एंडपॉइंट के साथ इंटरैक्ट करता है। निम्नलिखित कोड स्निपेट देखें:
वेब एप्लिकेशन को फ़ार्गेट के साथ अमेज़ॅन ईसीएस पर कंटेनरीकृत और होस्ट किया गया है। निम्नलिखित कोड स्निपेट देखें:
देख /stack/generative_ai_demo_web_stack.py
पूरे कोड के लिए.
छवि निर्माण सेजमेकर मॉडल एंडपॉइंट स्टैक
GenerativeAiTxt2imgSagemakerStack स्टैक जंपस्टार्ट से इमेज जेनरेशन मॉडल एंडपॉइंट बनाता है और सिस्टम मैनेजर पैरामीटर स्टोर में एंडपॉइंट नाम संग्रहीत करता है। इस पैरामीटर का उपयोग वेब एप्लिकेशन द्वारा किया जाएगा. निम्नलिखित कोड देखें:
देख /stack/generative_ai_txt2img_sagemaker_stack.py
पूरे कोड के लिए.
एनएलयू और टेक्स्ट जेनरेशन सेजमेकर मॉडल एंडपॉइंट स्टैक
GenerativeAiTxt2nluSagemakerStack स्टैक जम्पस्टार्ट से NLU और टेक्स्ट जेनरेशन मॉडल एंडपॉइंट बनाता है और सिस्टम मैनेजर पैरामीटर स्टोर में एंडपॉइंट नाम संग्रहीत करता है। इस पैरामीटर का उपयोग वेब एप्लिकेशन द्वारा भी किया जाएगा। निम्नलिखित कोड देखें:
देख /stack/generative_ai_txt2nlu_sagemaker_stack.py
पूरे कोड के लिए.
वेब एप्लीकेशन
वेब एप्लिकेशन स्थित है /web-app
निर्देशिका। यह एक स्ट्रीमलिट एप्लिकेशन है जिसे इसके अनुसार कंटेनरीकृत किया गया है Dockerfile
:
स्ट्रीमलिट के बारे में अधिक जानने के लिए देखें स्ट्रीमलिट प्रलेखन.
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/deploy-generative-ai-models-from-amazon-sagemaker-jumpstart-using-the-aws-cdk/
- :हैस
- :है
- $यूपी
- 1
- 10
- 100
- 20
- 20 साल
- 2020
- 2023
- 7
- 8
- 9
- a
- About
- पहुँच
- पहुँचा
- सुलभ
- तदनुसार
- लेखा
- पाना
- के पार
- अनुकूलन
- को संबोधित
- अपनाने
- दत्तक ग्रहण
- उन्नति
- सलाह
- एजेंट
- AI
- ऐ संचालित
- ऐ / एमएल
- एल्गोरिदम
- सब
- की अनुमति दे
- पहले ही
- भी
- वीरांगना
- अमेज़ॅन एपीआई गेटवे
- अमेज़न SageMaker
- अमेज़न SageMaker जम्पस्टार्ट
- अमेज़ॅन वेब सेवा
- an
- का विश्लेषण
- और
- कोई
- एपीआई
- अनुप्रयोग
- आवेदन
- अनुप्रयोगों
- क्षुधा
- अप्रैल
- स्थापत्य
- हैं
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- चारों ओर
- AS
- संपत्ति
- At
- ध्यान
- अगस्त
- उपलब्धता
- उपलब्ध
- से बचने
- एडब्ल्यूएस
- AWS क्लाउड 9
- एडब्ल्यूएस CloudFormation
- AWS लाम्बा
- वापस
- कसरती
- आधारित
- बल्लेबाजी
- BE
- सुंदर
- सुंदरता
- से पहले
- जा रहा है
- मानना
- के बीच
- जूते का फीता
- विस्तृत
- ब्राउज़र
- निर्माण
- बनाया गया
- व्यापार
- व्यापार विकास
- व्यवसायों
- लेकिन
- by
- कॉल
- कर सकते हैं
- क्षमताओं
- क्षमता
- पर कब्जा कर लिया
- कौन
- मामला
- मामलों
- CD
- केंद्र
- परिवर्तन
- विशेषताएँ
- प्रभार
- चेक
- चुनें
- ग्राहक
- ग्राहकों
- बादल
- Cloud9
- कोड
- आता है
- सामान्य
- सामान्यतः
- पूरा
- जटिल
- गणना करना
- कंप्यूटर
- विन्यास
- कंसोल
- निर्माण
- परामर्श
- प्रयुक्त
- निहित
- कंटेनर
- शामिल हैं
- सामग्री
- प्रसंग
- योगदान
- नियंत्रण
- कन्वर्सेशन (Conversation)
- बातचीत
- सही
- लागत
- बनाना
- बनाया
- बनाता है
- निर्माण
- सीटीओ
- वर्तमान
- रिवाज
- ग्राहक
- ग्राहक अनुभव
- ग्राहक सेवा
- ग्राहक
- अनुकूलित
- अग्रणी
- तिथि
- डेटा विज्ञान
- दिन
- दशकों
- चूक
- परिभाषित करता है
- साबित
- दर्शाता
- निर्भरता
- निर्भर
- तैनात
- तैनात
- तैनाती
- तैनाती
- तैनात
- विवरण
- को नष्ट
- विकसित करना
- डेवलपर्स
- विकास
- विभिन्न
- प्रसार
- डिस्प्ले
- बाधित
- डाक में काम करनेवाला मज़दूर
- दस्तावेज़
- किया
- dont
- नीचे
- से प्रत्येक
- आसानी
- आसान
- प्रभावी रूप से
- कुशलता
- सक्षम
- सक्षम बनाता है
- समाप्त
- endpoint
- इंजीनियर
- दर्ज
- वातावरण
- वातावरण
- अनुमानित
- ईथर (ईटीएच)
- प्रत्येक
- प्रतिदिन
- हर किसी को है
- उदाहरण
- उदाहरण
- उत्तेजक
- अस्तित्व में
- अनुभव
- विस्तार
- व्यापक
- चेहरा
- असत्य
- परिचित
- परिवार
- विशेषताएं
- कुछ
- खेत
- फ़ील्ड
- पट्टिका
- खोज
- प्रथम
- फोकस
- निम्नलिखित
- इस प्रकार है
- के लिए
- सेना
- बुनियाद
- अंश
- ढांचा
- से
- पूर्ण
- समारोह
- कार्यात्मक
- कार्यों
- प्रवेश द्वार
- इकट्ठा
- सभा
- सामान्य उद्देश्य
- उत्पन्न
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- मिल
- जाना
- वैश्विक
- ग्लोबली
- बढ़ रहा है
- है
- होने
- he
- मदद
- मदद
- उच्च गुणवत्ता
- उसके
- होम
- मेजबान
- मेजबानी
- घंटे
- कैसे
- How To
- एचटीएमएल
- http
- HTTPS
- आईसीटी
- विचारों
- if
- की छवि
- छवि निर्माण
- छवियों
- कल्पना
- लागू करने के
- कार्यान्वयन
- आयात
- in
- सहित
- सम्मिलित
- उद्योगों
- उद्योग
- संक्रमण का बिन्दु
- करें-
- इंफ्रास्ट्रक्चर
- स्थापित
- स्थापना
- installed
- उदाहरण
- बजाय
- एकीकृत
- एकीकरण
- सूचना का आदान प्रदान
- इंटरफेस
- में
- आमंत्रित करना
- मुद्दा
- IT
- शामिल होने
- संयुक्त
- जेपीजी
- JSON
- कोरियाई
- अवतरण
- लैंडिंग पेज
- भाषा
- भाषाऐं
- बड़ा
- बाद में
- ताज़ा
- लांच
- शुभारंभ
- शुरू करने
- नेतृत्व
- नेता
- नेतृत्व
- बिक्रीसूत्र
- जानें
- सीख रहा हूँ
- छोड़ना
- पुस्तकालय
- लाइसेंस
- लाइसेंस
- पसंद
- सीमा
- लाइन
- सूची
- सुनना
- सूचियाँ
- भार
- स्थानीय
- स्थित
- मशीन
- यंत्र अधिगम
- मशीनें
- बनाया गया
- मुख्य
- बनाना
- बनाता है
- प्रबंधन
- प्रबंध
- प्रबंधक
- बहुत
- विशाल
- मेन्यू
- हो सकता है
- विस्थापित
- प्रवास
- मिनट
- एमआईटी
- ML
- एमएल तकनीक
- आदर्श
- मोडलिंग
- मॉडल
- आधुनिकीकरण
- संशोधित
- अधिक
- चलचित्र
- विभिन्न
- संगीत
- चाहिए
- नाम
- प्राकृतिक
- प्राकृतिक भाषा
- प्राकृतिक भाषा पीढ़ी
- प्राकृतिक भाषा को समझना
- प्रकृति
- पथ प्रदर्शन
- आवश्यकता
- की जरूरत है
- नेटवर्क
- नया
- अगला
- NLG
- एन एल यू
- नोड
- पुस्तिकाओं
- अभी
- संख्या
- of
- ऑफर
- on
- ONE
- चल रहे
- केवल
- खुला स्रोत
- खुला स्रोत सॉफ्टवेयर
- खोलता है
- or
- आदेश
- संगठन
- मूल
- अन्य
- हमारी
- उत्पादन
- के ऊपर
- सिंहावलोकन
- अपना
- पैकेज
- पृष्ठ
- फलक
- मिसाल
- प्राचल
- पैरामीटर
- साथी
- भागीदारों
- पासिंग
- निष्पादन
- चरण
- फ़ोन
- चित्र
- योजना
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- बिन्दु
- संभावना
- पद
- संभावित
- संचालित
- शक्तिशाली
- आवश्यक शर्तें
- छाप
- पूर्व
- निजी
- मुसीबत
- उत्पादन
- प्रोग्रामिंग
- प्रोग्रामिंग की भाषाएँ
- परियोजना
- परियोजनाओं
- प्रदान करना
- प्रदान करता है
- सार्वजनिक
- सार्वजनिक क्लाउड
- सार्वजनिक रूप से
- अजगर
- प्रश्नों
- जल्दी से
- रेंज
- उपवास
- तेजी
- तैयार
- हाल ही में
- निर्दिष्ट
- के बारे में
- क्षेत्र
- सम्बंधित
- कोष
- अपेक्षित
- आवश्यकताएँ
- संसाधन
- उपयुक्त संसाधन चुनें
- कि
- की समीक्षा
- क्रांति
- सही
- भूमिका
- जड़
- रन
- दौड़ना
- sagemaker
- विक्रय
- वही
- स्केल
- Sci-fi
- विज्ञान
- खरोंच
- एसडीके
- दूसरा
- सेकंड
- अनुभाग
- सुरक्षा
- देखना
- बीज
- स्व
- वरिष्ठ
- भावुकता
- सियोल
- serverless
- सर्वर
- सेवा
- सेवाएँ
- सेट
- व्यवस्था
- Share
- पाली
- चाहिए
- दिखाना
- पता चला
- दिखाया
- दिखाता है
- सरल
- के बाद से
- सिंगापुर
- आकार
- छोटा
- ईएमएस
- So
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- समाधान
- समाधान ढूंढे
- कुछ
- स्रोत
- अंतरिक्ष
- विशेषज्ञ
- विशिष्ट
- विनिर्दिष्ट
- स्थिर
- धुआँरा
- ढेर
- मानक
- शुरू
- स्टार्टअप
- स्टार्टअप
- कदम
- कदम
- रुकें
- भंडारण
- की दुकान
- संग्रहित
- भंडार
- कहानियों
- स्ट्रेटेजी
- संरचना
- उप - जाल
- समर्थन
- निश्चित
- सिस्टम
- लेता है
- कार्य
- कार्य
- टीम
- तकनीकी
- तकनीक
- टेक्नोलॉजीज
- टेक्नोलॉजी
- बताता है
- टेम्पलेट्स
- परीक्षण
- परीक्षण
- पाठ पीढ़ी
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- इन
- इसका
- यहाँ
- पहर
- टाइटन
- सेवा मेरे
- टूलकिट
- उपकरण
- परंपरा
- परंपरागत
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- बदालना
- रुझान
- <strong>उद्देश्य</strong>
- वास्तव में
- मोड़
- ट्यूटोरियल
- दो
- टाइप
- प्रकार
- ठेठ
- आम तौर पर
- के अंतर्गत
- समझ
- अनावरण किया
- अद्यतन
- उन्नयन
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- यूजर इंटरफेस
- का उपयोग
- उपयोग
- विभिन्न
- व्यापक
- सत्यापित
- संस्करण
- के माध्यम से
- वीडियो
- देखें
- वास्तविक
- वास्तव में
- भेंट
- करना चाहते हैं
- था
- देख
- मार्ग..
- we
- वेब
- वेब एप्लीकेशन
- वेब सेवाओं
- कुंआ
- कौन कौन से
- जब
- चौड़ा
- विस्तृत श्रृंखला
- बड़े पैमाने पर
- विकिपीडिया
- मर्जी
- खिड़कियां
- साथ में
- बिना
- काम
- काम किया
- workflows
- वर्कस्टेशन
- साल
- इसलिए आप
- आपका
- जेफिरनेट
- क्षेत्र