סטודיו SageMaker של אמזון היא סביבת פיתוח משולבת לחלוטין (IDE) ללמידת מכונה (ML) המבוססת בחלקה על JupyterLab 3. Studio מספקת ממשק מבוסס אינטרנט לביצוע אינטראקטיבית משימות פיתוח ML הנדרשות להכנת נתונים ולבנות, לאמן ולפרוס מודלים של ML. ב-Studio, אתה יכול לטעון נתונים, להתאים מודלים של ML, לעבור בין השלבים כדי להתאים ניסויים, להשוות תוצאות ולפרוס מודלים של ML להסקת מסקנות.
אל האני ערכת פיתוח ענן AWS (AWS CDK) היא מסגרת פיתוח תוכנה בקוד פתוח ליצירה AWS CloudFormation ערימות דרך אוטומטית תבנית CloudFormation דוֹר. מחסנית היא אוסף של משאבי AWS, שניתן לעדכן, להעביר או למחוק באופן תכנותי. AWS CDK בונה הם אבני הבניין של יישומי AWS CDK, המייצגים את התוכנית להגדרת ארכיטקטורות ענן.
הגדרת Studio עם AWS CDK הפכה לתהליך יעיל. AWS CDK מאפשר לך להשתמש במבנים מקוריים כדי להגדיר ולפרוס את Studio באמצעות תשתית כקוד (IaC), כולל AWS זהות וניהול גישה הרשאות (AWS IAM) ותצורות משאבי ענן רצויות, הכל במקום אחד. ניתן להשתמש בגישת פיתוח זו בשילוב עם שיטות עבודה מומלצות אחרות של הנדסת תוכנה כמו פריסות קוד אוטומטיות, בדיקות ו צינורות CI / CD. ה-AWS CDK מפחית את הזמן הנדרש לביצוע משימות פריסת תשתית טיפוסיות תוך כיווץ שטח הפנים לטעויות אנוש באמצעות אוטומציה.
פוסט זה מנחה אותך בשלבים לתחילת העבודה עם הגדרה ופריסה של Studio לסטנדרטיזציה של פיתוח מודל ML ושיתוף פעולה עם מהנדסי ML אחרים ומדעני ML. כל הדוגמאות בפוסט כתובות בשפת התכנות Python. עם זאת, ה-AWS CDK מציע תמיכה מובנית עבור מספר שפות תכנות אחרות כמו JavaScript, Java ו-C#.
תנאים מוקדמים
כדי להתחיל, חלים התנאים המוקדמים הבאים:
שיבוט את מאגר GitHub
ראשית, בואו לשבט מה היא מאגר GitHub.
כאשר המאגר נמשך בהצלחה, אתה יכול לבדוק את ספריית cdk המכילה את המשאבים הבאים:
- cdk - מכיל את משאבי ה-cdk העיקריים
- app.py - היכן מוגדרת ערימת ה-AWS CDK
- cdk.json - מכיל מטא נתונים ודגלי תכונה
סקריפטים של AWS CDK
שני הקבצים העיקריים שאנו רוצים להסתכל עליהם ב- cdk
ספריית משנה הם sagemaker_studio_construct.py
ו sagemaker_studio_stack.py
. בואו נסתכל על כל קובץ ביתר פירוט.
קובץ בניית סטודיו
מבנה הסטודיו מוגדר ב- sagemaker_studio_construct.py
קובץ.
מבנה הסטודיו לוקח את ה ענן פרטי וירטואלי (VPC), משתמשים ברשימה, אזור AWS וסוג מופע ברירת המחדל הבסיסי כפרמטרים. מבנה AWS CDK זה משרת את הפונקציות הבאות:
- יוצר את תחום הסטודיו (
SageMakerStudioDomain
) - מגדיר את תפקיד IAM
sagemaker_studio_execution_role
עםAmazonSageMakerFullAccess
הרשאות הנדרשות ליצירת משאבים. יש להקטין את ההרשאות עוד יותר כדי לפעול לפי העיקרון הפחות הרשאות לשיפור האבטחה. - מגדיר את הגדרות אפליקציית שרת Jupyter - מקבל
JUPYTER_SERVER_APP_IMAGE_NAME
, מגדיר את תמונת המיכל של jupyter-server-3 לשימוש. - מגדיר הגדרות אפליקציית שער הליבה - מקבל
KERNEL_GATEWAY_APP_IMAGE_NAME
, הגדרת תמונת המאגר של datascience-2.0 לשימוש. - יוצר פרופיל משתמש עבור כל משתמש רשום
קטע הקוד הבא מציג את משאבי התחום הרלוונטיים של Studio AWS CloudFormation המוגדרים ב-AWS CDK:
קטע הקוד הבא מציג את פרופילי המשתמש שנוצרו ממשאבי AWS CloudFormation:
קובץ מחסנית סטודיו
לאחר הגדרת המבנה, אתה יכול להוסיף אותו על ידי יצירת מופע של המחלקה והעברת הארגומנטים הנדרשים בתוך המחסנית. המחסנית יוצרת את משאבי AWS CloudFormation כחלק מפריסה קוהרנטית אחת. המשמעות היא שאם לפחות משאב ענן אחד לא נוצר, ערימת CloudFormation מחזירה את כל השינויים שבוצעו. קטע הקוד הבא של המבנה של Studio מופיע בתוך ערימת הסטודיו:
פרוס את ערימת AWS CDK
כדי לפרוס את ערימת ה-AWS CDK שלך, הפעל את הפקודות הבאות מספריית השורש של הפרויקט בתוך חלון המסוף שלך:
aws configure
pip3 install -r requirements.txt
cdk bootstrap --app "python3 -m cdk.app"
cdk deploy --app "python3 -m cdk.app"
עיין במשאבים ש- AWS CDK יוצר בחשבון AWS שלך ובחר כן כאשר תתבקש לפרוס את המחסנית. המתן עד שתסתיים פריסת המחסנית שלך. זה בדרך כלל לוקח פחות מ-5 דקות; עם זאת, הוספת משאבים נוספים תאריך את זמן הפריסה. אתה יכול גם לבדוק את מצב הפריסה ב- קונסולת AWS CloudFormation.
כאשר הערימה נפרסה בהצלחה, בדוק את המידע שלה על ידי מעבר ללוח הבקרה של הסטודיו. אתה אמור לראות את פרופיל המשתמש של SageMaker Studio שיצרת.
אם תפרוס מחדש את המחסנית היא תבדוק אם יש שינויים, תוך ביצוע רק עדכוני משאבי הענן הדרושים. לדוגמה, זה יכול לשמש כדי להוסיף משתמשים, או לשנות הרשאות של משתמשים אלה מבלי ליצור מחדש את כל משאבי הענן שהוגדרו.
ניקוי
כדי למחוק ערימה, בצע את השלבים הבאים:
- במסוף CloudFormation של AWS, בחר ערימות בחלונית הניווט.
- פתח את הערימה שברצונך למחוק.
- בחלונית פרטי הערימה, בחר מחק.
- לבחור מחק ערימה כאשר תתבקש לעשות זאת.
AWS CloudFormation תמחק את המשאבים שנוצרו בעת פריסת המחסנית. זה עשוי להימשך זמן מה בהתאם לכמות המשאבים שנוצרו.
אם אתה נתקל בבעיות כלשהן במהלך שלבי הניקוי האלה, ייתכן שיהיה עליך לעשות זאת למחוק ידנית את דומיין Studio תחילה לפני שתחזור על השלבים בסעיף זה.
סיכום
בפוסט זה, הראינו כיצד להשתמש במשאבי IaC מקוריים של AWS כדי לבנות תבנית לשימוש חוזר בקלות עבור פריסות Studio. SageMaker Studio הוא IDE מבוסס אינטרנט משולב במלואו המספק ממשק חזותי למשימות פיתוח ML המבוסס על JupyterLab3. עם ערימות CDK של AWS, הצלחנו להגדיר מבנים לבניית רכיבי ענן שניתן לשנות, לערוך או למחוק בקלות על ידי ביצוע שינויים בערימת CloudFormation הבסיסית.
למידע נוסף על אמזון סטודיו, ראה סטודיו SageMaker של אמזון.
על הכותבים
קורי היירסטון הוא מהנדס תוכנה במעבדת הפתרונות של אמזון ML. הוא נלהב ללמוד טכנולוגיות חדשות ולמנף את המידע הזה לבניית פתרונות תוכנה לשימוש חוזר. הוא מרים כוח נלהב ומבלה את זמנו הפנוי ביצירת אמנות דיגיטלית.
מרסלו אברלה הוא מהנדס ML בארגון AWS AI. הוא מוביל את מאמצי MLOps במעבדת פתרונות ML של אמזון, ועוזר ללקוחות לעצב ולהטמיע מערכות ML ניתנות להרחבה. המשימה שלו היא להדריך לקוחות במסע ה-ML הארגוני שלהם ולהאיץ את דרכם ב-ML לייצור.
יאש שאה הוא מנהל מדע ב- מעבדת פתרונות אמזון ML. הוא וצוות המדענים היישומיים שלו ומהנדסי למידת מכונה עובדים על מגוון מקרי שימוש של למידת מכונה מתחומי הבריאות, הספורט, הרכב והייצור.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/set-up-amazon-sagemaker-studio-with-jupyter-lab-3-using-the-aws-cdk/
- 1
- 100
- a
- יכול
- אודות
- להאיץ
- גישה
- חֶשְׁבּוֹן
- AI
- תעשיות
- מאפשר
- אמזון בעברית
- מעבדת פתרונות אמזון ML
- אמזון SageMaker
- סטודיו SageMaker של אמזון
- כמות
- ו
- האפליקציה
- יישומים
- יישומית
- החל
- גישה
- נלהב
- AREA
- טיעונים
- אמנות
- אוטומטי
- אוטומציה
- רכב
- AWS
- AWS CloudFormation
- בחזרה
- מבוסס
- להיות
- לפני
- הטוב ביותר
- שיטות עבודה מומלצות
- בֵּין
- אבני
- אוזן נעל
- לִבנוֹת
- בִּניָן
- מובנה
- מקרים
- שינוי
- שינויים
- לבדוק
- לבחור
- ענן
- קוד
- קוהרנטי
- שיתוף פעולה
- אוסף
- שילוב
- Common
- לְהַשְׁווֹת
- להשלים
- רכיבים
- קונסול
- לבנות
- מכולה
- מכיל
- לִשְׁלוֹט
- לוח בקרה
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- יצירה
- לקוחות
- נתונים
- בְּרִירַת מֶחדָל
- הגדרה
- תלוי
- לפרוס
- פרס
- פריסה
- פריסה
- פריסות
- עיצוב
- פרט
- פרטים
- צעצועי התפתחות
- דיגיטלי
- אמנות דיגיטלית
- נכה
- תחום
- מטה
- כל אחד
- בקלות
- מַאֲמָצִים
- פְּגִישָׁה
- מהנדס
- הנדסה
- מהנדסים
- מִפְעָל
- סביבה
- שגיאה
- Ether (ETH)
- דוגמה
- דוגמאות
- נכשל
- מאפיין
- בחור
- שלח
- קבצים
- ראשון
- לעקוב
- הבא
- מסגרת
- חופשי
- החל מ-
- לגמרי
- פונקציות
- נוסף
- שער כניסה
- דור
- לקבל
- GitHub
- הולך
- מדריך
- מדריך
- יש
- בריאות
- עזרה
- איך
- איך
- אולם
- HTML
- HTTPS
- בן אנוש
- IAC
- IAM
- זהות
- תמונה
- ליישם
- משופר
- in
- מידע
- תשתית
- להתקין
- למשל
- משולב
- מִמְשָׁק
- בעיות
- IT
- Java
- JavaScript
- מסע
- ג'סון
- מעבדה
- שפה
- מוביל
- למידה
- מינוף
- ברשימה
- לִטעוֹן
- נראה
- מכונה
- למידת מכונה
- ראשי
- עשייה
- מנהל
- ייצור
- אומר
- מידע נוסף
- דקות
- משימה
- ML
- MLOps
- מודל
- מודלים
- שונים
- יותר
- המהלך
- מספר
- יליד
- ניווט
- הכרחי
- צורך
- חדש
- טכנולוגיות חדשות
- המיוחדות שלנו
- ONE
- קוד פתוח
- תוכנת קוד פתוח
- ארגון
- אחר
- זגוגית
- לוח
- פרמטרים
- חלק
- חולף
- נתיב
- לבצע
- ביצוע
- הרשאות
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- הודעה
- פרקטיקות
- להכין
- תנאים מוקדמים
- עקרון
- פְּרָטִי
- תהליך
- הפקה
- פּרוֹפִיל
- פרופילים
- תכנות
- פרויקטים
- מספק
- פיתון
- רכס
- מפחית
- באזור
- רלוונטי
- מאגר
- המייצג
- נדרש
- דרישות
- משאב
- משאבים
- תוצאות
- לשימוש חוזר
- תפקיד
- לחמניות
- שורש
- הפעלה
- בעל חכמים
- להרחבה
- מדע
- מדענים
- היקף
- סעיף
- אבטחה
- עצמי
- משמש
- סט
- הצבה
- הגדרות
- צריך
- הופעות
- תוכנה
- פיתוח תוכנה
- מהנדס תוכנה
- הנדסת תוכנה
- פתרונות
- כמה
- ספורט
- לערום
- ערימות
- החל
- מצב
- צעדים
- זִרמִי
- סטודיו
- בהצלחה
- כזה
- תמיכה
- משטח
- מערכת
- מערכות
- לקחת
- לוקח
- משימות
- נבחרת
- טכנולוגיות
- תבנית
- מסוף
- בדיקות
- אל האני
- שֶׁלָהֶם
- דרך
- זמן
- ל
- רכבת
- טיפוסי
- בדרך כלל
- בְּסִיסִי
- מְעוּדכָּן
- עדכונים
- להשתמש
- משתמש
- משתמשים
- וירטואלי
- לחכות
- המבוסס על האינטרנט
- בזמן
- יצטרך
- בתוך
- לְלֹא
- תיק עבודות
- כתוב
- זפירנט