חסוך עלויות על ידי כיבוי אוטומטי של משאבי סרק ב- Amazon SageMaker Studio

סטודיו SageMaker של אמזון מספק ממשק חזותי מאוחד מבוסס אינטרנט שבו אתה יכול לבצע את כל שלבי הפיתוח של למידת מכונה (ML), מה שהופך צוותי מדעי הנתונים לפרודוקטיביים עד פי 10. Studio מעניק לך גישה מלאה, שליטה וניראות לכל שלב שנדרש כדי לבנות, לאמן ולפרוס מודלים. מחברות סטודיו הן מחברות שיתופיות שתוכל להפעיל במהירות מכיוון שאינך צריך להגדיר מופעי מחשוב ואחסון קבצים מראש. אמזון SageMaker הוא שירות מנוהל במלואו המציע יכולות המופשטות את ההרמה הכבדה של ניהול התשתיות ומספק את הזריזות והמדרגיות הרצויה עבור פעילויות ML בקנה מידה גדול עם תכונות שונות ותשלום לפי שימוש מודל תמחור.

בפוסט זה, אנו מדגימים כיצד לבצע את הפעולות הבאות:

• זיהוי והפסק משאבים סרק הכרוכים בעלויות בתוך Studio באמצעות תוסף Jupyter כיבוי אוטומטי שניתן להתקין באופן ידני ואוטומטי
• אפשר התראות על אירועים כדי לעקוב אחר פרופילי משתמשים בתוך דומיינים של Studio שלא התקינו את תוסף הכיבוי האוטומטי
• השתמש בתוסף הכיבוי האוטומטי המותקן כדי לנהל רנגלר הנתונים של אמזון SageMaker עלויות על ידי כיבוי אוטומטי של מופעים שעלולים לגרום לעלויות גבוהות מהצפוי

רכיבי סטודיו

ב-Studio, מחברות הפועלות ממוקמות במכולות בנפרד ממשק המשתמש של JupyterServer על מנת לנתק את גודל תשתית המחשוב. מחברת Studio פועלת בסביבה המוגדרת על ידי הדברים הבאים:

• סוג מופע – תצורת החומרה הבסיסית, שקובעת את שיעור התמחור. זה כולל את מספר וסוג המעבדים (vCPU ו-GPU), ואת כמות וסוג הזיכרון.
• תמונת SageMaker - תמונת מיכל תואמת (אם מספקת SageMaker או מותאמת אישית) המארחת את ליבת המחברת. התמונה מגדירה איזה מפרט ליבה היא מציעה, כגון ליבת Python 3 (Data Science) המובנית.
• אפליקציית שער ליבת SageMaker – מופע פועל של תמונת המיכל בסוג המופע המסוים. אפליקציות מרובות יכולות לשתף מופע פועל.
• הפעלת סשן ליבה – התהליך שבודק ומפעיל את הקוד הכלול במחברת. מספר מחברות פתוחות (גרעינים) מאותו מפרט וסוג מופע נפתחות באותה אפליקציה.

ממשק המשתמש של Studio פועל כאפליקציה נפרדת מסוג JupyterServer במקום KernelGateway, המאפשר לך להעביר מחברת פתוחה לגרעין או סוגי מופעים שונים מתוך ממשק המשתמש של Studio. למידע נוסף על האופן שבו ליבת מחברת פועלת ביחס ל- KernelGateway אפליקציה, משתמש ותחום Studio, ראה שימוש במחברות אמזון SageMaker Studio.

חיוב סטודיו

השימוש בסטודיו אינו כרוך בתשלום נוסף. העלויות שנגרמות עבור הפעלת מחברות Studio, מעטפות אינטראקטיביות, קונסולות ומסופים מבוססות על השימוש בסוג המופע של Studio. למידע על חיוב יחד עם דוגמאות תמחור, ראה תמחור SageMaker של אמזון.

כאשר אתה מפעיל מחברת Studio, מעטפת אינטראקטיבית או מסוף תמונה בתוך Studio, עליך לבחור קרנל וסוג מופע. משאבים אלו מופעלים באמצעות מופע Studio המבוסס על הסוג הנבחר מהממשק. אם מופע מסוג זה הושק בעבר והוא זמין, המשאב מופעל במופע זה. עבור תמונות מבוססות CPU, סוג המופע המוגדר כברירת מחדל הוא ml.t3.medium. עבור תמונות מבוססות GPU, סוג המופע המוגדר כברירת מחדל הוא ml.g4dn.xlarge. העלויות שנגרמו מבוססות על סוג המופע, ואתה מחויב בנפרד עבור כל מופע. מדידה מתחילה כאשר נוצר מופע, ומסתיימת כאשר כל האפליקציות במופע נכבות, או שהמופע נסגר.

סגור את המופע כדי להפסיק לגרור חיובים. אם תכבה את המחברת הפועלת במופע אך לא תכבה את המופע, עדיין תחויב בחיובים. כאשר אתה פותח מספר מחברות על אותו סוג מופע, המחברות פועלות על אותו מופע גם אם הן משתמשות בגרעין שונות. אתה מחויב רק עבור הזמן שבו מופע אחד פועל. אתה יכול לשנות את סוג המופע מתוך המחברת לאחר פתיחתה וסגירת משאבים בודדים, כולל מחברות, מסופים, גרעינים, אפליקציות ומופעים. אתה יכול גם לסגור את כל המשאבים באחת מהקטגוריות הללו בו-זמנית. כאשר אתה מכבה מחברת, כל מידע שלא נשמר במחברת אובד. המחברת לא נמחקת.

אתה יכול לסגור מחברת פתוחה מהסטודיו שלח תפריט או מה- הפעלת טרמינל וגרעינים שִׁמשָׁה. ה הפעלת מסופים וגרעינים החלונית מורכבת מארבעה חלקים. כל חלק מפרט את כל המשאבים מהסוג הזה. אתה יכול לסגור כל משאב בנפרד או לסגור את כל המשאבים במקטע בו-זמנית. כאשר אתה בוחר לסגור את כל המשאבים במקטע, מתרחשים הדברים הבאים:

• הפעלת מופעים/אפליקציות הפעלה - כל המופעים, האפליקציות, המחברות, הפעלות ליבה, הפעלות של Data Wrangler, הקונסולות או הקונכיות ומסופי התמונות נסגרים. מסופי המערכת אינם כבויים. בחר באפשרות זו כדי לעצור את צבירת כל החיובים.
• מושבי ליבה - כל הגרעינים, המחברות והקונסולות או הקונכיות מושבתות.
• הפעלות מסוף - כל מסופי התמונה ומסופי המערכת כבויים.

כדי לסגור משאבים, בחר בסרגל הצד השמאלי הפעלת מסופים וגרעינים סמל. כדי לכבות משאב ספציפי, בחר את ה כוח סמל באותה שורה של המשאב.

עבור מופעים רצים, תיבת דו-שיח לאישור מפרטת את כל המשאבים שייסגרו. עבור אפליקציות הפועלות, מוצגת תיבת דו-שיח לאישור. בחר כבה הכל להמשיך. לא מוצגת תיבת דו-שיח לאישור עבור הפעלות ליבה או הפעלות מסוף. כדי לכבות את כל המשאבים במקטע, בחר את ה X סמל מימין לתווית המדור. תיבת דו-שיח לאישור מוצגת. בחר כבה הכל להמשיך.

כבה אוטומטית גרעינים סרק עם הרחבה JupyterLab

במקום לסמוך על המשתמשים לסגור משאבים שהם כבר לא משתמשים בהם, אתה יכול להשתמש בתוסף הכיבוי האוטומטי של Studio כדי לזהות ולכבות משאבים לא פעילים באופן אוטומטי ולחסוך בעלויות. תוספות JupyterLab הם תוספות פשוטות המרחיבות את הפונקציונליות הבסיסית של סביבת המחברת. התוסף מכבה אוטומטית גרעינים, אפליקציות ומופעים הפועלים בתוך Studio כשהם לא פעילים למשך פרק זמן מוגדר. אתה יכול להגדיר חזותית סף זמן סרק (בדקות) דרך ממשק המשתמש. לאחר שהגרעינים נשארו פעילים מספיק זמן, התוסף מכבה אותם אוטומטית. להוראות כיצד להוריד ולהתקין את התוסף, עיין ב- GitHub ריפו.

אתה יכול להתקין את התוסף באופן אוטומטי במהלך ההפעלה של JupyterServer אם אתה משתמש AWS זהות וניהול גישה אימות (IAM) עבור המשתמשים שלך, או עשה זאת באופן ידני אם אתה משתמש באימות כניסה יחידה (SSO).

לאחר התקנת התוסף, הוא מופיע כסמל בסרגל הצד השמאלי של ממשק Studio. אתה יכול להגדיר מגבלת זמן סרק באמצעות ממשק המשתמש שהרחבה זו מספקת. הוראות התקנה מסופקות ב-Repo GitHub.

פרמטר מגבלת זמן סרק הוא להגדיר זמן שאחריו משאבים לא פעילים ללא הפעלות פעילות של מחברת ייסגרו. כברירת מחדל, מגבלת זמן הסרק מוגדרת ל 120 דקות.

מגבלות ופתרון בעיות

להרחבת הכיבוי האוטומטי יש את המגבלות הבאות:

• התוסף אינו עוקב אחר פעילות במסופים פתוחים. לדוגמה, אם הגרעינים שלך לא פעילים במשך הזמן שהגדרת אך המסופים אינם, התוסף מכבה את המסופים ואת הגרעינים.
• עליך להתקין מחדש את התוסף ולהגדיר את מגבלת זמן הסרק אם תמחק את JupyterServer על קונסולת SageMaker Studio וליצור אותה מחדש. זו לא מגבלה אם אתה משתמש בגישת ההתקנה האוטומטית.

אתה יכול לבדוק את כניסות התוסף אמזון CloudWatch תחת /aws/sagemaker/studio קבוצת יומן, ועל ידי מעבר דרך <Studio_domain>/<user_profile>/JupyterServer/default זרם יומן.

בודק הרחבות כיבוי אוטומטי של סטודיו

התרשים הבא ממחיש כיצד לאפשר הודעות דוא"ל לעקוב אחר משאבי סרק הפועלים בתוך פרופילי משתמש מרובים השוכנים תחת סטודיו.

ללא קשר לאופן שבו אתה מתקין את תוסף הכיבוי האוטומטי בדומיין שלך בסטודיו, ייתכן שמנהלי מערכת ירצו לעקוב ולהתריע על כל המשתמשים הפועלים בלעדיו. כדי לעזור לעקוב אחר תאימות ולבצע אופטימיזציה של עלויות, אתה יכול לעקוב אחר ההוראות ב- GitHub ריפו כדי להגדיר את בודק ההרחבות לכיבוי אוטומטי ולאפשר התראות על אירועים.

בהתאם לתרשים הארכיטקטורה, א כלל CloudWatch Events מופעל על פי לוח זמנים תקופתי (לדוגמה, שעה או לילה). כדי ליצור את הכלל, אנו בוחרים לוח זמנים קבוע ומציינים באיזו תדירות המשימה פועלת. עבור היעד שלנו, אנו בוחרים ב- AWS למבדה פונקציה שבודקת מעת לעת אם כל פרופילי המשתמשים תחת תחום Studio התקינו את התוסף לכיבוי אוטומטי או לא. פונקציה זו אוספת שמות של פרופילי משתמשים שלא עמדו בדרישה זו.

פרופילי המשתמש מנותבים לאחר מכן אל an שירות התראה פשוט של אמזון נושא (Amazon SNS) שמנהלי סטודיו ובעלי עניין אחרים יכולים להירשם אליו כדי לקבל התראות (כגון באמצעות אימייל או Slack). צילום המסך הבא מציג הודעת התראה בדוא"ל שבה המשתמש מתעד פרופילים user-w ו user-y בתוך תחום SageMaker d-bo6udbiz4vmi לא התקנת את תוסף הכיבוי האוטומטי.

כיבוי אוטומטי של משאבי Data Wrangler

כדי להדגים עוד יותר כיצד פועלת תוסף הכיבוי האוטומטי, בואו נסתכל על זה מנקודת המבט של Data Wrangler בתוך Studio. Data Wrangler היא יכולת חדשה של SageMaker שהופכת את זה למהיר יותר עבור מדעני נתונים ומהנדסים להכין נתונים עבור יישומי ML באמצעות ממשק ויזואלי.

כאשר אתה מפעיל את Data Wrangler מ-Studio, הוא מפעיל באופן אוטומטי ml.m5.4xlarge מופע ומתחיל את הליבה באמצעות מופע זה. כאשר אינך משתמש ב-Data Wrangler, חשוב לסגור את המופע בו הוא פועל כדי להימנע מחיובים נוספים.

Data Wrangler שומר אוטומטית את זרימת הנתונים שלך כל 60 שניות. כדי למנוע אובדן עבודה, שמור את זרימת הנתונים שלך באופן ידני לפני כיבוי Data Wrangler. כדי לעשות זאת, בחר שלח ולאחר מכן לבחור שמור את זרימת הנתונים של Wrangler.

כדי לכבות את מופע Data Wrangler ב-Studio, בחר את ה מופעי ריצות וגרעינים סמל. תַחַת הפעלת אפליקציות, locate מה היא sagemaker-data-wrangler-1.0 אפליקציה. בחר את כוח סמל ליד אפליקציה זו.

ביצוע שלבים אלה באופן ידני יכול להיות מסורבל, וקל לשכוח אותו. עם תוסף הכיבוי האוטומטי, אתה יכול להבטיח שמשאבי סרק המפעילים את Data Wrangler ייסגרו בזהירות כדי למנוע עלויות נוספות של SageMaker.

סיכום

בפוסט זה, הדגמנו כיצד להפחית את עלויות SageMaker על ידי שימוש בתוסף של Jupyter כיבוי אוטומטי כדי לכבות משאבים לא פעילים הפועלים בתוך Studio. הראינו גם כיצד להגדיר בודק הרחבות כיבוי אוטומטי ולאפשר התראות על אירועים כדי לעקוב אחר פרופילי משתמשים בתוך Studio שלא התקינו את התוסף. לבסוף, הראינו כיצד התוסף יכול להפחית את עלויות Data Wrangler על ידי השבתת משאבים סרק המפעילים Data Wrangler.

למידע נוסף על אופטימיזציה של השימוש במשאבים ועלויות, ראה שינוי גודל ימני של משאבים והימנעות מעלויות מיותרות ב- Amazon SageMaker.

אם יש לך הערות או שאלות כלשהן, השאר אותם במדור התגובות.

---

על הכותבים

ארונפרשת שנקר הוא אדריכל פתרונות מומחים לבינה מלאכותית ולמידת מכונות (AI / ML) עם AWS, המסייע ללקוחות גלובליים לשנות את פתרונות ה- AI שלהם ביעילות וביעילות בענן. בזמנו הפנוי, ארון נהנה לצפות בסרטי מדע בדיוני ולהאזין למוזיקה קלאסית.

 אנדרס גרזו הוא ML Solutions Architect בצוות AWS AI Platforms ומסייע ללקוחות לעבור ל- SageMaker, לאמץ שיטות עבודה מומלצות ולחסוך בעלויות.

פאבן קומאר סנדר הוא מהנדס מו"פ בכיר עם שירותי האינטרנט של אמזון. הוא מספק הדרכה טכנית ומסייע ללקוחות להאיץ את יכולתם לחדש באמצעות הצגת אמנות האפשרי ב-AWS. הוא בנה מספר אבות טיפוס סביב AI/ML, IoT ורובוטיקה עבור הלקוחות שלנו.

אלכס תוסי הוא אדריכל פתרונות מומחה למידת מכונה ב-AWS, שבסיסו בסינגפור. אלכס עוזר ללקוחות ברחבי דרום מזרח אסיה לתכנן וליישם פתרונות עם AI ו-ML. הוא גם נהנה מקארטינג, לעבוד עם פרויקטי קוד פתוח ולנסות להתעדכן במחקר ML חדש.

מקור: https://aws.amazon.com/blogs/machine-learning/save-costs-by-automatically-shutting-down-idle-resources-within-amazon-sagemaker-studio/