מחברות Jupyter מועדפות מאוד על ידי מדעני נתונים בשל יכולתם לעבד נתונים באופן אינטראקטיבי, לבנות מודלים של ML ולבחון מודלים אלה על ידי הסקת מסקנות על נתונים. עם זאת, ישנם תרחישים שבהם מדעני נתונים עשויים להעדיף לעבור מפיתוח אינטראקטיבי על מחשבים ניידים לעבודות אצווה. דוגמאות למקרי שימוש כאלה כוללות הגדלה של עבודת הנדסת תכונות שנבדקה בעבר על מערך נתונים קטן לדוגמה במופע מחברת קטן, הפעלת דוחות ליליים כדי לקבל תובנות על מדדים עסקיים, והכשרה מחדש של מודלים של ML בלוח זמנים כאשר נתונים חדשים הופכים זמינים.
המעבר מפיתוח אינטראקטיבי במחברות לעבודות אצווה דרש ממך להעתיק קטעי קוד מהמחברת לסקריפט, לארוז את הסקריפט עם כל התלות שלו לתוך קונטיינר ולתזמן את הפעלת המיכל. כדי להפעיל את העבודה הזו שוב ושוב בלוח זמנים, היה עליך להגדיר, להגדיר ולפקח על תשתית ענן כדי להפוך פריסות לאוטומטיות, וכתוצאה מכך להסטה של זמן יקר הרחק מפעילויות הליבה של פיתוח מדעי הנתונים.
כדי לעזור לפשט את תהליך המעבר ממחברות אינטראקטיביות לעבודות אצווה, בדצמבר 2022, סטודיו SageMaker של אמזון ו סטודיו מעבדה הציג את היכולת להפעיל מחברות כעבודות מתוזמנות, תוך שימוש בזרימות עבודה מבוססות מחברת. כעת תוכל להשתמש באותה יכולת כדי להפעיל את מחברות Jupyter שלך מכל סביבת JupyterLab כגון אמזון SageMaker מופעי מחברת ו-JupyterLab פועלים במחשב המקומי שלך. SageMaker מספקת תוסף קוד פתוח שניתן להתקין בכל סביבת JupyterLab ולשמש להפעלת מחברות כעבודות ארעיות ובלוח זמנים.
בפוסט זה, אנו מראים לך כיצד להפעיל את המחברות שלך מסביבת JupyterLab המקומית שלך כעבודות מחברת מתוזמנות ב- SageMaker.
סקירת פתרונות
ארכיטקטורת הפתרון לתזמון עבודות מחברת מכל סביבת JupyterLab מוצגת בתרשים הבא. התוסף של SageMaker מצפה שלסביבת JupyterLab יהיו אישורים והרשאות AWS חוקיות לתזמן עבודות מחברת. אנו דנים בצעדים להגדרת אישורים ו AWS זהות וניהול גישה הרשאות (IAM) בהמשך הפוסט הזה. בנוסף לתזמון המשימה של משתמש ה-IAM ותזמון התפקידים, עליך לספק גם תפקיד עבור מופע העבודה של המחברת כדי לקבל גישה לנתונים שלך ב שירות אחסון פשוט של אמזון (Amazon S3) או להתחבר אליו אמזון EMR אשכולות לפי הצורך.
בסעיפים הבאים, אנו מראים כיצד להגדיר את הארכיטקטורה ולהתקין את תוסף הקוד הפתוח, להפעיל מחברת עם תצורות ברירת המחדל, וגם להשתמש בפרמטרים המתקדמים כדי להפעיל מחברת עם הגדרות מותאמות אישית.
תנאים מוקדמים
עבור פוסט זה, אנו מניחים שסביבה מתארחת מקומית של JupyterLab. אתה יכול לבצע את אותם שלבי התקנה גם עבור סביבה המתארחת בענן.
השלבים הבאים מניחים שכבר יש לך סביבת Python 3 ו-JupyterLab חוקיים (הרחבה זו עובדת עם JupyterLab v3.0 ומעלה).
התקן את ממשק שורת הפקודה של AWS (AWS CLI) אם עדיין לא התקנת אותו. לִרְאוֹת התקנה או עדכון של הגרסה העדכנית ביותר של AWS CLI לקבלת הוראות.
הגדר אישורי IAM
אתה צריך משתמש IAM או הפעלת תפקיד IAM פעילה כדי לשלוח משרות למחברת SageMaker. כדי להגדיר את אישורי IAM שלך, אתה יכול להגדיר את AWS CLI עם אישורי AWS שלך עבור משתמש IAM שלך, או לקבל תפקיד IAM. להנחיות להגדרת האישורים שלך, ראה קביעת תצורה של ה- AWS CLI. מנהל IAM (משתמש או תפקיד משוער) זקוק להרשאות הבאות כדי לתזמן עבודות של מחברת. להוספת הפוליסה למנהל שלך, עיין ב הוספת הרשאות זהות IAM.
אם עבודות המחברת שלך צריכות להיות מוצפנות בניהול לקוחות שירות ניהול מפתח AWS (AWS KMS), הוסף את הצהרת המדיניות המאפשרת גם גישה ל-AWS KMS. למדיניות לדוגמה, ראה התקן מדיניות והרשאות עבור סביבות Jupyter מקומיות.
הגדר תפקיד IAM עבור מופע העבודה של המחברת
SageMaker דורש תפקיד IAM כדי להריץ משימות מטעם המשתמש, כגון הפעלת עבודת המחברת. לתפקיד זה צריכה להיות גישה למשאבים הנדרשים למחברת להשלמת העבודה, כגון גישה לנתונים ב-Amazon S3.
תוסף המתזמן מחפש אוטומטית תפקידי IAM בחשבון AWS, עם הקידומת SagemakerJupyterScheduler
כדי להפעיל את משימות המחברת.
כדי ליצור תפקיד IAM, ליצור תפקיד ביצוע עבור Amazon SageMaker עם ה AmazonSageMakerFullAccess
מְדִינִיוּת. תן שם לתפקיד SagemakerJupyterSchedulerDemo
, או ספק שם עם הקידומת הצפויה.
לאחר יצירת התפקיד, על יחסי אמון בחר, בחר ערוך את מדיניות האמון. החלף את מדיניות האמון הקיימת בדברים הבאים:
השמיים AmazonSageMakerFullAccess
המדיניות מתירנית למדי ומועדפת בדרך כלל לצורך ניסויים ותחילת העבודה עם SageMaker. אנו ממליצים לך בחום ליצור מדיניות בהיקף מינימלי לכל עומסי עבודה עתידיים בהתאם לשיטות העבודה המומלצות לאבטחה ב-IAM. לקבוצת ההרשאות המינימלית הנדרשת לעבודת המחברת, ראה התקן מדיניות והרשאות עבור סביבות Jupyter מקומיות.
התקן את ההרחבה
פתח מסוף במחשב המקומי שלך והתקן את התוסף על ידי הפעלת הפקודה הבאה:
לאחר הפעלת פקודה זו, תוכל להפעיל את JupyterLab על ידי הפעלת Jupyter Lab.
אם אתה מתקין את התוסף מתוך מסוף JupyterLab, הפעל מחדש את שרת Jupyter כדי לטעון את התוסף. אתה יכול להפעיל מחדש את שרת Jupyter על ידי בחירה כיבוי על שלח תפריט מ-JupyterLab שלך, והפעלת JupyterLab משורת הפקודה שלך על ידי ריצה jupyter lab
.
שלח עבודת מחברת
לאחר התקנת התוסף בסביבה שלך, תוכל להפעיל כל מחברת עצמאית כעבודה ארעית. בוא נגיש מחברת "שלום עולם" פשוטה להפעלה כעבודה מתוזמנת.
- על שלח בתפריט, בחר חדש ו מחברת.
- הזן את התכנים הבאים:
לאחר התקנת התוסף בהצלחה, תראה את סמל תזמון המחברת במחברת.
- בחר את הסמל כדי ליצור עבודת מחברת.
לחלופין, תוכל ללחוץ לחיצה ימנית על המחברת בסייר הקבצים שלך ולבחור צור עבודת מחברת.
- ספק את שם העבודה, קובץ הקלט, סוג המחשוב ופרמטרים נוספים.
- השאר את שאר ההגדרות ברירת המחדל ובחר צור
לאחר תזמון העבודה, אתה מופנה אל עבודות מחברת לשונית, שבה תוכל להציג את רשימת עבודות המחברת ואת הסטטוס שלהן, ולהציג את הפלט והיומנים של המחברת לאחר השלמת העבודה. אתה יכול גם לגשת לחלון עבודות המחברת הזה מהמפעיל, כפי שמוצג בצילום המסך הבא.
תצורות מתקדמות
מהמחשב המקומי שלך, מחברות פועלות אוטומטית על תמונת SageMaker Base Python, שהיא תמונת Python 3.8 הרשמית מ- Docker Hub עם Boto3 ו-AWS CLI כלולים. במקרים אמיתיים, מדעני נתונים צריכים להתקין חבילות או מסגרות ספציפיות עבור המחברות שלהם. ישנן שלוש דרכים להשיג סביבה ניתנת לשחזור:
- באפשרות הפשוטה ביותר, אתה יכול להתקין את החבילות והמסגרות ישירות בתא הראשון של המחברת שלך.
- אתה יכול גם לספק סקריפט אתחול ב- אפשרויות נוספות מקטע, מצביע על סקריפט bash באחסון המקומי שלך שמופעל על ידי עבודת המחברת כאשר המחברת מופעלת. בסעיף הבא, אנו מציגים דוגמה לשימוש בסקריפטים של אתחול להתקנת חבילות.
- לבסוף, אם אתה רוצה גמישות מקסימלית בהגדרת סביבת הריצה שלך, אתה יכול לבנות תמונה מותאמת אישית משלך עם ליבת Python3, לדחוף את התמונה ל מרשם מיכל אלסטי של אמזון (Amazon ECR), וספק את URI תמונת ECR לעבודת המחברת שלך תחת אפשרויות נוספות. תמונת ה-ECR צריכה לעמוד בדרישות עבור תמונות SageMaker, כמפורט ב מפרטי תמונה מותאמים אישית של SageMaker.
בנוסף, הארגון שלך עשוי להגדיר מעקות בטיחות כמו הפעלת עבודות במצב ללא אינטרנט בתוך Amazon VPC, שימוש בתפקיד מותאם אישית לפחות הרשאות עבור העבודה, ואכיפת הצפנה. אתה יכול לציין תצורות כאלה עבור עבודות המחברת שלך ב- אפשרויות נוספות גם סעיף. לרשימה מפורטת של תצורות מתקדמות, ראה אפשרויות נוספות.
הוסף סקריפט אתחול
כדי להציג את סקריפט האתחול, אנו מפעילים כעת את המחברת לדוגמה עבור עבודות מחברת Studio הזמינות ב GitHub. כדי להפעיל מחברת זו, עליך להתקין את החבילות הנדרשות באמצעות סקריפט אתחול. השלם את השלבים הבאים:
- ממסוף JupyterLab שלך, הפעל את הפקודה הבאה כדי להוריד את הקובץ:
- על שלח בתפריט, בחר חדש ו קובץ טקסט.
- הזן את התוכן הבא לקובץ שלך ושמור את הקובץ תחת השם
init-script.sh
: - בחרו
scheduled-example.ipynb
מסייר הקבצים שלך כדי לפתוח את המחברת. - בחר את סמל העבודה של המחברת כדי לתזמן את המחברת, והרחיב את אפשרויות נוספות סָעִיף.
- בעד מיקום סקריפט אתחול, הזן את הנתיב המלא של הסקריפט שלך.
באפשרותך גם להתאים אישית את תיקיות הקלט והפלט S3 עבור עבודת המחברת שלך. SageMaker יוצר תיקיית קלט במיקום S3 מוגדר כדי לאחסן את קבצי הקלט, ויוצר תיקיית פלט S3 שבה מאוחסנים יציאות המחברת. אתה יכול לציין הצפנה, תפקיד IAM ותצורות VPC כאן. לִרְאוֹת אילוצים ושיקולים עבור תמונה מותאמת אישית ומפרטי VPC.
- לעת עתה, פשוט עדכן את סקריפט האתחול, בחר רוץ עכשיו עבור לוח הזמנים, ובחר צור.
בסיום העבודה, תוכל להציג את המחברת עם הפלטים ואת יומן הפלט מתחת קבצי פלט, כפי שמוצג בצילום המסך הבא. ביומן הפלט, אתה אמור להיות מסוגל לראות את סקריפט האתחול מופעל לפני הפעלת המחברת.
כדי להתאים אישית יותר את סביבת העבודה של המחברת שלך, תוכל להשתמש בתמונה משלך על ידי ציון ה-ECR URI של התמונה המותאמת אישית שלך. אם אתה מביא תמונה משלך, וודא שאתה מתקין ליבת Python3 בעת בניית התמונה שלך. לדוגמא של Dockerfile שיכול להריץ מחברת באמצעות TensorFlow, עיין בקוד הבא:
סיכום
בפוסט זה, הראינו לך כיצד להפעיל את המחברות שלך מכל סביבת JupyterLab המתארחת באופן מקומי כעבודות הכשרה של SageMaker, באמצעות תוסף מתזמן SageMaker Jupyter. היכולת להריץ מחברות בצורה חסרת ראש, על פי לוח זמנים, מפחיתה במידה ניכרת את ההרמה הכבדה של מדעני הנתונים, כגון עיבוד מחדש של מחברות לסקריפטים של Python, הגדרה אמזון EventBridge הפעלת אירועים ויצירה AWS למבדה פונקציות או צינורות SageMaker כדי להתחיל את עבודות ההדרכה. עבודות מחברת SageMaker מופעלות לפי דרישה, כך שאתה משלם רק עבור הזמן שהמחברת פועלת, ותוכל להשתמש בתוסף משימות המחברת כדי להציג את פלטי המחברת בכל עת מסביבת JupyterLab שלך. אנו ממליצים לך לנסות עבודות מתוזמנות של מחברת, ולהתחבר ל- קהילת למידת מכונה ובינה מלאכותית ב-re:Post למשוב!
על המחברים
בהדרינת פני הוא מהנדס פיתוח תוכנה בחברת Amazon Web Services, עובד על מוצרי ML אינטראקטיביים של Amazon SageMaker, עם למעלה מ-12 שנות ניסיון בפיתוח תוכנה בתחומים כמו רכב, IoT, AR/VR וראייה ממוחשבת. נכון לעכשיו, ההתמקדות העיקרית שלו היא בפיתוח כלי למידת מכונה שמטרתם לפשט את החוויה עבור מדעני נתונים. בזמנו הפנוי, הוא נהנה לבלות עם משפחתו ולחקור את היופי של צפון מערב האוקיינוס השקט.
דורגה סורי הוא אדריכל ML Solutions בצוות Amazon SageMaker Service SA. היא נלהבת להנגיש למידת מכונה לכולם. ב-4 השנים שלה ב-AWS, היא סייעה בהקמת פלטפורמות AI/ML עבור לקוחות ארגוניים. כשהיא לא עובדת, היא אוהבת רכיבה על אופנוע, רומנים מסתוריים וטיולים ארוכים עם האסקי בת ה-5 שלה.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/schedule-your-notebooks-from-any-jupyterlab-environment-using-the-amazon-sagemaker-jupyterlab-extension/
- :יש ל
- :הוא
- :איפה
- $ למעלה
- 100
- 12
- 202
- 2022
- 7
- 77
- 8
- a
- יכולת
- יכול
- אודות
- גישה
- גישה לנתונים
- נגיש
- בהתאם
- חֶשְׁבּוֹן
- להשיג
- לרוחב
- פעולה
- פעיל
- פעילויות
- להוסיף
- תוספת
- נוסף
- מתקדם
- לאחר
- AI
- AI / ML
- מכוון
- תעשיות
- להתיר
- מאפשר
- כְּבָר
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- ו
- כל
- AR / VR
- ארכיטקטורה
- ARE
- AS
- להניח
- At
- אוטומטי
- באופן אוטומטי
- רכב
- זמין
- רָחוֹק
- AWS
- בסיס
- לחבוט
- BE
- יופי
- הופך להיות
- לפני
- להיות
- הטוב ביותר
- שיטות עבודה מומלצות
- לחסום
- מביאים
- לִבנוֹת
- בִּניָן
- עסקים
- by
- CAN
- מקרים
- בחרו
- בחירה
- ענן
- תשתית ענן
- קוד
- COM
- קהילה
- להשלים
- לחשב
- המחשב
- ראייה ממוחשבת
- מצב
- תצורות
- לְחַבֵּר
- מכולה
- תוכן
- ליבה
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- אישורים
- כיום
- מנהג
- לקוח
- לקוחות
- אישית
- נתונים
- מדע נתונים
- דֵצֶמבֶּר
- בְּרִירַת מֶחדָל
- דרישה
- פריסות
- מְפוֹרָט
- מתפתח
- צעצועי התפתחות
- ישירות
- לדון
- לְהַצִיג
- ההסחה
- סַוָר
- תחומים
- לא
- מטה
- להורדה
- השפעה
- לעודד
- מוצפן
- הצף
- אכיפה
- מהנדס
- הנדסה
- לְהַבטִיחַ
- זן
- מִפְעָל
- לקוחות ארגוניים
- סביבה
- סביבות
- Ether (ETH)
- אירוע
- אירועים
- כולם
- דוגמה
- דוגמאות
- הוצאת להורג
- קיימים
- לְהַרְחִיב
- צפוי
- מצפה
- ניסיון
- חוקר
- היכרות
- הארכה
- למדי
- משפחה
- מאפיין
- שלח
- קבצים
- ראשון
- גמישות
- להתמקד
- לעקוב
- הבא
- בעד
- מסגרות
- חופשי
- החל מ-
- מלא
- פונקציות
- נוסף
- עתיד
- לְהַשִׂיג
- בדרך כלל
- מקבל
- מאוד
- היה
- יש
- he
- כבד
- הרמת כבד
- לעזור
- עזר
- לה
- כאן
- גבוה יותר
- מאוד
- שֶׁלוֹ
- אירח
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- טבור
- IAM
- ICON
- זהות
- if
- תמונה
- תמונות
- לייבא
- in
- לכלול
- כלול
- תשתית
- קלט
- תובנות
- להתקין
- התקנה
- מותקן
- התקנה
- למשל
- הוראות
- אינטראקטיבי
- אל תוך
- הציג
- IOT
- IT
- שֶׁלָה
- עבודה
- מקומות תעסוקה
- מפתח
- מפתחות
- מעבדה
- מאוחר יותר
- האחרון
- למידה
- רמה
- כמו
- קו
- רשימה
- ברשימה
- לִטעוֹן
- מקומי
- באופן מקומי
- מיקום
- היכנס
- ארוך
- נראה
- אוהב
- מכונה
- למידת מכונה
- ראשי
- עשייה
- הצליח
- ניהול
- דרך
- matplotlib
- מקסימום
- מאי..
- תפריט
- מדדים
- יכול
- מינימום
- ML
- מצב
- מודלים
- אופנוע
- נע
- תעלומה
- שם
- צורך
- נחוץ
- צרכי
- חדש
- מחברה
- מחשבים ניידים
- עַכשָׁיו
- קהות
- of
- רשמי
- on
- רק
- לפתוח
- קוד פתוח
- אפשרות
- or
- תפוקה
- יותר
- - פיקוח
- שֶׁלוֹ
- פסיפיק
- חבילה
- חבילות
- דובי פנדה
- פרמטרים
- לוהט
- נתיב
- תשלום
- הרשאות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- מדיניות
- הודעה
- פרקטיקות
- לְהַעֲדִיף
- מועדף
- קוֹדֶם
- מנהל
- תהליך
- מוצרים
- לספק
- מספק
- דחוף
- פיתון
- RE
- עולם אמיתי
- מפחית
- מערכות יחסים
- נותר
- שוב ושוב
- להחליף
- דוחות לדוגמא
- נדרש
- דרישות
- דורש
- משאב
- משאבים
- וכתוצאה מכך
- הסבה מקצועית
- לחץ לחיצה ימנית על
- תפקיד
- תפקידים
- הפעלה
- ריצה
- פועל
- SA
- בעל חכמים
- צינורות SageMaker
- אותו
- מערך נתונים לדוגמה
- שמור
- דרוג
- תרחישים
- לוח זמנים
- מתוכנן
- עבודות מתוזמנות
- תזמון
- מדע
- מדענים
- סקריפטים
- חיפוש
- סעיף
- סעיפים
- אבטחה
- לִרְאוֹת
- שרות
- שירותים
- מושב
- סט
- הצבה
- הגדרות
- היא
- צריך
- לְהַצִיג
- ראווה
- הראה
- הראה
- פָּשׁוּט
- לפשט
- מפשט
- בפשטות
- קטן
- So
- תוכנה
- פיתוח תוכנה
- פִּתָרוֹן
- פתרונות
- ספציפי
- מפרטים
- מפורט
- הוצאה
- התחלה
- החל
- החל
- התחלות
- הצהרה
- מצב
- צעדים
- אחסון
- חנות
- מאוחסן
- בְּתוֹקֶף
- סטודיו
- להגיש
- בהצלחה
- כזה
- נבחרת
- tensorflow
- מסוף
- מבחן
- זֶה
- השמיים
- שֶׁלָהֶם
- שם.
- אלה
- זֶה
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- כלים
- הדרכה
- מַעֲבָר
- נָכוֹן
- סומך
- לנסות
- סוג
- תחת
- עדכון
- עדכון
- URI
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- באמצעות
- בעל ערך
- גרסה
- לצפיה
- חזון
- רוצה
- היה
- דרכים
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אשר
- עם
- בתוך
- זרימות עבודה
- עובד
- עובד
- שנים
- אתה
- זפירנט