אתה יכול להשתמש קצה שלג של AWS מכשירים במקומות כמו ספינות שייט, אסדות נפט ורצפות מפעל עם קישוריות מוגבלת עד ללא קישוריות רשת עבור מגוון רחב של יישומי למידת מכונה (ML) כגון מעקב, זיהוי פנים ובדיקה תעשייתית. עם זאת, לאור האופי המרוחק והמנותק של התקנים אלה, הפריסה והניהול של דגמי ML בקצה הם לרוב קשים. עם AWS IoT Greengrass ו מנהל הקצה של אמזון SageMaker, אתה יכול לבצע הסקת ML על נתונים שנוצרו באופן מקומי במכשירי Snowball Edge באמצעות מודלים של ML מאומנים בענן. אתה לא רק נהנה מהשהייה הנמוכה והחיסכון בעלויות של הפעלת הסקה מקומית, אלא גם מפחית את הזמן והמאמץ הנדרשים כדי להביא דגמי ML לייצור. אתה יכול לעשות את כל זה תוך ניטור רציף ושיפור איכות הדגמים בכל צי מכשירי ה- Snowball Edge שלך.
בפוסט זה, אנו מדברים על איך אתה יכול להשתמש ב-AWS IoT Greengrass גרסה 2.0 ומעלה וב-Edge Manager כדי לייעל, לאבטח, לנטר ולתחזק מודל סיווג פשוט של TensorFlow לסיווג מכולות שילוח (קונקס) ואנשים.
תחילת עבודה
כדי להתחיל, הזמינו מכשיר Snowball Edge (למידע נוסף, ראה יצירת עבודה של AWS Snowball Edge). אתה יכול להזמין מכשיר Snowball Edge עם AWS IoT Greengrass מאומת עליו.
לאחר שתקבל את המכשיר, תוכל להשתמש AWS OpsHub עבור משפחת סנו או את לקוח Snowball Edge כדי לבטל את נעילת המכשיר. אתה יכול להתחיל א ענן מחשוב אלסטי של אמזון (Amazon EC2) מופע עם AWS IoT Greengrass האחרון מותקן או השתמש בפקודות ב-AWS OpsHub for Snow Family.
הפעל והתקן AMI עם הדרישות הבאות, או ספק התייחסות AMI בקונסולת Snowball לפני ההזמנה והיא תישלח עם כל הספריות והנתונים ב-AMI:
- מסגרת ה-ML לבחירתך, כגון TensorFlow, PyTorch או MXNet
- Docker (אם אתה מתכוון להשתמש בו)
- AWS IoT Greengrass
- כל ספרייה אחרת שתצטרך
הכן את ה-AMI בזמן הזמנת מכשיר Snowball Edge בקונסולת AWS Snow Family. להנחיות, ראה שימוש ב-Amazon EC2 Compute Instances. יש לך גם אפשרות עדכן את AMI לאחר פריסת Snowball למיקום הקצה שלך.
התקן את AWS IoT Greengrass העדכני ביותר על Snowball Edge
כדי להתקין את AWS IoT Greengrass במכשיר שלך, בצע את השלבים הבאים:
- התקן את AWS IoT Greengrass העדכני ביותר במכשיר Snowball Edge שלך. לוודא
dev_tools=True
מוגדר שישggv2 cli
ראה את הקוד הבא:
אנו מתייחסים ל --thing-name
בחרת כאן כאשר הגדרנו את Edge Manager.
- הפעל את הפקודה הבאה כדי לבדוק את ההתקנה שלך:
- במסוף IoT של AWS, אמת את מכשיר Snowball Edge שנרשם בהצלחה עם חשבון AWS IoT Greengrass שלך.
בצע אופטימיזציה של דגמי ML עם Edge Manager
אנו משתמשים ב-Edge Manger כדי לפרוס ולנהל את המודל ב-Snowball Edge.
- התקן את סוכן Edge Manager ב-Snowball Edge באמצעות ה-AWS IoT Greengrass העדכני ביותר.
- אמן ואחסן את דגם ה-ML שלך.
אתה יכול לאמן את מודל ה-ML שלך באמצעות כל מסגרת שתבחר ולשמור אותו ב- שירות אחסון פשוט של אמזון דלי (Amazon S3). בצילום המסך הבא, אנו משתמשים ב-TensorFlow כדי לאמן מודל מרובה תוויות לסיווג קשר ואנשים בתמונה. המודל המשמש כאן נשמר בדלי S3 על ידי יצירת תחילה קובץ .tar.
לאחר שמירת הדגם (TensorFlow Lite במקרה זה), אתה יכול להתחיל אמזון SageMaker Neo עבודת הידור של המודל ואופטימיזציה של מודל ה-ML עבור Snowball Edge Compute (SBE_C
).
- במסוף SageMaker, תחת הסקה בחלונית הניווט, בחר עבודות אוסף.
- בחרו צור עבודת אוסף.
- תן שם לעבודה שלך וצור או השתמש בתפקיד קיים.
אם אתה יוצר חדש AWS זהות וניהול גישה תפקיד (IAM), ודא של-SageMaker תהיה גישה לדלי שבו נשמר הדגם.
- ב תצורת קלט קטע, עבור מיקום חפצים מודליים, הזן את הנתיב אל
model.tar.gz
איפה שמרת את הקובץ (במקרה זה,s3://feidemo/tfconnexmodel/connexmodel.tar.gz
). - בעד תצורת קלט נתונים, הזן את שכבת הקלט של מודל ה-ML (שמו וצורתו). במקרה הזה, זה נקרא
keras_layer_input
וצורתו היא [1,224,224,3], אז אנחנו נכנסים{“keras_layer_input”:[1,224,224,3]}
.
- בעד מסגרת למידת מכונה, בחר TFLite.
- בעד מכשיר מטרה, בחר sbe_c.
- יציאה אפשרויות מהדר
- בעד S3 מיקום פלט, הזן את אותו מיקום שבו המודל שלך נשמר עם הקידומת (תיקיה)
output
. לדוגמה, אנחנו נכנסיםs3://feidemo/tfconnexmodel/output
.
- בחרו חפש כדי להתחיל את עבודת הקומפילציה.
כעת אתה יוצר חבילת פריסת מודל שתשמש את Edge Manager.
- במסוף SageMaker, תחת מנהל הקצה, בחר עבודות אריזת קצה.
- בחרו צור עבודת אריזה של Edge.
- ב מאפייני משרה סעיף, הזן את פרטי המשרה.
- ב מקור הדגם קטע, עבור שם עבודת הידור, הזן את השם שסיפקת עבור עבודת הידור Neo.
- בחרו הַבָּא.
- ב תצורת פלט קטע, עבור S3 דלי URI, הזן היכן ברצונך לאחסן את החבילה באמזון S3.
- בעד שם רכיב, הזן שם עבור רכיב ה-AWS IoT Greengrass שלך.
שלב זה יוצר רכיב של דגם AWS IoT Greengrass שבו המודל מוריד מאמזון S3 ולא דחוס לאחסון מקומי ב-Snowball Edge.
- צור צי מכשירים כדי לנהל קבוצת מכשירים, במקרה זה, רק אחד (SBE).
- בעד תפקיד IAM¸ הזן את התפקיד שנוצר על ידי AWS IoT Greengrass קודם לכן (–tes-role-name).
ודא שיש לו את ההרשאות הנדרשות על ידי מעבר למסוף IAM, חיפוש התפקיד והוספת המדיניות הנדרשת אליו.
- רשום את מכשיר Snowball Edge לצי שיצרת.
- ב מקור המכשיר בקטע, הזן את שם המכשיר. שם ה-IoT צריך להתאים לשם שהשתמשת בו קודם לכן - במקרה זה, שם הדבר MyGreengrassCore.
ניתן לרשום מכשירי Snowball נוספים בקונסולת SageMaker כדי להוסיף אותם לצי המכשירים, מה שמאפשר לקבץ ולנהל את המכשירים הללו יחד.
פרוס דגמי ML ל-Snowball Edge באמצעות AWS IoT Greengrass
בסעיפים הקודמים, ביטלת והגדרת את מכשיר ה- Snowball Edge שלך. מודל ה-ML מורכב כעת ומוטב לביצועים ב-Snowball Edge. נוצרת חבילת Edge Manager עם הדגם המהודר ומכשיר Snowball נרשם לצי. בסעיף זה, אתה מסתכל על השלבים הכרוכים בפריסת מודל ה-ML להסקת Snowball Edge עם ה-AWS IoT Greengrass העדכני ביותר.
רכיבי
AWS IoT Greengrass מאפשר לך לפרוס התקני קצה כשילוב של רכיבים וחפצים נלווים. רכיבים הם מסמכי JSON המכילים את המטא נתונים, מחזור החיים, מה לפרוס מתי ומה להתקין. הרכיבים גם מגדירים באיזו מערכת הפעלה להשתמש ובאילו חפצים להשתמש בעת הפעלה על אפשרויות מערכת הפעלה שונות.
חפץ
חפצים יכולים להיות קובצי קוד, דגמים או תמונות מיכל. לדוגמה, ניתן להגדיר רכיב כדי להתקין ספריית פיתון של pandas ולהפעיל קובץ קוד שישנה את הנתונים, או להתקין ספריית TensorFlow ולהריץ את המודל להסקה. להלן ממצאים לדוגמה הדרושים לפריסת יישומי מסקנות:
- gRPC proto ו-Python stubs (זה יכול להיות שונה בהתבסס על הדגם והמסגרת שלך)
- קוד Python לטעינת המודל ולביצוע הסקה
שני הפריטים האלה מועלים לדלי S3.
פרוס את הרכיבים
הפריסה צריכה את הרכיבים הבאים:
- סוכן Edge Manager (זמין ברכיבים ציבוריים ב-GA)
- מספר סימוכין
- בקשה
השלם את השלבים הבאים כדי לפרוס את הרכיבים:
- במסוף IoT של AWS, מתחת דשא ירוק, בחר רכיבי, וצור את רכיב היישום.
- מצא את רכיב הסוכן Edge Manager ברשימת הרכיבים הציבוריים ופרוס אותו.
- פרוס רכיב מודל שנוצר על ידי Edge Manager, המשמש כתלות ברכיב היישום.
- פרוס את רכיב האפליקציה במכשיר הקצה על ידי מעבר לרשימת פריסות AWS IoT Greengrass ויצירת פריסה חדשה.
אם יש לך פריסה קיימת, תוכל לשנות אותה כדי להוסיף את רכיב היישום.
עכשיו אתה יכול לבדוק את הרכיב שלך.
- בקוד החיזוי או ההסקה שלך שנפרס עם רכיב היישום, קוד בלוגיקה כדי לגשת לקבצים באופן מקומי במכשיר Snowball Edge (לדוגמה, בתיקייה הנכנסת) והעברת התחזיות או הקבצים המעובדים לתיקיה מעובדת.
- היכנס למכשיר כדי לראות אם התחזיות נעשו.
- הגדר את הקוד כך שיפעל בלולאה, בדיקת התיקיה הנכנסת עבור קבצים חדשים, עיבוד הקבצים והעברה לתיקיה המעובדת.
צילום המסך הבא הוא דוגמה להגדרה של קבצים לפני פריסה בתוך Snowball Edge.
לאחר הפריסה, לכל תמונות הבדיקה יש קבוצות עניין ולכן הן מועברות לתיקיה המעובדת.
לנקות את
כדי לנקות הכל או להטמיע מחדש את הפתרון הזה מאפס, הפסק את כל מופעי EC2 על ידי הפעלת TerminateInstance
API נגד נקודות קצה תואמות EC2 הפועלות במכשיר Snowball Edge שלך. כדי להחזיר את מכשיר ה-Snowball Edge שלך, ראה כיבוי כדור השלג ו החזרת מכשיר Snowball Edge.
סיכום
פוסט זה הנחה אותך כיצד להזמין מכשיר Snowball Edge עם AMI לבחירתך. לאחר מכן, אתה מרכיב מודל עבור הקצה באמצעות SageMaker, אורז את המודל הזה באמצעות Edge Manager, ויוצר ומפעיל רכיבים עם חפצים כדי לבצע הסקת ML על Snowball Edge באמצעות ה-AWS IoT Greengrass העדכני ביותר. עם Edge Manager, אתה יכול לפרוס ולעדכן את דגמי ה-ML שלך בצי של מכשירי Snowball Edge, ולנטר את הביצועים בקצה עם נתוני קלט ותחזית שמורים ב-Amazon S3. אתה יכול גם להפעיל את הרכיבים האלה כארוכי ריצה AWS למבדה פונקציות שיכולות לסובב מודל ולחכות לנתונים כדי להסיק.
אתה משלב מספר תכונות של AWS IoT Greengrass כדי ליצור לקוח MQTT ולהשתמש במודל פאב/משנה כדי להפעיל שירותים או מיקרו-שירותים אחרים. האפשרויות אינסופיות.
על ידי הפעלת מסקנות ML על Snowball Edge עם Edge Manager ו-AWS IoT Greengrass, אתה יכול לייעל, לאבטח, לנטר ולתחזק דגמי ML בציי מכשירי Snowball Edge. תודה שקראתם ואל תהססו להשאיר שאלות או הערות בקטע ההערות.
למידע נוסף על AWS Snow Family, AWS IoT Greengrass ו-Edge Manager, בדוק את הדברים הבאים:
על הכותבים
ראג 'קדיאלה הוא מנהל פיתוח עסקי של AI/ML Tech ב-AWS WWPS Partner Organization. לראג' יש למעלה מ-12 שנות ניסיון בלמידת מכונה ואוהב לבלות את זמנו הפנוי בחקר למידת מכונה לפתרונות מעשיים יומיומיים ולהישאר פעיל בחיק הטבע של קולורדו.
נידה בייג היא מנהלת מוצר אב – טק בשירותי האינטרנט של אמזון שם היא עובדת בצוות AWS Snow Family. היא נלהבת מהבנת צרכי הלקוחות, ושימוש בטכנולוגיה כמובילה של חשיבה טרנספורמטיבית כדי לספק מוצרי צריכה. מלבד העבודה, היא נהנית לטייל, לטייל ולרוץ.
- 100
- 9
- גישה
- חֶשְׁבּוֹן
- פעיל
- נוסף
- תעשיות
- אמזון בעברית
- אמזון
- אמזון SageMaker
- אמזון שירותי אינטרנט
- API
- בקשה
- יישומים
- AWS
- עסקים
- בדיקה
- מיון
- קוד
- קולורדו
- הערות
- רְכִיב
- לחשב
- מנצח
- קישוריות
- צרכן
- מוצרי צריכה
- מכולה
- מכולות
- יוצרים
- לשיט
- נתונים
- יְוֹם
- צעצועי התפתחות
- התקנים
- מסמכים
- אדג '
- ניסיון
- זיהוי פנים
- מפעל
- משפחה
- תכונות
- ראשון
- צי
- קומות
- מסגרת
- חופשי
- גדול
- בחיק הטבע
- קְבוּצָה
- כאן
- טיולים
- איך
- איך
- HTTPS
- IAM
- זהות
- תמונה
- התעשייה
- מידע
- אינטרס
- מעורב
- IOT
- IT
- Java
- עבודה
- האחרון
- לִלמוֹד
- למידה
- סִפְרִיָה
- מוגבל
- רשימה
- לִטעוֹן
- מקומי
- באופן מקומי
- מיקום
- למידת מכונה
- להתאים
- ML
- מודל
- ניטור
- ניווט
- NEO
- רשת
- שמן
- פועל
- מערכת הפעלה
- אפשרות
- אפשרויות
- להזמין
- אחר
- בחוץ
- אריזה
- שותף
- אֲנָשִׁים
- ביצועים
- מדיניות
- נבואה
- התחזיות
- המוצר
- הפקה
- מוצרים
- ציבורי
- פיתון
- פיטורך
- איכות
- רכס
- קריאה
- להפחית
- דרישות
- הפעלה
- ריצה
- בעל חכמים
- שירותים
- סט
- משלוח
- ספינות
- פָּשׁוּט
- שלג
- So
- פתרונות
- לבלות
- לְסוֹבֵב
- התחלה
- החל
- אחסון
- חנות
- מעקב
- מערכת
- טק
- טכנולוגיה
- tensorflow
- מבחן
- חושב
- זמן
- עדכון
- לחכות
- אינטרנט
- שירותי אינטרנט
- תיק עבודות
- עובד
- שנים