הכרזה על תרומות חדשות של Jupyter מאת AWS לדמוקרטיזציה של AI יצירתי והגדלת עומסי עבודה של ML | שירותי האינטרנט של אמזון

הכרזה על תרומות חדשות של Jupyter מאת AWS לדמוקרטיזציה של AI יצירתי והגדלת עומסי עבודה של ML | שירותי האינטרנט של אמזון

חותמת זמן: 10 במאי 2023 8:01
צומת המקור: 2092834

Project Jupyter הוא פרויקט קוד פתוח מרובה בעלי עניין שבונה יישומים, תקנים פתוחים וכלים למדעי נתונים, למידת מכונה (ML) ומדע חישובי. ה-Jupyter Notebook, שיצא לראשונה בשנת 2011, הפך לכלי סטנדרטי דה פקטו המשמש מיליוני משתמשים ברחבי העולם בכל מגזר אקדמי, מחקר ותעשייה אפשרי. Jupyter מאפשרת למשתמשים לעבוד עם קוד ונתונים באופן אינטראקטיבי, ולבנות ולשתף נרטיבים חישוביים המספקים תיעוד מלא וניתן לשחזור של עבודתם.

לאור החשיבות של Jupyter למדעני נתונים ומפתחי ML, AWS היא נותנת חסות ותורמת פעיל לפרויקט Jupyter. המטרה שלנו היא לעבוד בקהילת הקוד הפתוח כדי לעזור ל-Jupyter להיות פלטפורמת המחברת הטובה ביותר למדעי נתונים ו-ML. AWS היא נותנת חסות פלטינה לפרויקט Jupyter דרך קרן NumFOCUS, ואני גאה ומתכבדת להוביל צוות מסור של מהנדסי AWS שתורמים לתוכנה של Jupyter ומשתתפים בקהילה ובממשל של Jupyter. תרומות הקוד הפתוח שלנו ל-Jupyter כוללות את JupyterLab, Jupyter Server ותת-הפרויקטים של Jupyter Notebook. אנחנו גם חברים בקבוצות העבודה של Jupyter לביטחון, וגיוון, שוויון והכללה (DEI). במקביל לתרומות אלו בקוד פתוח, יש לנו צוותי מוצר של AWS שפועלים לשילוב Jupyter עם מוצרים כגון Amazon SageMaker.

היום ב-JupyterCon, אנו נרגשים להכריז על מספר כלים חדשים עבור משתמשי Jupyter כדי לשפר את החוויה שלהם ולהגביר את פרודוקטיביות הפיתוח. כל הכלים הללו הם בקוד פתוח וניתן להשתמש בהם בכל מקום שבו אתה מריץ את Jupyter.

הצגת שתי הרחבות AI גנרטיביות עבור Jupyter

AI גנרטיבי יכול להגביר משמעותית את הפרודוקטיביות של מדעני נתונים ומפתחים בזמן שהם כותבים קוד. היום, אנו מכריזים על שתי הרחבות של Jupyter שמביאות AI גנרטיבי למשתמשי Jupyter באמצעות ממשק משתמש צ'אט, פקודות קסם של IPython והשלמה אוטומטית. הרחבות אלה מאפשרות לך לבצע מגוון רחב של משימות פיתוח באמצעות מודלים של AI גנרטיביים במחברות JupyterLab ו-Jupyter.

Jupyter AI, פרויקט בקוד פתוח להבאת בינה מלאכותית גנרטיבית למחברות Jupyter

שימוש בכוחם של דגמי שפה גדולים כמו ChatGPT, Jurassic-21 של AI2 ו(בקרוב) Amazon Titan, Jupyter AI הוא פרויקט קוד פתוח שמביא תכונות בינה מלאכותית גנרטיביות למחברות Jupyter. לדוגמה, באמצעות מודל שפה גדול, Jupyter AI יכול לעזור למתכנת ליצור, לנפות באגים ולהסביר את קוד המקור שלו. Jupyter AI יכול גם לענות על שאלות על קבצים מקומיים ולהפיק מחברות שלמות מבקשת שפה טבעית פשוטה. Jupyter AI מציע גם פקודות קסם שעובדות בכל מחברת או מעטפת IPython, וגם ממשק משתמש צ'אט ידידותי ב- JupyterLab. שתי החוויות הללו עובדות עם עשרות דגמים ממגוון רחב של ספקי דגמים. משתמשי JupyterLab יכולים לבחור כל תאי טקסט או מחברת, להזין הנחיה בשפה טבעית כדי לבצע משימה עם הבחירה, ולאחר מכן להכניס את התגובה שנוצרת בינה מלאכותית בכל מקום שיבחר. Jupyter AI משולבת עם מערכת סוג MIME של Jupyter, המאפשרת לך לעבוד עם קלט ויציאות מכל סוג שבו Jupyter תומך (טקסט, תמונות וכו'). Jupyter AI מספקת גם נקודות אינטגרציה המאפשרות לצדדים שלישיים להגדיר את הדגמים שלהם. Jupyter AI הוא פרויקט רשמי בקוד פתוח של Project Jupyter.

סיומת Amazon CodeWhisperer Jupyter

השלמה אוטומטית היא הבסיסית עבור מפתחים ובינה מלאכותית גנרטיבית יכולה לשפר משמעותית את חוויית הצעת הקוד. זו הסיבה שהכרזנו על זמינות כללית של Amazon Code Whisperer מוקדם יותר בשנת 2023. CodeWhisperer הוא שותף לקידוד AI שמשתמש במודלים בסיסיים מתחת למכסה המנוע כדי לשפר באופן קיצוני את פרודוקטיביות המפתחים. זה עובד על ידי יצירת הצעות קוד בזמן אמת על סמך הערות מפתחים בשפה טבעית וקוד קודם בסביבת הפיתוח המשולבת שלהם (IDE).

היום, אנו נרגשים להכריז שמשתמשי JupyterLab יכולים להתקין ולהשתמש בתוסף CodeWhisperer בחינם כדי ליצור הצעות קוד בזמן אמת, קו בודד או פונקציה מלאה עבור מחברות Python ב- JupyterLab ו סטודיו SageMaker של אמזון. עם CodeWhisperer, אתה יכול לכתוב הערה בשפה טבעית המתארת ​​משימה ספציפית באנגלית, כגון "צור מסגרת נתונים של פנדה באמצעות קובץ CSV." בהתבסס על מידע זה, CodeWhisperer ממליץ על קטע קוד אחד או יותר ישירות במחברת שיכולים לבצע את המשימה. אתה יכול לקבל במהירות ובקלות את ההצעה המובילה, להציג הצעות נוספות או להמשיך לכתוב קוד משלך.

במהלך התצוגה המקדימה שלו, CodeWhisperer הוכיח שהוא מצוין ביצירת קוד כדי להאיץ משימות קידוד, ועוזר למפתחים לבצע משימות במהירות של 57% בממוצע. בנוסף, למפתחים שהשתמשו ב-CodeWhisperer היה סיכוי גבוה ב-27% להשלים משימת קידוד בהצלחה מאשר לאלה שלא. זוהי קפיצת מדרגה ענקית בפרודוקטיביות המפתחים. CodeWhisperer כולל גם מעקב רפרנס מובנה שמזהה אם הצעת קוד עשויה להידמות לנתוני אימון בקוד פתוח ויכול לסמן הצעות כאלה.

הצגת הרחבות חדשות של Jupyter לבנייה, אימון ופריסה של ML בקנה מידה

המשימה שלנו ב-AWS היא לעשות דמוקרטיזציה של גישה ל-ML בין התעשיות. כדי להשיג מטרה זו, החל משנת 2017, השקנו את מופע מחברת אמזון SageMaker- מופע מחשוב מנוהל במלואו המריץ את Jupyter הכולל את כל חבילות מדעי הנתונים וה-ML הפופולריים. בשנת 2019, עשינו קפיצת מדרגה משמעותית עם השקת SageMaker Studio, IDE עבור ML שנבנה על גבי JupyterLab, המאפשר לך לבנות, לאמן, לכוון, לנפות באגים, לפרוס ולנטר דגמים מאפליקציה אחת. עשרות אלפי לקוחות משתמשים ב-Studio כדי להעצים צוותי מדעי נתונים בכל הגדלים. בשנת 2021, הרחבנו עוד יותר את היתרונות של SageMaker לקהילה של מיליוני משתמשי Jupyter על ידי השקת Amazon SageMaker Studio Lab- שירות מחברת בחינם, שוב מבוסס על JupyterLab, הכולל מחשוב חינם ואחסון מתמשך.

היום, אנו נרגשים להכריז על שלוש יכולות חדשות שיעזרו לך להגדיל את פיתוח ML מהר יותר.

תזמון מחברות

בשנת 2022, שחררנו יכולת חדשה כדי לאפשר ללקוחות שלנו לעשות זאת הפעל מחברות כעבודות מתוזמנות ב-SageMaker Studio ו-Studio Lab. הודות ליכולת זו, רבים מהלקוחות שלנו חסכו זמן בכך שלא נאלצו להגדיר ידנית תשתית ענן מורכבת כדי להרחיב את זרימות העבודה שלהם ב-ML.

אנו נרגשים להכריז שכלי תזמון המחברות נמצא כעת סיומת Jupyter בקוד פתוח המאפשר למשתמשי JupyterLab להפעיל ולתזמן מחברות ב- SageMaker בכל מקום שבו JupyterLab פועל. משתמשים יכולים לבחור מחברת ולהפוך אותה לאוטומטית כעבודה הפועלת בסביבת ייצור באמצעות ממשק משתמש פשוט אך חזק. לאחר בחירת מחברת, הכלי מצלם תמונת מצב של המחברת כולה, אורז את התלות שלו בקונטיינר, בונה את התשתית, מפעיל את המחברת כעבודה אוטומטית בלוח זמנים שנקבע על ידי המשתמש, ומבטל את הקצאת התשתית עם השלמת העבודה. זה מקטין את הזמן שלוקח להעביר מחברת לייצור משבועות לשעות.

הפצת קוד פתוח של SageMaker

מדעני נתונים ומפתחים רוצים להתחיל לפתח יישומי ML במהירות, וזה יכול להיות מורכב להתקין את הגרסאות התואמות הדדית של כל החבילות הדרושות. כדי להסיר את העבודה הידנית ולשפר את הפרודוקטיביות, אנו נרגשים להכריז הפצה חדשה בקוד פתוח זה כולל את החבילות הפופולריות ביותר עבור ML, מדעי נתונים והדמיית נתונים. הפצה זו כוללת מסגרות למידה עמוקה כמו PyTorch, TensorFlow ו-Keras; חבילות Python פופולריות כמו NumPy, scikit-learn ופנדות; ו-IDEs כמו JupyterLab ו-Jupyter Notebook. ההפצה מנוסחת באמצעות SemVer והיא תשוחרר על בסיס קבוע בהמשך הדרך. המכולה זמינה דרך גלריה ציבורית של אמזון ECR, וקוד המקור שלו זמין ב-GitHub. זה מספק לארגונים שקיפות לתוך החבילות ותהליך הבנייה, ובכך מקל עליהם לשכפל, להתאים אישית או לאשר מחדש את ההפצה. תמונת הבסיס מגיעה עם pip ו-Conda/Mamba, כך שמדעני נתונים יכולים להתקין במהירות חבילות נוספות כדי לענות על הצרכים הספציפיים שלהם.

סיומת Amazon CodeGuru Jupyter

אמזון קודגורו אבטחה תומכת כעת בסריקות אבטחה ואיכות קוד ב-JupyterLab וב-SageMaker Studio. יכולת חדשה זו מסייעת למשתמשי מחשבים ניידים בזיהוי פרצות אבטחה כגון פגמי הזרקה, דליפות נתונים, קריפטוגרפיה חלשה או הצפנה חסרה בתוך תאי המחברת. אתה יכול גם לזהות בעיות נפוצות רבות המשפיעות על הקריאה, השחזור והנכונות של מחברות חישוביות, כגון שימוש לרעה בממשקי API של ספריית ML, סדר ריצה לא חוקי ואי-דטרמיניזם. כאשר מזוהות נקודות תורפה או בעיות איכות במחברת, CodeGuru מייצר המלצות המאפשרות לך לתקן את הבעיות הללו בהתבסס על שיטות עבודה מומלצות לאבטחת AWS.

סיכום

אנו נרגשים לראות כיצד קהילת Jupyter תשתמש בכלים אלה כדי להגדיל את הפיתוח, להגדיל את הפרודוקטיביות ולנצל את ה-AI הגנרטיבי כדי לשנות את התעשיות שלהם. עיין במשאבים הבאים כדי ללמוד עוד על Jupyter ב-AWS וכיצד להתקין ולהתחיל עם הכלים החדשים האלה:

על המחבר

בריאן גריינג'ר הוא מנהיג של פרויקט Python, מייסד שותף של Project Jupyter, ותורם פעיל למספר פרויקטים אחרים בקוד פתוח המתמקדים במדעי הנתונים ב-Python. בשנת 2016, הוא שותף ליצירת חבילת Altair להדמיה סטטיסטית ב- Python. הוא חבר במועצה המייעצת של קרן NumFOCUS, עמית סגל במרכז Cal Poly לחדשנות ויזמות, והטכנולוג הראשי האב ב-AWS.

בול זמן:

עוד מ למידת מכונות AWS