الإعلان عن مساهمات Jupyter الجديدة بواسطة AWS لإضفاء الطابع الديمقراطي على الذكاء الاصطناعي التوليدي وتوسيع أعباء عمل ML | خدمات أمازون ويب

Project Jupyter هو مشروع مفتوح المصدر لأصحاب المصلحة المتعددين يبني التطبيقات والمعايير المفتوحة والأدوات لعلوم البيانات والتعلم الآلي (ML) والعلوم الحاسوبية. أصبح دفتر Jupyter ، الذي تم إصداره لأول مرة في عام 2011 ، أداة قياسية بحكم الواقع يستخدمها ملايين المستخدمين في جميع أنحاء العالم عبر كل قطاع أكاديمي وبحثي وصناعي محتمل. تمكن Jupyter المستخدمين من العمل مع الكود والبيانات بشكل تفاعلي ، وبناء ومشاركة الروايات الحسابية التي توفر سجلاً كاملاً وقابلاً للتكرار لعملهم.

نظرًا لأهمية Jupyter لعلماء البيانات ومطوري ML ، تعد AWS راعيًا نشطًا ومساهمًا في Project Jupyter. هدفنا هو العمل في مجتمع مفتوح المصدر لمساعدة Jupyter على أن تكون أفضل منصة ممكنة لأجهزة الكمبيوتر المحمولة لعلوم البيانات و ML. AWS هي الراعي البلاتيني لمشروع Jupyter من خلال مؤسسة NumFOCUS ، وأنا فخور ويشرفني أن أقود فريقًا متخصصًا من مهندسي AWS الذين يساهمون في برنامج Jupyter ويشاركون في مجتمع Jupyter وحوكمته. تشمل مساهماتنا مفتوحة المصدر في Jupyter JupyterLab و Jupyter Server و Jupyter Notebook المشاريع الفرعية. نحن أيضًا أعضاء في مجموعات عمل Jupyter للأمن والتنوع والمساواة والشمول (DEI). بالتوازي مع هذه المساهمات مفتوحة المصدر ، لدينا فرق منتجات AWS تعمل على دمج Jupyter مع منتجات مثل Amazon SageMaker.

اليوم في JupyterCon ، نحن متحمسون للإعلان عن العديد من الأدوات الجديدة لمستخدمي Jupyter لتحسين تجربتهم وتعزيز إنتاجية التطوير. كل هذه الأدوات مفتوحة المصدر ويمكن استخدامها في أي مكان تقوم فيه بتشغيل Jupyter.

تقديم اثنين من ملحقات الذكاء الاصطناعي التوليدية لـ Jupyter

يمكن للذكاء الاصطناعي التوليدي تعزيز إنتاجية علماء البيانات والمطورين بشكل كبير أثناء كتابتهم للتعليمات البرمجية. اليوم ، نعلن عن امتدادات Jupyter التي تجلب الذكاء الاصطناعي التوليدي لمستخدمي Jupyter من خلال واجهة مستخدم الدردشة وأوامر IPython السحرية والإكمال التلقائي. تمكنك هذه الامتدادات من أداء مجموعة واسعة من مهام التطوير باستخدام نماذج الذكاء الاصطناعي التوليدية في دفاتر JupyterLab و Jupyter.

Jupyter AI ، مشروع مفتوح المصدر لجلب الذكاء الاصطناعي التوليدي إلى دفاتر Jupyter

باستخدام قوة نماذج اللغات الكبيرة مثل ChatGPT و AI21's Jurassic-2 و (قريبًا) Amazon Titan ، جوبيتر AI هو مشروع مفتوح المصدر يجلب ميزات الذكاء الاصطناعي التوليدية إلى دفاتر Jupyter. على سبيل المثال ، باستخدام نموذج لغة كبير ، يمكن لـ Jupyter AI مساعدة المبرمج على إنشاء كود المصدر وتصحيحه وشرحه. يمكن لـ Jupyter AI أيضًا الإجابة عن أسئلة حول الملفات المحلية وإنشاء دفاتر ملاحظات كاملة من موجه لغة طبيعية بسيط. يوفر Jupyter AI كلاً من الأوامر السحرية التي تعمل في أي دفتر ملاحظات أو غلاف IPython وواجهة مستخدم ودية للدردشة في JupyterLab. تعمل كلتا هاتين التجربتين مع عشرات النماذج من مجموعة واسعة من موفري النماذج. يمكن لمستخدمي JupyterLab تحديد أي نص أو خلايا دفتر ملاحظات ، وإدخال موجه لغة طبيعية لأداء مهمة مع التحديد ، ثم إدراج الاستجابة التي تم إنشاؤها بواسطة AI أينما اختاروا. تم دمج Jupyter AI مع نظام نوع MIME الخاص بـ Jupyter ، والذي يتيح لك العمل مع المدخلات والمخرجات من أي نوع يدعمه Jupyter (نص ، صور ، إلخ). يوفر Jupyter AI أيضًا نقاط تكامل تتيح للأطراف الثالثة تكوين نماذجهم الخاصة. Jupyter AI هو مشروع رسمي مفتوح المصدر من Project Jupyter.

ملحق أمازون CodeWhisperer Jupyter

يُعد الإكمال التلقائي أمرًا أساسيًا للمطورين ويمكن للذكاء الاصطناعي التوليدي تعزيز تجربة اقتراح الكود بشكل كبير. هذا هو السبب في أننا أعلنا عن التوفر العام لـ أمازون CodeWhisperer في وقت سابق في عام 2023. CodeWhisperer هو رفيق ترميز AI يستخدم نماذج أساسية تحت الغطاء لتحسين إنتاجية المطور بشكل جذري. يعمل هذا عن طريق إنشاء اقتراحات التعليمات البرمجية في الوقت الفعلي بناءً على تعليقات المطورين باللغة الطبيعية والرمز السابق في بيئة التطوير المتكاملة (IDE) الخاصة بهم.

اليوم ، يسعدنا أن نعلن أنه يمكن لمستخدمي JupyterLab تثبيت واستخدام ملحق CodeWhisperer مجانًا لإنشاء اقتراحات تعليمات برمجية في الوقت الفعلي أو أحادية السطر أو كاملة الوظائف لدفاتر Python المحمولة في JupyterLab و أمازون ساجميكر ستوديو. باستخدام CodeWhisperer ، يمكنك كتابة تعليق بلغة طبيعية تحدد مهمة معينة باللغة الإنجليزية ، مثل "إنشاء إطار بيانات pandas باستخدام ملف CSV." بناءً على هذه المعلومات ، توصي CodeWhisperer بواحد أو أكثر من مقتطفات التعليمات البرمجية مباشرةً في دفتر الملاحظات الذي يمكنه إنجاز المهمة. يمكنك قبول أفضل اقتراح بسرعة وسهولة ، أو عرض المزيد من الاقتراحات ، أو متابعة كتابة التعليمات البرمجية الخاصة بك.

أثناء المعاينة ، أثبت CodeWhisperer أنه ممتاز في إنشاء التعليمات البرمجية لتسريع مهام الترميز ، مما يساعد المطورين على إكمال المهام بمعدل 57٪ أسرع. بالإضافة إلى ذلك ، كان المطورون الذين استخدموا CodeWhisperer أكثر احتمالية بنسبة 27٪ لإكمال مهمة تشفير بنجاح من أولئك الذين لم يفعلوا ذلك. هذه قفزة عملاقة إلى الأمام في إنتاجية المطور. يتضمن CodeWhisperer أيضًا متتبعًا مرجعيًا مضمنًا يكتشف ما إذا كان اقتراح رمز قد يشبه بيانات تدريب مفتوحة المصدر ويمكنه وضع علامة على مثل هذه الاقتراحات.

تقديم امتدادات Jupyter جديدة لبناء ML وتدريبه ونشره على نطاق واسع

مهمتنا في AWS هي إضفاء الطابع الديمقراطي على الوصول إلى ML عبر الصناعات. لتحقيق هذا الهدف ، بدءًا من عام 2017 ، أطلقنا مثيل أمازون SageMaker المحمول—مثيل حوسبة مُدار بالكامل يقوم بتشغيل Jupyter يتضمن جميع حزم علوم البيانات الشائعة وحزم ML. في عام 2019 ، حققنا قفزة كبيرة إلى الأمام مع إطلاق SageMaker Studio ، وهو IDE لـ ML مبني على قمة JupyterLab يمكّنك من إنشاء النماذج وتدريبها وضبطها وتصحيحها ونشرها ومراقبتها من تطبيق واحد. يستخدم عشرات الآلاف من العملاء Studio لتمكين فرق علوم البيانات من جميع الأحجام. في عام 2021 ، قمنا بتوسيع مزايا SageMaker لمجتمع الملايين من مستخدمي Jupyter من خلال إطلاق مختبر استوديو Amazon SageMaker—خدمة كمبيوتر محمول مجانية ، تستند مرة أخرى إلى JupyterLab ، والتي تتضمن حسابًا مجانيًا وتخزينًا ثابتًا.

اليوم ، نحن متحمسون للإعلان عن ثلاث إمكانيات جديدة لمساعدتك على توسيع نطاق تطوير ML بشكل أسرع.

جدولة الدفاتر

في عام 2022 ، أطلقنا قدرة جديدة لتمكين عملائنا من القيام بذلك قم بتشغيل دفاتر الملاحظات كوظائف مجدولة في SageMaker Studio و Studio Lab. بفضل هذه الإمكانية ، وفر العديد من عملائنا الوقت من خلال عدم الاضطرار إلى إعداد البنية التحتية السحابية المعقدة يدويًا لتوسيع تدفقات عمل ML الخاصة بهم.

يسعدنا أن نعلن أن أداة جدولة أجهزة الكمبيوتر المحمولة أصبحت الآن امتداد Jupyter مفتوح المصدر يسمح لمستخدمي JupyterLab بتشغيل وجدولة دفاتر الملاحظات على SageMaker في أي مكان يعمل فيه JupyterLab. يمكن للمستخدمين اختيار جهاز كمبيوتر محمول وتشغيله تلقائيًا كمهمة تعمل في بيئة إنتاج عبر واجهة مستخدم بسيطة لكنها قوية. بعد تحديد دفتر ملاحظات ، تأخذ الأداة لقطة من دفتر الملاحظات بأكمله ، وتحزم تبعياته في حاوية ، وتبني البنية التحتية ، وتشغل الكمبيوتر المحمول كوظيفة آلية وفقًا لجدول يحدده المستخدم ، وتزيل تراخيص البنية الأساسية عند اكتمال المهمة. يؤدي هذا إلى تقليل الوقت المستغرق لنقل جهاز كمبيوتر محمول إلى الإنتاج من أسابيع إلى ساعات.

توزيع SageMaker مفتوح المصدر

يريد علماء البيانات والمطورون البدء في تطوير تطبيقات ML بسرعة ، وقد يكون من المعقد تثبيت الإصدارات المتوافقة بشكل متبادل لجميع الحزم الضرورية. لإزالة العمل اليدوي وتحسين الإنتاجية ، يسعدنا الإعلان توزيع جديد مفتوح المصدر يتضمن الحزم الأكثر شيوعًا للتعلم الآلي وعلوم البيانات وتصور البيانات. يتضمن هذا التوزيع أطر التعلم العميق مثل PyTorch و TensorFlow و Keras ؛ حزم Python الشائعة مثل NumPy و scikit-Learn و pandas ؛ و IDEs مثل JupyterLab و Jupyter Notebook. تم إصدار التوزيع باستخدام SemVer وسيتم إصداره بشكل منتظم للمضي قدمًا. الحاوية متاحة عبر معرض أمازون ECR العام، ورمز المصدر الخاص به متاح على جيثب. يوفر هذا للمؤسسات شفافية في الحزم وعملية البناء ، مما يسهل عليهم إعادة إنتاج التوزيع أو تخصيصه أو إعادة اعتماده. تأتي الصورة الأساسية مع pip و Conda / Mamba ، بحيث يمكن لعلماء البيانات تثبيت حزم إضافية بسرعة لتلبية احتياجاتهم الخاصة.

ملحق Amazon CodeGuru Jupyter

الأمازون CodeGuru يدعم الأمان الآن عمليات فحص الأمان وجودة التعليمات البرمجية في JupyterLab و SageMaker Studio. تساعد هذه الإمكانية الجديدة مستخدمي الكمبيوتر الدفتري في اكتشاف الثغرات الأمنية مثل عيوب الحقن أو تسرب البيانات أو التشفير الضعيف أو التشفير المفقود داخل خلايا الكمبيوتر الدفتري. يمكنك أيضًا اكتشاف العديد من المشكلات الشائعة التي تؤثر على قابلية القراءة وقابلية إعادة الإنتاج وصحة دفاتر الملاحظات الحسابية ، مثل إساءة استخدام واجهات برمجة تطبيقات مكتبة ML ، وترتيب التشغيل غير الصحيح ، وعدم التحديد. عندما يتم تحديد نقاط الضعف أو مشكلات الجودة في دفتر الملاحظات ، يقوم CodeGuru بإنشاء توصيات تمكّنك من معالجة هذه المشكلات بناءً على أفضل ممارسات الأمان في AWS.

وفي الختام

نحن متحمسون لمعرفة كيف سيستخدم مجتمع Jupyter هذه الأدوات لتوسيع نطاق التنمية وزيادة الإنتاجية والاستفادة من الذكاء الاصطناعي التوليدي لتحويل صناعاتهم. تحقق من الموارد التالية لمعرفة المزيد حول Jupyter على AWS وكيفية التثبيت والبدء باستخدام هذه الأدوات الجديدة:

---

عن المؤلف

بريان جرانجر هو قائد مشروع Python ، ومؤسس مشارك لـ Project Jupyter ، ومساهم نشط في عدد من المشاريع مفتوحة المصدر الأخرى التي تركز على علم البيانات في Python. في عام 2016 ، شارك في إنشاء حزمة Altair للتصور الإحصائي في Python. وهو عضو في المجلس الاستشاري لمؤسسة NumFOCUS ، وزميل هيئة التدريس في مركز Cal Poly للابتكار وريادة الأعمال ، والمدير التقني الأول في AWS.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
• سك المستقبل مع أدرين أشلي. الوصول هنا.
• شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/