Annonce de nouvelles contributions Jupyter par AWS pour démocratiser l'IA générative et faire évoluer les charges de travail ML | Services Web Amazon

Le projet Jupyter est un projet open source multipartite qui crée des applications, des normes ouvertes et des outils pour la science des données, l'apprentissage automatique (ML) et la science informatique. Le Jupyter Notebook, lancé pour la première fois en 2011, est devenu un outil standard de facto utilisé par des millions d'utilisateurs dans le monde entier dans tous les secteurs universitaires, de recherche et industriels possibles. Jupyter permet aux utilisateurs de travailler avec du code et des données de manière interactive, et de créer et de partager des récits informatiques qui fournissent un enregistrement complet et reproductible de leur travail.

Compte tenu de l'importance de Jupyter pour les scientifiques des données et les développeurs ML, AWS est un sponsor et un contributeur actif du projet Jupyter. Notre objectif est de travailler dans la communauté open source pour aider Jupyter à être la meilleure plate-forme de bloc-notes possible pour la science des données et le ML. AWS est un sponsor platine du projet Jupyter par le biais de la Fondation NumFOCUS, et je suis fier et honoré de diriger une équipe dévouée d'ingénieurs AWS qui contribuent au logiciel de Jupyter et participent à la communauté et à la gouvernance de Jupyter. Nos contributions open source à Jupyter incluent JupyterLab, Jupyter Server et les sous-projets Jupyter Notebook. Nous sommes également membres des groupes de travail Jupyter pour la sécurité et la diversité, l'équité et l'inclusion (DEI). Parallèlement à ces contributions open source, nous avons des équipes de produits AWS qui travaillent à l'intégration de Jupyter avec des produits tels qu'Amazon SageMaker.

Aujourd'hui, à la JupyterCon, nous sommes ravis d'annoncer plusieurs nouveaux outils permettant aux utilisateurs de Jupyter d'améliorer leur expérience et d'augmenter la productivité du développement. Tous ces outils sont open source et peuvent être utilisés partout où vous utilisez Jupyter.

Présentation de deux extensions d'IA génératives pour Jupyter

L'IA générative peut considérablement augmenter la productivité des data scientists et des développeurs lorsqu'ils écrivent du code. Aujourd'hui, nous annonçons deux extensions Jupyter qui apportent une IA générative aux utilisateurs Jupyter via une interface utilisateur de chat, des commandes magiques IPython et la saisie semi-automatique. Ces extensions vous permettent d'effectuer un large éventail de tâches de développement à l'aide de modèles d'IA génératifs dans JupyterLab et les notebooks Jupyter.

Jupyter AI, un projet open-source pour apporter l'IA générative aux notebooks Jupyter

En utilisant la puissance de grands modèles de langage comme ChatGPT, Jurassic-21 d'AI2 et (à venir) Amazon Titan, IA Jupyter est un projet open source qui apporte des fonctionnalités d'IA génératives aux notebooks Jupyter. Par exemple, en utilisant un grand modèle de langage, Jupyter AI peut aider un programmeur à générer, déboguer et expliquer son code source. Jupyter AI peut également répondre aux questions sur les fichiers locaux et générer des blocs-notes entiers à partir d'une simple invite en langage naturel. Jupyter AI propose à la fois des commandes magiques qui fonctionnent dans n'importe quel notebook ou shell IPython, et une interface utilisateur de chat conviviale dans JupyterLab. Ces deux expériences fonctionnent avec des dizaines de modèles d'un large éventail de fournisseurs de modèles. Les utilisateurs de JupyterLab peuvent sélectionner n'importe quel texte ou cellule de bloc-notes, entrer une invite en langage naturel pour effectuer une tâche avec la sélection, puis insérer la réponse générée par l'IA où ils le souhaitent. Jupyter AI est intégré au système de type MIME de Jupyter, qui vous permet de travailler avec des entrées et des sorties de tout type pris en charge par Jupyter (texte, images, etc.). Jupyter AI fournit également des points d'intégration qui permettent à des tiers de configurer leurs propres modèles. Jupyter AI est un projet open source officiel du projet Jupyter.

Extension Amazon CodeWhisperer Jupyter

La saisie semi-automatique est fondamentale pour les développeurs et l'IA générative peut considérablement améliorer l'expérience de suggestion de code. C'est pourquoi nous avons annoncé la disponibilité générale de Chuchoteur de code Amazon plus tôt en 2023. CodeWhisperer est un compagnon de codage IA qui utilise des modèles fondamentaux sous le capot pour améliorer radicalement la productivité des développeurs. Cela fonctionne en générant des suggestions de code en temps réel sur la base des commentaires des développeurs en langage naturel et du code antérieur dans leur environnement de développement intégré (IDE).

Aujourd'hui, nous sommes ravis d'annoncer que les utilisateurs de JupyterLab peuvent installer et utiliser gratuitement l'extension CodeWhisperer pour générer des suggestions de code en temps réel, à une seule ligne ou à fonction complète pour les blocs-notes Python dans JupyterLab et Amazon SageMakerStudio. Avec CodeWhisperer, vous pouvez rédiger un commentaire en langage naturel qui décrit une tâche spécifique en anglais, telle que "Créer une base de données pandas à l'aide d'un fichier CSV". Sur la base de ces informations, CodeWhisperer recommande un ou plusieurs extraits de code directement dans le bloc-notes qui peuvent accomplir la tâche. Vous pouvez rapidement et facilement accepter la première suggestion, afficher d'autres suggestions ou continuer à écrire votre propre code.

Lors de son aperçu, CodeWhisperer a prouvé qu'il était excellent pour générer du code pour accélérer les tâches de codage, aidant les développeurs à effectuer les tâches en moyenne 57 % plus rapidement. De plus, les développeurs qui utilisaient CodeWhisperer étaient 27 % plus susceptibles de réussir une tâche de codage que ceux qui ne l'utilisaient pas. C'est un pas de géant dans la productivité des développeurs. CodeWhisperer inclut également un tracker de référence intégré qui détecte si une suggestion de code peut ressembler à des données de formation open source et peut signaler ces suggestions.

Présentation de nouvelles extensions Jupyter pour créer, former et déployer le ML à grande échelle

Notre mission chez AWS est de démocratiser l'accès au ML dans tous les secteurs. Pour atteindre cet objectif, à partir de 2017, nous avons lancé le Instance de bloc-notes Amazon SageMaker— une instance de calcul entièrement gérée exécutant Jupyter qui inclut tous les packages populaires de science des données et de ML. En 2019, nous avons fait un bond en avant significatif avec le lancement de SageMaker Studio, un IDE pour ML basé sur JupyterLab qui vous permet de créer, d'entraîner, d'ajuster, de déboguer, de déployer et de surveiller des modèles à partir d'une seule application. Des dizaines de milliers de clients utilisent Studio pour renforcer les équipes de data science de toutes tailles. En 2021, nous avons encore étendu les avantages de SageMaker à la communauté de millions d'utilisateurs Jupyter en lançant Laboratoire Amazon SageMaker Studio— un service de bloc-notes gratuit, encore une fois basé sur JupyterLab, qui inclut un calcul gratuit et un stockage persistant.

Aujourd'hui, nous sommes ravis d'annoncer trois nouvelles fonctionnalités pour vous aider à faire évoluer plus rapidement le développement ML.

Ordonnancement des blocs-notes

En 2022, nous avons lancé une nouvelle capacité pour permettre à nos clients de exécuter des blocs-notes en tant que tâches planifiées dans SageMaker Studio et Studio Lab. Grâce à cette capacité, nombre de nos clients ont gagné du temps en n'ayant pas à configurer manuellement une infrastructure cloud complexe pour faire évoluer leurs flux de travail ML.

Nous sommes ravis d'annoncer que l'outil de planification des blocs-notes est désormais une extension Jupyter open source qui permet aux utilisateurs de JupyterLab d'exécuter et de planifier des blocs-notes sur SageMaker partout où JupyterLab s'exécute. Les utilisateurs peuvent sélectionner un bloc-notes et l'automatiser en tant que tâche qui s'exécute dans un environnement de production via une interface utilisateur simple mais puissante. Une fois qu'un bloc-notes est sélectionné, l'outil prend un instantané de l'ensemble du bloc-notes, regroupe ses dépendances dans un conteneur, construit l'infrastructure, exécute le bloc-notes en tant que tâche automatisée selon un calendrier défini par l'utilisateur et déprovisionne l'infrastructure à la fin de la tâche. Cela réduit le temps nécessaire pour mettre un ordinateur portable en production de quelques semaines à quelques heures.

Distribution open source SageMaker

Les data scientists et les développeurs veulent commencer à développer rapidement des applications ML, et il peut être complexe d'installer les versions mutuellement compatibles de tous les packages nécessaires. Pour supprimer le travail manuel et améliorer la productivité, nous sommes ravis d'annoncer une nouvelle distribution open source qui comprend les packages les plus populaires pour le ML, la science des données et la visualisation des données. Cette distribution comprend des cadres d'apprentissage en profondeur tels que PyTorch, TensorFlow et Keras ; packages Python populaires tels que NumPy, scikit-learn et pandas ; et des IDE comme JupyterLab et Jupyter Notebook. La distribution est versionnée à l'aide de SemVer et sera publiée régulièrement à l'avenir. Le conteneur est disponible via Galerie publique Amazon ECR, et son code source est disponible sur GitHub. Cela offre aux entreprises une transparence dans les packages et le processus de construction, ce qui leur permet de reproduire, personnaliser ou recertifier plus facilement la distribution. L'image de base est fournie avec pip et Conda/Mamba, afin que les scientifiques des données puissent rapidement installer des packages supplémentaires pour répondre à leurs besoins spécifiques.

Extension Amazon CodeGuru Jupyter

Amazon CodeGuru La sécurité prend désormais en charge les analyses de sécurité et de qualité du code dans JupyterLab et SageMaker Studio. Cette nouvelle fonctionnalité aide les utilisateurs d'ordinateurs portables à détecter les vulnérabilités de sécurité telles que les défauts d'injection, les fuites de données, la cryptographie faible ou le chiffrement manquant dans les cellules de l'ordinateur portable. Vous pouvez également détecter de nombreux problèmes courants qui affectent la lisibilité, la reproductibilité et l'exactitude des blocs-notes de calcul, tels que l'utilisation abusive des API de la bibliothèque ML, l'ordre d'exécution non valide et le non-déterminisme. Lorsque des vulnérabilités ou des problèmes de qualité sont identifiés dans le bloc-notes, CodeGuru génère des recommandations qui vous permettent de résoudre ces problèmes en fonction des meilleures pratiques de sécurité AWS.

Conclusion

Nous sommes ravis de voir comment la communauté Jupyter utilisera ces outils pour faire évoluer le développement, augmenter la productivité et tirer parti de l'IA générative pour transformer leurs industries. Consultez les ressources suivantes pour en savoir plus sur Jupyter sur AWS et sur l'installation et la prise en main de ces nouveaux outils :

---

À propos de l’auteur

Brian Granger est un leader du projet Python, co-fondateur du projet Jupyter et un contributeur actif à un certain nombre d'autres projets open source axés sur la science des données en Python. En 2016, il a co-créé le package Altair pour la visualisation statistique en Python. Il est membre du conseil consultatif de la Fondation NumFOCUS, membre du corps professoral du Cal Poly Center for Innovation and Entrepreneurship et technologue principal chez AWS.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoAiStream. Intelligence des données Web3. Connaissance Amplifiée. Accéder ici.
• Frapper l'avenir avec Adryenn Ashley. Accéder ici.
• Achetez et vendez des actions de sociétés PRE-IPO avec PREIPO®. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/