Tillkännager nya Jupyter-bidrag från AWS för att demokratisera generativ AI och skala ML-arbetsbelastningar | Amazon webbtjänster

Tillkännager nya Jupyter-bidrag från AWS för att demokratisera generativ AI och skala ML-arbetsbelastningar | Amazon webbtjänster

Tidsstämpel: 10 maj 2023 8:01
Källnod: 2092834

Project Jupyter är ett projekt med öppen källkod med flera intressenter som bygger applikationer, öppna standarder och verktyg för datavetenskap, maskininlärning (ML) och beräkningsvetenskap. Jupyter Notebook, som släpptes för första gången 2011, har blivit ett de facto standardverktyg som används av miljontals användare över hela världen inom alla möjliga akademiska, forsknings- och industrisektorer. Jupyter gör det möjligt för användare att arbeta med kod och data interaktivt, och att bygga och dela beräkningsberättelser som ger en fullständig och reproducerbar registrering av deras arbete.

Med tanke på Jupyters betydelse för datavetare och ML-utvecklare är AWS en aktiv sponsor och bidragsgivare till Project Jupyter. Vårt mål är att arbeta i open source-gemenskapen för att hjälpa Jupyter att vara den bästa möjliga bärbara plattformen för datavetenskap och ML. AWS är en platinasponsor av Project Jupyter genom NumFOCUS Foundation, och jag är stolt och hedrad över att leda ett dedikerat team av AWS-ingenjörer som bidrar till Jupyters mjukvara och deltar i Jupyters community och styrning. Våra bidrag med öppen källkod till Jupyter inkluderar JupyterLab, Jupyter Server och underprojekten Jupyter Notebook. Vi är också medlemmar i Jupyters arbetsgrupper för säkerhet, och mångfald, jämlikhet och inkludering (DEI). Parallellt med dessa bidrag med öppen källkod har vi AWS-produktteam som arbetar med att integrera Jupyter med produkter som Amazon SageMaker.

Idag på JupyterCon är vi glada över att kunna presentera flera nya verktyg för Jupyter-användare för att förbättra deras upplevelse och öka utvecklingsproduktiviteten. Alla dessa verktyg är öppen källkod och kan användas var som helst där du kör Jupyter.

Vi introducerar två generativa AI-tillägg för Jupyter

Generativ AI kan avsevärt öka produktiviteten för datavetare och utvecklare när de skriver kod. Idag tillkännager vi två Jupyter-tillägg som ger generativ AI till Jupyter-användare genom ett chatt-gränssnitt, IPython-magiska kommandon och autokomplettering. Dessa tillägg gör att du kan utföra ett brett utbud av utvecklingsuppgifter med hjälp av generativa AI-modeller i JupyterLab och Jupyter bärbara datorer.

Jupyter AI, ett projekt med öppen källkod för att föra generativ AI till Jupyters bärbara datorer

Genom att använda kraften i stora språkmodeller som ChatGPT, AI21s Jurassic-2 och (kommer snart) Amazon Titan, Jupyter AI är ett projekt med öppen källkod som ger generativa AI-funktioner till Jupyters bärbara datorer. Till exempel, med hjälp av en stor språkmodell kan Jupyter AI hjälpa en programmerare att generera, felsöka och förklara sin källkod. Jupyter AI kan också svara på frågor om lokala filer och generera hela anteckningsböcker från en enkel naturlig språkprompt. Jupyter AI erbjuder både magiska kommandon som fungerar i alla notebook- eller IPython-skal och ett vänligt chatt-gränssnitt i JupyterLab. Båda dessa erfarenheter fungerar med dussintals modeller från ett brett utbud av modellleverantörer. JupyterLab-användare kan välja vilken text eller anteckningsbok som helst, ange en uppmaning på naturligt språk för att utföra en uppgift med valet och sedan infoga det AI-genererade svaret var de än vill. Jupyter AI är integrerat med Jupyters MIME-typsystem, vilket låter dig arbeta med ingångar och utgångar av vilken typ som helst som Jupyter stöder (text, bilder, etc.). Jupyter AI tillhandahåller också integrationspunkter som låter tredje part konfigurera sina egna modeller. Jupyter AI är ett officiellt projekt med öppen källkod från Project Jupyter.

Amazon CodeWhisperer Jupyter förlängning

Autokomplettering är grundläggande för utvecklare och generativ AI kan avsevärt förbättra upplevelsen av kodförslag. Det är därför vi meddelade den allmänna tillgängligheten av Amazon Code Whisperer tidigare 2023. CodeWhisperer är en AI-kodningskompanjon som använder grundmodeller under huven för att radikalt förbättra utvecklarens produktivitet. Detta fungerar genom att generera kodförslag i realtid baserat på utvecklarnas kommentarer på naturligt språk och tidigare kod i deras integrerade utvecklingsmiljö (IDE).

Idag är vi glada att kunna meddela att JupyterLab-användare kan installera och använda tillägget CodeWhisperer gratis för att generera kodförslag i realtid, en rad eller fullfunktion för Python-anteckningsböcker i JupyterLab och Amazon SageMaker Studio. Med CodeWhisperer kan du skriva en kommentar på naturligt språk som beskriver en specifik uppgift på engelska, till exempel "Skapa en pandas dataram med en CSV-fil." Baserat på denna information rekommenderar CodeWhisperer ett eller flera kodavsnitt direkt i anteckningsboken som kan utföra uppgiften. Du kan snabbt och enkelt acceptera toppförslaget, se fler förslag eller fortsätta skriva din egen kod.

Under sin förhandsvisning visade CodeWhisperer att det är utmärkt att generera kod för att påskynda kodningsuppgifter, vilket hjälper utvecklare att slutföra uppgifter i genomsnitt 57 % snabbare. Dessutom hade utvecklare som använde CodeWhisperer 27 % större sannolikhet att slutföra en kodningsuppgift framgångsrikt än de som inte gjorde det. Detta är ett stort steg framåt när det gäller utvecklarproduktivitet. CodeWhisperer inkluderar också en inbyggd referensspårare som upptäcker om ett kodförslag kan likna träningsdata med öppen källkod och kan flagga sådana förslag.

Vi introducerar nya Jupyter-tillägg för att bygga, träna och distribuera ML i stor skala

Vårt uppdrag på AWS är att demokratisera tillgången till ML över branscher. För att uppnå detta mål, från och med 2017, lanserade vi Amazon SageMaker notebook-instans— en helt hanterad datorinstans som kör Jupyter som inkluderar alla populära datavetenskapliga och ML-paket. Under 2019 tog vi ett betydande steg framåt med lanseringen av SageMaker Studio, en IDE för ML byggd ovanpå JupyterLab som gör att du kan bygga, träna, ställa in, felsöka, distribuera och övervaka modeller från en enda applikation. Tiotusentals kunder använder Studio för att ge datavetenskapsteam av alla storlekar. Under 2021 utökade vi ytterligare fördelarna med SageMaker till gemenskapen av miljontals Jupyter-användare genom att lansera Amazon SageMaker Studio Lab—en gratis anteckningsboktjänst, återigen baserad på JupyterLab, som inkluderar gratis beräkning och beständig lagring.

Idag är vi glada över att kunna presentera tre nya funktioner som hjälper dig att skala ML-utveckling snabbare.

Anteckningsböcker schemaläggning

Under 2022 släppte vi en ny funktion för att göra det möjligt för våra kunder köra anteckningsböcker som schemalagda jobb i SageMaker Studio och Studio Lab. Tack vare denna förmåga har många av våra kunder sparat tid genom att inte behöva manuellt konfigurera komplex molninfrastruktur för att skala sina ML-arbetsflöden.

Vi är glada att kunna meddela att schemaläggningsverktyget för bärbara datorer är nu en Jupyter-tillägg med öppen källkod som tillåter JupyterLab-användare att köra och schemalägga anteckningsböcker på SageMaker var som helst där JupyterLab körs. Användare kan välja en bärbar dator och automatisera den som ett jobb som körs i en produktionsmiljö via ett enkelt men kraftfullt användargränssnitt. När en anteckningsbok har valts tar verktyget en ögonblicksbild av hela anteckningsboken, paketerar dess beroenden i en behållare, bygger infrastrukturen, kör anteckningsboken som ett automatiserat jobb enligt ett schema som ställts in av användaren och tar bort infrastrukturen när jobbet har slutförts. Detta minskar tiden det tar att flytta en bärbar dator till produktion från veckor till timmar.

SageMaker distribution med öppen källkod

Datavetare och utvecklare vill börja utveckla ML-applikationer snabbt, och det kan vara komplicerat att installera de ömsesidigt kompatibla versionerna av alla nödvändiga paket. För att ta bort det manuella arbetet och förbättra produktiviteten är vi glada att meddela en ny distribution med öppen källkod som inkluderar de mest populära paketen för ML, datavetenskap och datavisualisering. Denna distribution inkluderar ramverk för djupinlärning som PyTorch, TensorFlow och Keras; populära Python-paket som NumPy, scikit-learn och pandor; och IDE:er som JupyterLab och Jupyter Notebook. Distributionen är versionerad med SemVer och kommer att släppas regelbundet framöver. Behållaren finns tillgänglig via Amazon ECR Public Gallery, och dess källkod är tillgänglig på GitHub. Detta ger företag insyn i paketen och byggprocessen, vilket gör det lättare för dem att reproducera, anpassa eller omcertifiera distributionen. Basbilden kommer med pip och Conda/Mamba, så att datavetare snabbt kan installera ytterligare paket för att möta deras specifika behov.

Amazon CodeGuru Jupyter förlängning

Amazon CodeGuru Säkerhet stöder nu säkerhets- och kodkvalitetsskanningar i JupyterLab och SageMaker Studio. Denna nya funktion hjälper bärbara datoranvändare att upptäcka säkerhetsbrister såsom injektionsbrister, dataläckor, svag kryptografi eller saknad kryptering i bärbara celler. Du kan också upptäcka många vanliga problem som påverkar läsbarheten, reproducerbarheten och korrektheten hos beräkningsbara anteckningsböcker, såsom missbruk av ML-biblioteks API:er, ogiltig körordning och obestämdhet. När sårbarheter eller kvalitetsproblem identifieras i notebook-datorn genererar CodeGuru rekommendationer som gör att du kan åtgärda dessa problem baserat på AWS-säkerhetspraxis.

Slutsats

Vi är glada över att se hur Jupyter-communityt kommer att använda dessa verktyg för att skala utveckling, öka produktiviteten och dra fördel av generativ AI för att förändra sina industrier. Kolla in följande resurser för att lära dig mer om Jupyter på AWS och hur du installerar och kommer igång med dessa nya verktyg:

Om författaren

Brian Granger är ledare för Python-projektet, medgrundare av Project Jupyter och en aktiv bidragsgivare till ett antal andra projekt med öppen källkod fokuserade på datavetenskap i Python. 2016 var han med och skapade Altair-paketet för statistisk visualisering i Python. Han är en rådgivande styrelsemedlem i NumFOCUS Foundation, en fakultetsstipendiat vid Cal Poly Center for Innovation and Entrepreneurship och Sr. Principal Technologist vid AWS.

Tidsstämpel:

Mer från AWS maskininlärning