Anunțarea noilor contribuții Jupyter ale AWS pentru democratizarea AI generativă și scalarea sarcinilor de lucru ML | Amazon Web Services

Proiectul Jupyter este un proiect open-source cu mai multe părți interesate, care creează aplicații, standarde deschise și instrumente pentru știința datelor, învățarea automată (ML) și știința computațională. Notebook-ul Jupyter, lansat pentru prima dată în 2011, a devenit un instrument standard de facto folosit de milioane de utilizatori din întreaga lume în toate sectoarele academice, de cercetare și industriale posibile. Jupyter permite utilizatorilor să lucreze cu codul și datele în mod interactiv și să construiască și să partajeze narațiuni computaționale care oferă o înregistrare completă și reproductibilă a muncii lor.

Având în vedere importanța Jupyter pentru oamenii de știință de date și dezvoltatorii ML, AWS este un sponsor activ și un contribuitor la Proiectul Jupyter. Scopul nostru este să lucrăm în comunitatea open-source pentru a ajuta Jupyter să devină cea mai bună platformă de notebook-uri posibilă pentru știința datelor și ML. AWS este un sponsor de platină al Proiectului Jupyter prin intermediul Fundației NumFOCUS și sunt mândru și onorat să conduc o echipă dedicată de ingineri AWS care contribuie la software-ul Jupyter și participă la comunitatea și guvernanța Jupyter. Contribuțiile noastre open-source la Jupyter includ JupyterLab, Jupyter Server și subproiectele Jupyter Notebook. De asemenea, suntem membri ai grupurilor de lucru Jupyter pentru securitate și diversitate, echitate și incluziune (DEI). În paralel cu aceste contribuții open-source, avem echipe de produse AWS care lucrează pentru a integra Jupyter cu produse precum Amazon SageMaker.

Astăzi, la JupyterCon, suntem încântați să anunțăm câteva instrumente noi pentru utilizatorii Jupyter, pentru a-și îmbunătăți experiența și pentru a crește productivitatea dezvoltării. Toate aceste instrumente sunt open-source și pot fi folosite oriunde rulați Jupyter.

Vă prezentăm două extensii AI generative pentru Jupyter

AI generativă poate crește semnificativ productivitatea oamenilor de știință de date și a dezvoltatorilor în timp ce scriu cod. Astăzi, anunțăm două extensii Jupyter care aduc AI generativă utilizatorilor Jupyter printr-o interfață de utilizare de chat, comenzi magice IPython și completare automată. Aceste extensii vă permit să efectuați o gamă largă de sarcini de dezvoltare folosind modele AI generative în notebook-urile JupyterLab și Jupyter.

Jupyter AI, un proiect open-source pentru a aduce AI generativă la notebook-urile Jupyter

Folosind puterea modelelor de limbaj mari precum ChatGPT, Jurassic-21 de la AI2 și (în curând) Amazon Titan, Jupyter AI este un proiect open-source care aduce caracteristici AI generative pentru notebook-urile Jupyter. De exemplu, folosind un model de limbaj mare, Jupyter AI poate ajuta un programator să genereze, să depaneze și să explice codul sursă. Jupyter AI poate, de asemenea, să răspundă la întrebări despre fișierele locale și să genereze notebook-uri întregi dintr-un mesaj simplu în limbaj natural. Jupyter AI oferă atât comenzi magice care funcționează în orice notebook sau shell IPython, cât și o interfață de chat prietenoasă în JupyterLab. Ambele experiențe funcționează cu zeci de modele de la o gamă largă de furnizori de modele. Utilizatorii JupyterLab pot selecta orice celule de text sau blocnotes, pot introduce o solicitare în limbaj natural pentru a efectua o sarcină cu selecția și apoi pot introduce răspunsul generat de AI oriunde doresc. Jupyter AI este integrat cu sistemul de tip MIME al lui Jupyter, care vă permite să lucrați cu intrări și ieșiri de orice tip acceptat de Jupyter (text, imagini etc.). Jupyter AI oferă, de asemenea, puncte de integrare care permit terților să-și configureze propriile modele. Jupyter AI este un proiect oficial open-source al Proiectului Jupyter.

Extensia Amazon CodeWhisperer Jupyter

Completarea automată este fundamentală pentru dezvoltatori, iar AI generativă poate îmbunătăți semnificativ experiența de sugestie de cod. De aceea am anunțat disponibilitatea generală a Amazon Code Whisperer mai devreme în 2023. CodeWhisperer este un însoțitor de codare AI care utilizează modele de bază sub capotă pentru a îmbunătăți radical productivitatea dezvoltatorilor. Acest lucru funcționează prin generarea de sugestii de cod în timp real, bazate pe comentariile dezvoltatorilor în limbaj natural și codul anterior în mediul lor de dezvoltare integrat (IDE).

Astăzi, suntem încântați să anunțăm că utilizatorii JupyterLab pot instala și utiliza gratuit extensia CodeWhisperer pentru a genera sugestii de cod în timp real, cu o singură linie sau cu funcții complete pentru notebook-urile Python în JupyterLab și Amazon SageMaker Studio. Cu CodeWhisperer, puteți scrie un comentariu în limbaj natural care descrie o anumită sarcină în limba engleză, cum ar fi „Creați un cadru de date panda folosind un fișier CSV”. Pe baza acestor informații, CodeWhisperer recomandă unul sau mai multe fragmente de cod direct în blocnotes care pot îndeplini sarcina. Puteți accepta rapid și ușor sugestia de top, puteți vedea mai multe sugestii sau puteți continua să scrieți propriul cod.

În timpul previzualizării sale, CodeWhisperer a dovedit că este excelent în generarea de cod pentru a accelera sarcinile de codare, ajutând dezvoltatorii să finalizeze sarcinile în medie cu 57% mai rapid. În plus, dezvoltatorii care au folosit CodeWhisperer au avut 27% mai multe șanse de a finaliza cu succes o sarcină de codare decât cei care nu au făcut-o. Acesta este un salt uriaș înainte în productivitatea dezvoltatorilor. CodeWhisperer include, de asemenea, un instrument de urmărire a referințelor încorporat care detectează dacă o sugestie de cod ar putea semăna cu datele de antrenament open-source și poate semnala astfel de sugestii.

Prezentăm noi extensii Jupyter pentru a construi, antrena și implementa ML la scară

Misiunea noastră la AWS este de a democratiza accesul la ML în toate industriile. Pentru atingerea acestui obiectiv, începând din 2017, am lansat Instanță de notebook Amazon SageMaker—o instanță de calcul complet gestionată care rulează Jupyter care include toate pachetele populare de știință a datelor și ML. În 2019, am făcut un salt înainte semnificativ cu lansarea SageMaker Studio, un IDE pentru ML construit pe JupyterLab, care vă permite să construiți, antrenați, reglați, depanați, implementați și monitorizați modele dintr-o singură aplicație. Zeci de mii de clienți folosesc Studio pentru a da putere echipelor de știință a datelor de toate dimensiunile. În 2021, am extins și mai mult beneficiile SageMaker către comunitatea a milioane de utilizatori Jupyter prin lansarea Amazon SageMaker Studio Lab—un serviciu de notebook gratuit, din nou bazat pe JupyterLab, care include calcul gratuit și stocare persistentă.

Astăzi, suntem încântați să anunțăm trei noi capabilități care vă vor ajuta să scalați mai rapid dezvoltarea ML.

Programarea caietelor

În 2022, am lansat o nouă capacitate pentru a le permite clienților noștri rulați notebook-uri ca lucrări programate în SageMaker Studio și Studio Lab. Datorită acestei capacități, mulți dintre clienții noștri au economisit timp, nefiind nevoiți să configureze manual o infrastructură cloud complexă pentru a-și scala fluxurile de lucru ML.

Suntem încântați să anunțăm că instrumentul de planificare a notebook-urilor este acum o extensie Jupyter open-source care permite utilizatorilor JupyterLab să ruleze și să programeze notebook-uri pe SageMaker oriunde rulează JupyterLab. Utilizatorii pot selecta un notebook și îl pot automatiza ca o lucrare care rulează într-un mediu de producție printr-o interfață de utilizator simplă, dar puternică. După ce este selectat un blocnotes, instrumentul realizează o captură a întregului blocnotes, împachetează dependențele acestuia într-un container, construiește infrastructura, rulează blocnotesul ca o lucrare automată conform unui program stabilit de utilizator și deprovisionează infrastructura la finalizarea lucrării. Acest lucru reduce timpul necesar pentru a muta un notebook la producție de la săptămâni la ore.

Distribuție open-source SageMaker

Oamenii de știință de date și dezvoltatorii doresc să înceapă să dezvolte aplicații ML rapid și poate fi complex să instalezi versiunile compatibile reciproc ale tuturor pachetelor necesare. Pentru a elimina munca manuală și pentru a îmbunătăți productivitatea, suntem încântați să vă anunțăm o nouă distribuție open-source care include cele mai populare pachete pentru ML, știința datelor și vizualizarea datelor. Această distribuție include cadre de învățare profundă precum PyTorch, TensorFlow și Keras; pachete populare Python precum NumPy, scikit-learn și panda; și IDE-uri precum JupyterLab și Jupyter Notebook. Distribuția este versiunea folosind SemVer și va fi lansată în mod regulat în continuare. Containerul este disponibil prin Galeria publică Amazon ECR, iar codul său sursă este disponibil pe GitHub. Acest lucru oferă întreprinderilor transparență în pachetele și procesul de construire, facilitând astfel reproducerea, personalizarea sau recertificarea distribuției. Imaginea de bază vine cu pip și Conda/Mamba, astfel încât oamenii de știință de date pot instala rapid pachete suplimentare pentru a satisface nevoile lor specifice.

Extensia Amazon CodeGuru Jupyter

Amazon CodeGuru Securitatea acceptă acum scanări de securitate și calitate a codului în JupyterLab și SageMaker Studio. Această nouă capacitate ajută utilizatorii de notebook-uri să detecteze vulnerabilități de securitate, cum ar fi defecte de injectare, scurgeri de date, criptare slabă sau lipsa de criptare în celulele notebook-ului. De asemenea, puteți detecta multe probleme obișnuite care afectează lizibilitatea, reproductibilitatea și corectitudinea notebook-urilor de calcul, cum ar fi utilizarea greșită a API-urilor bibliotecii ML, ordinea de rulare nevalidă și nondeterminismul. Când vulnerabilitățile sau problemele de calitate sunt identificate în notebook, CodeGuru generează recomandări care vă permit să remediați aceste probleme pe baza celor mai bune practici de securitate AWS.

Concluzie

Suntem încântați să vedem cum comunitatea Jupyter va folosi aceste instrumente pentru a extinde dezvoltarea, a crește productivitatea și a profita de AI generativă pentru a-și transforma industriile. Consultați următoarele resurse pentru a afla mai multe despre Jupyter pe AWS și despre cum să instalați și să începeți cu aceste noi instrumente:

---

Despre autor

Brian Granger este un lider al proiectului Python, co-fondator al Proiectului Jupyter și un colaborator activ la o serie de alte proiecte open-source axate pe știința datelor în Python. În 2016, a co-creat pachetul Altair pentru vizualizarea statistică în Python. El este membru al consiliului consultativ al Fundației NumFOCUS, membru al Facultății al Centrului Cal Poly pentru Inovare și Antreprenoriat și Tehnolog Principal Sr. la AWS.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
• Mintând viitorul cu Adryenn Ashley. Accesați Aici.
• Cumpărați și vindeți acțiuni în companii PRE-IPO cu PREIPO®. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/