Napoved novih prispevkov Jupyter s strani AWS za demokratizacijo generativne umetne inteligence in povečanje delovnih obremenitev ML | Spletne storitve Amazon

Projekt Jupyter je odprtokodni projekt z več deležniki, ki gradi aplikacije, odprte standarde in orodja za podatkovno znanost, strojno učenje (ML) in računalniško znanost. Jupyter Notebook, ki je bil prvič izdan leta 2011, je postal de facto standardno orodje, ki ga uporabljajo milijoni uporabnikov po vsem svetu v vseh možnih akademskih, raziskovalnih in industrijskih sektorjih. Jupyter uporabnikom omogoča interaktivno delo s kodo in podatki ter izgradnjo in skupno rabo računalniških pripovedi, ki zagotavljajo popoln in ponovljiv zapis njihovega dela.

Glede na pomen Jupyterja za podatkovne znanstvenike in razvijalce ML je AWS aktivni sponzor in prispeva k projektu Jupyter. Naš cilj je delovati v odprtokodni skupnosti, da bi Jupyterju pomagali postati najboljša možna platforma za prenosnike za podatkovno znanost in strojno učenje. AWS je platinasti sponzor projekta Jupyter prek fundacije NumFOCUS, zato sem ponosen in počaščen, da vodim predano ekipo inženirjev AWS, ki prispevajo k programski opremi Jupyter ter sodelujejo v skupnosti in upravljanju Jupyter. Naši odprtokodni prispevki k Jupyterju vključujejo podprojekte JupyterLab, Jupyter Server in Jupyter Notebook. Smo tudi člani delovnih skupin Jupyter za varnost in raznolikost, pravičnost in vključenost (DEI). Vzporedno s temi odprtokodnimi prispevki imamo skupine izdelkov AWS, ki si prizadevajo integrirati Jupyter z izdelki, kot je Amazon SageMaker.

Danes na JupyterConu z veseljem napovedujemo več novih orodij za uporabnike Jupyterja za izboljšanje njihove izkušnje in povečanje razvojne produktivnosti. Vsa ta orodja so odprtokodna in jih je mogoče uporabiti povsod, kjer uporabljate Jupyter.

Predstavljamo dve generativni razširitvi AI za Jupyter

Generativni AI lahko znatno poveča produktivnost podatkovnih znanstvenikov in razvijalcev, ko pišejo kodo. Danes najavljamo dve razširitvi Jupyter, ki uporabnikom Jupyter prinašata generativni AI prek uporabniškega vmesnika za klepet, čarobnih ukazov IPython in samodokončanja. Te razširitve vam omogočajo izvajanje širokega nabora razvojnih nalog z uporabo generativnih modelov AI v JupyterLab in prenosnikih Jupyter.

Jupyter AI, odprtokodni projekt za prenos generativne umetne inteligence v prenosnike Jupyter

Z uporabo moči velikih jezikovnih modelov, kot so ChatGPT, Jurassic-21 AI2 in (kmalu) Amazon Titan, Jupiter AI je odprtokodni projekt, ki prinaša generativne funkcije umetne inteligence v prenosnike Jupyter. Na primer, z uporabo velikega jezikovnega modela lahko Jupyter AI programerju pomaga pri ustvarjanju, odpravljanju napak in razlagi izvorne kode. Jupyter AI lahko odgovori tudi na vprašanja o lokalnih datotekah in ustvari celotne zvezke iz preprostega poziva v naravnem jeziku. Jupyter AI ponuja čarobne ukaze, ki delujejo v katerem koli prenosnem računalniku ali lupini IPython, in prijazen uporabniški vmesnik za klepet v JupyterLab. Obe izkušnji delujeta z desetinami modelov širokega spektra ponudnikov modelov. Uporabniki JupyterLaba lahko izberejo poljubno besedilo ali celice zvezka, vnesejo poziv v naravnem jeziku, da izvedejo opravilo z izbiro, in nato vstavijo odgovor, ki ga ustvari umetna inteligenca, kamor koli se odločijo. Jupyter AI je integriran z Jupyterjevim sistemom tipov MIME, ki vam omogoča delo z vhodi in izhodi katere koli vrste, ki jih Jupyter podpira (besedilo, slike itd.). Jupyter AI ponuja tudi integracijske točke, ki tretjim osebam omogočajo konfiguracijo lastnih modelov. Jupyter AI je uradni odprtokodni projekt projekta Jupyter.

Razširitev Amazon CodeWhisperer Jupyter

Samodokončanje je temelj za razvijalce in generativni AI lahko znatno izboljša izkušnjo predlaganja kode. Zato smo objavili splošno dostopnost Amazon Code Whisperer earlier in 2023. CodeWhisperer is an AI coding companion that uses foundational models under the hood to radically improve developer productivity. This works by generating code suggestions in real time based on developers’ comments in natural language and prior code in their integrated development environment (IDE).

Danes z veseljem sporočamo, da lahko uporabniki JupyterLaba brezplačno namestijo in uporabljajo razširitev CodeWhisperer za ustvarjanje sprotnih, enovrstičnih ali polnofunkcionalnih predlogov kode za prenosnike Python v JupyterLab in Amazon SageMaker Studio. S programom CodeWhisperer lahko v naravnem jeziku napišete komentar, ki opisuje določeno nalogo v angleščini, na primer »Ustvarite podatkovni okvir pande z datoteko CSV«. Na podlagi teh informacij CodeWhisperer priporoča enega ali več odrezkov kode neposredno v zvezku, ki lahko opravijo nalogo. Hitro in preprosto lahko sprejmete zgornji predlog, si ogledate več predlogov ali nadaljujete s pisanjem lastne kode.

Med predogledom je CodeWhisperer dokazal, da je odličen pri generiranju kode za pospešitev opravil kodiranja, saj razvijalcem pomaga dokončati naloge v povprečju 57 % hitreje. Poleg tega je bilo pri razvijalcih, ki so uporabljali CodeWhisperer, 27 % večja verjetnost, da bodo uspešno opravili nalogo kodiranja, kot pri tistih, ki tega niso storili. To je velik korak naprej v produktivnosti razvijalcev. CodeWhisperer vključuje tudi vgrajen referenčni sledilnik, ki zazna, ali je predlog kode morda podoben odprtokodnim podatkom o usposabljanju, in lahko takšne predloge označi z zastavico.

Predstavljamo nove razširitve Jupyter za gradnjo, usposabljanje in uvajanje ML v velikem obsegu

Naše poslanstvo pri AWS je demokratizirati dostop do strojnega upravljanja v različnih panogah. Za dosego tega cilja smo od leta 2017 lansirali Primerek prenosnega računalnika Amazon SageMaker—popolnoma upravljana računalniška instanca, ki poganja Jupyter, ki vključuje vse priljubljene podatkovne znanosti in pakete ML. Leta 2019 smo naredili pomemben korak naprej z uvedbo SageMaker Studio, IDE za ML, zgrajeno na JupyterLab, ki vam omogoča gradnjo, usposabljanje, prilagajanje, odpravljanje napak, uvajanje in spremljanje modelov iz ene same aplikacije. Več deset tisoč strank uporablja Studio za opolnomočenje skupin za podatkovno znanost vseh velikosti. Leta 2021 smo še dodatno razširili prednosti SageMakerja na skupnost milijonov uporabnikov Jupyter z uvedbo Amazon SageMaker Studio Lab—brezplačna storitev za prenosnike, ki spet temelji na JupyterLab, ki vključuje brezplačno računanje in trajno shranjevanje.

Danes z veseljem predstavljamo tri nove zmožnosti, ki vam bodo pomagale pri hitrejšem razvoju ML.

Razporejanje zvezkov

Leta 2022 smo izdali novo zmogljivost, ki našim strankam omogoča izvajajte zvezke kot načrtovana opravila v SageMaker Studio in Studio Lab. Zahvaljujoč tej zmožnosti je veliko naših strank prihranilo čas, saj jim ni bilo treba ročno nastavljati kompleksne infrastrukture v oblaku za prilagajanje delovnih tokov ML.

Z veseljem sporočamo, da je zdaj na voljo orodje za razporejanje zvezkov odprtokodna razširitev Jupyter ki uporabnikom JupyterLaba omogoča zagon in razporejanje zvezkov v SageMakerju kjer koli se izvaja JupyterLab. Uporabniki lahko izberejo prenosni računalnik in ga avtomatizirajo kot opravilo, ki se izvaja v proizvodnem okolju prek preprostega, a zmogljivega uporabniškega vmesnika. Ko je prenosni računalnik izbran, orodje naredi posnetek celotnega prenosnega računalnika, zapakira njegove odvisnosti v vsebnik, zgradi infrastrukturo, zažene prenosni računalnik kot avtomatsko opravilo po urniku, ki ga določi uporabnik, in razveljavi infrastrukturo po zaključku opravila. To skrajša čas, potreben za prenos prenosnega računalnika v proizvodnjo, s tednov na ure.

Odprtokodna distribucija SageMaker

Podatkovni znanstveniki in razvijalci želijo hitro začeti razvijati aplikacije ML, namestitev medsebojno združljivih različic vseh potrebnih paketov pa je lahko zapletena. Da bi odstranili ročno delo in izboljšali produktivnost, z veseljem sporočamo nova odprtokodna distribucija ki vključuje najbolj priljubljene pakete za ML, podatkovno znanost in vizualizacijo podatkov. Ta distribucija vključuje okvire globokega učenja, kot so PyTorch, TensorFlow in Keras; priljubljeni paketi Python, kot so NumPy, scikit-learn in pandas; in IDE, kot sta JupyterLab in Jupyter Notebook. Distribucija ima različico z uporabo SemVer in bo v prihodnje izhajala redno. Posoda je na voljo preko Javna galerija Amazon ECR, njegova izvorna koda pa je na voljo na GitHubu. To podjetjem zagotavlja preglednost paketov in postopka gradnje, s čimer jim olajša reprodukcijo, prilagajanje ali ponovno certificiranje distribucije. Osnovna slika je opremljena s pip in Conda/Mamba, tako da lahko podatkovni znanstveniki hitro namestijo dodatne pakete za izpolnitev svojih posebnih potreb.

Razširitev Amazon CodeGuru Jupyter

Amazon CodeGuru Varnost zdaj podpira skeniranje varnosti in kakovosti kode v JupyterLab in SageMaker Studio. Ta nova zmožnost pomaga uporabnikom prenosnikov pri odkrivanju varnostnih ranljivosti, kot so napake pri vstavljanju, uhajanje podatkov, šibka kriptografija ali manjkajoče šifriranje v celicah prenosnika. Odkrijete lahko tudi veliko pogostih težav, ki vplivajo na berljivost, ponovljivost in pravilnost računalniških zvezkov, kot je zloraba API-jev knjižnice ML, neveljaven vrstni red izvajanja in nedeterminizem. Ko se v zvezku odkrijejo ranljivosti ali težave s kakovostjo, CodeGuru ustvari priporočila, ki vam omogočajo, da te težave odpravite na podlagi najboljših praks glede varnosti AWS.

zaključek

Navdušeni smo, da vidimo, kako bo skupnost Jupyter uporabila ta orodja za povečanje razvoja, povečanje produktivnosti in izkoriščanje prednosti generativne umetne inteligence za preoblikovanje svojih industrij. Oglejte si naslednje vire, če želite izvedeti več o Jupyterju na AWS in o tem, kako namestiti in začeti uporabljati ta nova orodja:

---

O Author

Brian Granger je vodja projekta Python, soustanovitelj projekta Jupyter in aktiven sodelavec številnih drugih odprtokodnih projektov, osredotočenih na podatkovno znanost v Pythonu. Leta 2016 je soustvarjal paket Altair za statistično vizualizacijo v Pythonu. Je član svetovalnega odbora fundacije NumFOCUS, fakultetni sodelavec Centra za inovacije in podjetništvo Cal Poly in višji glavni tehnolog pri AWS.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
• Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
• Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/