AWSi uute Jupyteri panuste väljakuulutamine generatiivse tehisintellekti demokratiseerimiseks ja ML töökoormuse suurendamiseks | Amazoni veebiteenused

Projekt Jupyter on avatud lähtekoodiga projekt, mis hõlmab paljusid sidusrühmi, mis loob rakendusi, avatud standardeid ja tööriistu andmeteaduse, masinõppe (ML) ja arvutusteaduse jaoks. 2011. aastal esmakordselt välja antud Jupyteri sülearvutist on saanud de facto standardtööriist, mida kasutavad miljonid kasutajad kogu maailmas kõigis võimalikes akadeemilistes, teadus- ja tööstussektorites. Jupyter võimaldab kasutajatel koodi ja andmetega interaktiivselt töötada ning koostada ja jagada arvutuslikke narratiive, mis annavad täieliku ja reprodutseeritava ülevaate nende tööst.

Arvestades Jupyteri tähtsust andmeteadlaste ja ML-i arendajate jaoks, on AWS projekti Jupyter aktiivne sponsor ja panustaja. Meie eesmärk on töötada avatud lähtekoodiga kogukonnas, et aidata Jupyteril olla andmeteaduse ja ML-i jaoks parim võimalik sülearvutiplatvorm. AWS on projekti Jupyter plaatina sponsor NumFOCUS Foundationi kaudu ning mul on uhkus ja au juhtida pühendunud AWS-i inseneride meeskonda, kes panustavad Jupyteri tarkvarasse ning osalevad Jupyteri kogukonnas ja juhtimises. Meie avatud lähtekoodiga panused Jupyterisse hõlmavad JupyterLabi, Jupyter Serverit ja Jupyteri sülearvuti alamprojekte. Oleme ka Jupyteri turvalisuse ning mitmekesisuse, võrdsuse ja kaasatuse (DEI) töörühmade liikmed. Paralleelselt avatud lähtekoodiga panustele on meil AWS-i tootemeeskonnad, kes töötavad selle nimel, et integreerida Jupyter selliste toodetega nagu Amazon SageMaker.

Meil on täna JupyterConil hea meel teatada mitmetest uutest tööriistadest Jupyteri kasutajatele, et parandada nende kogemust ja suurendada arendustöö tootlikkust. Kõik need tööriistad on avatud lähtekoodiga ja neid saab kasutada kõikjal, kus Jupyter töötab.

Tutvustame Jupyteri kahte generatiivset AI laiendust

Generatiivne tehisintellekt võib koodi kirjutamisel märkimisväärselt tõsta andmeteadlaste ja arendajate tootlikkust. Täna kuulutame välja kaks Jupyteri laiendust, mis toovad Jupyteri kasutajatele generatiivse AI-i vestlusliidese, IPythoni võlukäskude ja automaatse täitmise kaudu. Need laiendused võimaldavad teil täita mitmesuguseid arendusülesandeid, kasutades generatiivseid AI mudeleid JupyterLabi ja Jupyteri sülearvutites.

Jupyter AI, avatud lähtekoodiga projekt generatiivse AI toomiseks Jupyteri sülearvutitesse

Kasutades suurte keelemudelite, nagu ChatGPT, AI21 Jurassic-2 ja (varsti) Amazon Titan, võimsust, Jupyter AI on avatud lähtekoodiga projekt, mis toob Jupyteri sülearvutitesse generatiivseid AI-funktsioone. Näiteks suurt keelemudelit kasutades võib Jupyter AI aidata programmeerijal lähtekoodi genereerida, siluda ja selgitada. Jupyter AI suudab vastata ka kohalike failide kohta käivatele küsimustele ja luua terveid märkmikke lihtsa loomuliku keele viipa alusel. Jupyter AI pakub nii maagilisi käske, mis töötavad mis tahes sülearvutis või IPythoni kestas, kui ka sõbralikku vestluse kasutajaliidest JupyterLabis. Mõlemad kogemused töötavad kümnete mudelitega paljudelt mudelipakkujatelt. JupyterLabi kasutajad saavad valida mis tahes teksti- või märkmiku lahtrid, sisestada valikuga ülesande täitmiseks loomuliku keele viipa ja seejärel sisestada tehisintellekti loodud vastuse kuhu iganes nad soovivad. Jupyter AI on integreeritud Jupyteri MIME tüüpi süsteemiga, mis võimaldab teil töötada mis tahes tüüpi sisendite ja väljunditega, mida Jupyter toetab (tekst, pildid jne). Jupyter AI pakub ka integratsioonipunkte, mis võimaldavad kolmandatel osapooltel oma mudeleid konfigureerida. Jupyter AI on Project Jupyteri ametlik avatud lähtekoodiga projekt.

Amazon CodeWhisperer Jupyteri laiendus

Automaatne täitmine on arendajate jaoks põhiline ja generatiivne AI võib koodi soovitamise kogemust märkimisväärselt täiustada. Seetõttu teatasime üldisest saadavusest Amazon Code Whisperer 2023. aasta alguses. CodeWhisperer on AI kodeerimise kaaslane, mis kasutab kapoti all olevaid põhimudeleid, et radikaalselt parandada arendaja tootlikkust. See toimib, genereerides reaalajas koodisoovitusi, mis põhinevad arendajate loomulikus keeles kommentaaridel ja integreeritud arenduskeskkonnas (IDE) varasemal koodil.

Meil on täna hea meel teatada, et JupyterLabi kasutajad saavad installida ja kasutada CodeWhispereri laiendust tasuta, et luua reaalajas, üherealisi või täisfunktsionaalseid koodisoovitusi Pythoni sülearvutite jaoks JupyterLabis ja Amazon SageMaker Studio. CodeWhispereri abil saate kirjutada loomulikus keeles kommentaari, mis kirjeldab konkreetset ingliskeelset ülesannet, näiteks "CSV-faili abil pandade andmeraami loomine". Selle teabe põhjal soovitab CodeWhisperer ühte või mitut koodilõiku otse sülearvutisse, mis suudavad ülesande täita. Saate kiiresti ja hõlpsalt vastu võtta parima soovituse, vaadata rohkem soovitusi või jätkata oma koodi kirjutamist.

Eelvaate ajal tõestas CodeWhisperer, et suudab suurepäraselt luua koodi, mis kiirendab kodeerimistoiminguid, aidates arendajatel ülesandeid keskmiselt 57% kiiremini täita. Lisaks oli CodeWhispereri kasutanud arendajatel 27% suurem tõenäosus kodeerimisülesande edukaks sooritamiseks kui neil, kes seda ei teinud. See on arendaja tootlikkuses suur samm edasi. CodeWhisperer sisaldab ka sisseehitatud viitejälgijat, mis tuvastab, kas koodisoovitus võib sarnaneda avatud lähtekoodiga treeningandmetega, ja saab sellised soovitused märgistada.

Tutvustame uusi Jupyteri laiendusi ML-i mastaapseks ehitamiseks, koolitamiseks ja juurutamiseks

Meie missioon AWS-is on demokratiseerida juurdepääs ML-ile kõigis tööstusharudes. Selle eesmärgi saavutamiseks käivitasime alates 2017. aastast Amazon SageMakeri sülearvuti eksemplar— täielikult hallatav arvutuseksemplar, milles töötab Jupyter ja mis sisaldab kõiki populaarseid andmeteaduse ja ML-pakette. 2019. aastal tegime olulise sammu edasi, käivitades SageMaker Studio – JupyterLabile ehitatud IDE ML-i jaoks, mis võimaldab teil luua, treenida, häälestada, siluda, juurutada ja jälgida mudeleid ühest rakendusest. Kümned tuhanded kliendid kasutavad Studiot igas suuruses andmeteaduse meeskondade volitamiseks. 2021. aastal laiendasime SageMakeri eeliseid miljonite Jupyteri kasutajate kogukonnale, käivitades Amazon SageMaker Studio Lab-tasuta sülearvutiteenus, mis põhineb taas JupyterLabil, mis sisaldab tasuta arvutusi ja püsivat salvestusruumi.

Täna on meil hea meel teatada kolmest uuest võimalusest, mis aitavad teil ML-i arendust kiiremini skaleerida.

Märkmike ajakava koostamine

2022. aastal andsime välja uue võimaluse, mis võimaldab meie klientidel seda teha käitage märkmikke SageMaker Studios ja Studio Labis plaanitud töödena. Tänu sellele võimalusele on paljud meie kliendid säästnud aega, kuna nad ei pea oma ML-töövoogude skaleerimiseks keerulist pilveinfrastruktuuri käsitsi seadistama.

Meil on hea meel teatada, et sülearvutite ajastamise tööriist on nüüd saadaval avatud lähtekoodiga Jupyteri laiendus mis võimaldab JupyterLabi kasutajatel SageMakeris märkmikke käitada ja ajastada kõikjal, kus JupyterLab töötab. Kasutajad saavad valida sülearvuti ja automatiseerida selle tööks, mis töötab tootmiskeskkonnas lihtsa, kuid võimsa kasutajaliidese kaudu. Pärast märkmiku valimist teeb tööriist kogu sülearvutist hetktõmmise, pakib selle sõltuvused konteinerisse, loob infrastruktuuri, käivitab sülearvuti automatiseeritud tööna kasutaja määratud ajakava järgi ja eraldab taristu töö lõpetamisel. See vähendab sülearvuti tootmisse viimiseks kuluvat aega nädalatelt tundideni.

SageMaker avatud lähtekoodiga levitamine

Andmeteadlased ja -arendajad tahavad ML-rakendusi kiiresti arendama hakata ning kõigi vajalike pakettide vastastikku ühilduvate versioonide installimine võib olla keeruline. Käsitöö eemaldamiseks ja tootlikkuse parandamiseks on meil hea meel teatada uus avatud lähtekoodiga distributsioon mis sisaldab kõige populaarsemaid ML-i, andmeteaduse ja andmete visualiseerimise pakette. See jaotus hõlmab süvaõppe raamistikke, nagu PyTorch, TensorFlow ja Keras; populaarsed Pythoni paketid, nagu NumPy, scikit-learn ja pandas; ja IDE-d nagu JupyterLab ja Jupyteri sülearvuti. Distributsiooni versiooniks kasutatakse SemVer ja see avaldatakse regulaarselt. Konteiner on saadaval aadressil Amazon ECR avalik galeriija selle lähtekood on saadaval GitHubis. See tagab ettevõtetele pakettide ja koostamisprotsessi läbipaistvuse, hõlbustades seeläbi levitamise reprodutseerimist, kohandamist või uuesti sertifitseerimist. Aluspildil on kaasas pip ja Conda/Mamba, et andmeteadlased saaksid oma konkreetsetele vajadustele vastavaid lisapakette kiiresti installida.

Amazon CodeGuru Jupyteri laiendus

Amazon CodeGuru Turvalisus toetab nüüd JupyterLabi ja SageMaker Studio turbe- ja koodikvaliteedi skannimist. See uus võimalus aitab sülearvuti kasutajatel tuvastada turvanõrkusi, nagu süstimisvead, andmelekked, nõrk krüptograafia või puuduv krüpteering sülearvuti lahtrites. Samuti saate tuvastada palju levinud probleeme, mis mõjutavad arvutuslike märkmike loetavust, reprodutseeritavust ja õigsust, nagu ML-teegi API-de väärkasutamine, kehtetu käitamisjärjekord ja ebamäärasus. Kui sülearvutis tuvastatakse haavatavused või kvaliteediprobleemid, koostab CodeGuru soovitused, mis võimaldavad teil need probleemid AWS-i turvalisuse parimate tavade põhjal lahendada.

Järeldus

Meil on hea meel näha, kuidas Jupyteri kogukond kasutab neid tööriistu arenduse suurendamiseks, tootlikkuse suurendamiseks ja generatiivse tehisintellekti ärakasutamiseks oma tööstuse ümberkujundamiseks. Jupyteri kohta AWS-is ning nende uute tööriistade installimise ja nendega alustamise kohta lisateabe saamiseks vaadake järgmisi ressursse.

---

Teave Autor

Brian Granger on Pythoni projekti juht, projekti Jupyter kaasasutaja ja aktiivne panustaja paljudes teistes Pythoni andmeteadusele keskendunud avatud lähtekoodiga projektides. 2016. aastal lõi ta Pythonis statistilise visualiseerimise paketi Altairi. Ta on NumFOCUS Foundationi nõuandva kogu liige, Cal Poly innovatsiooni- ja ettevõtluskeskuse õppejõud ning AWSi vanemtehnoloog.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
• Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
• Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/announcing-new-jupyter-contributions-by-aws-to-democratize-generative-ai-and-scale-ml-workloads/