Tietotutkijat suosivat Jupyter-kannettavia, koska ne pystyvät käsittelemään tietoja interaktiivisesti, rakentamaan ML-malleja ja testaamaan näitä malleja tekemällä johtopäätöksiä tiedoista. On kuitenkin skenaarioita, joissa datatutkijat saattavat mieluummin siirtyä kannettavien vuorovaikutteisesta kehityksestä erätöihin. Esimerkkejä tällaisista käyttötapauksista ovat ominaisuussuunnittelutyön laajentaminen, jota on aiemmin testattu pienellä näytetietojoukolla pienessä kannettavassa ilmentymässä, öisten raporttien suorittaminen liiketoiminnan mittareiden ymmärtämiseksi ja ML-mallien uudelleenkoulutus aikataulussa, kun uutta tietoa tulee saataville.
Siirtyminen muistikirjojen interaktiivisesta kehittämisestä erätöihin vaati koodinpätkien kopioimista muistikirjasta komentosarjaksi, komentosarjan ja sen riippuvuuksien pakkaamista säilöön ja säilön ajoittamiseen. Jotta voit suorittaa tämän työn toistuvasti aikataulussa, sinun oli määritettävä, määritettävä ja valvottava pilviinfrastruktuuria käyttöönottojen automatisoimiseksi, mikä johti siihen, että arvokasta aikaa siirrettiin pois ydintietotieteen kehittämistehtävistä.
Helpottaakseen siirtymistä interaktiivisista muistikirjoista erätöihin joulukuussa 2022 Amazon SageMaker Studio ja Studio Lab esitteli mahdollisuuden käyttää muistikirjoja ajoitettuina töinä käyttämällä muistikirjapohjaisia työnkulkuja. Voit nyt käyttää samaa ominaisuutta Jupyter-muistikirjojen käyttämiseen mistä tahansa JupyterLab-ympäristöstä, kuten Amazon Sage Maker muistikirjan esiintymät ja JupyterLab, joka on käynnissä paikallisella koneellasi. SageMaker tarjoaa avoimen lähdekoodin laajennuksen, joka voidaan asentaa mihin tahansa JupyterLab-ympäristöön ja jota voidaan käyttää muistikirjojen ajamiseen lyhytaikaisina töinä ja aikataulun mukaan.
Tässä viestissä näytämme, kuinka voit käyttää muistikirjojasi paikallisesta JupyterLab-ympäristöstäsi ajoitettuina muistikirjatöinä SageMakerissa.
Ratkaisun yleiskatsaus
Ratkaisuarkkitehtuuri muistikirjatöiden ajoittamiseen mistä tahansa JupyterLab-ympäristöstä on esitetty seuraavassa kaaviossa. SageMaker-laajennus odottaa, että JupyterLab-ympäristöllä on kelvolliset AWS-tunnisteet ja oikeudet ajoittaa muistikirjan töitä. Keskustelemme tunnistetietojen määrittämisen vaiheista ja AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttöoikeudet myöhemmin tässä viestissä. Sen lisäksi, että IAM-käyttäjä ja oletettu rooliistunto ajoittaa työn, sinun on myös annettava muistikirjan työesiintymälle rooli, jonka se voi käyttää tietojesi käyttöön Amazonin yksinkertainen tallennuspalvelu (Amazon S3) tai muodostaa yhteyden Amazonin EMR klustereita tarpeen mukaan.
Seuraavissa osioissa näytämme, kuinka määrität arkkitehtuurin ja asennat avoimen lähdekoodin laajennuksen, käytät muistikirjaa oletuskokoonpanoilla ja käytämme lisäparametreja kannettavan tietokoneen suorittamiseen mukautetuilla asetuksilla.
Edellytykset
Tässä viestissä oletamme paikallisesti isännöityä JupyterLab-ympäristöä. Voit seurata samoja asennusvaiheita myös pilvessä isännöidylle ympäristölle.
Seuraavissa vaiheissa oletetaan, että sinulla on jo kelvollinen Python 3- ja JupyterLab-ympäristö (tämä laajennus toimii JupyterLab v3.0:n tai uudemman kanssa).
Asenna AWS-komentoriviliitäntä (AWS CLI), jos sinulla ei ole sitä vielä asennettuna. Katso AWS CLI:n uusimman version asentaminen tai päivittäminen ohjeita.
Määritä IAM-tunnistetiedot
Tarvitset IAM-käyttäjän tai aktiivisen IAM-rooliistunnon lähettääksesi SageMaker-muistikirjatöitä. Voit määrittää IAM-tunnistetietosi määrittämällä AWS CLI:n IAM-käyttäjäsi AWS-tunnistetiedoillasi tai ottamalla IAM-roolin. Katso ohjeet kirjautumistietojen määrittämiseen kohdasta AWS CLI: n määrittäminen. IAM-päämies (käyttäjä tai oletettu rooli) tarvitsee seuraavat käyttöoikeudet muistikirjan töiden ajoittamiseen. Jos haluat lisätä käytännön päämieheesi, katso IAM-identiteettilupien lisääminen.
Jos muistikirjatyösi on salattava asiakashallituksella AWS-avainhallintapalvelu (AWS KMS) avaimet, lisää käytäntölauseke, joka mahdollistaa myös AWS KMS:n käytön. Katso esimerkkikäytännöt Asenna käytännöt ja käyttöoikeudet paikallisiin Jupyter-ympäristöihin.
Määritä IAM-rooli muistikirjan työesiintymälle
SageMaker vaatii IAM-roolin suorittaakseen töitä käyttäjän puolesta, kuten muistikirjan suorittamiseen. Tällä roolilla tulee olla pääsy resursseihin, joita kannettava tietokone tarvitsee työn suorittamiseen, kuten pääsy Amazon S3:n tietoihin.
Ajoituslaajennus etsii automaattisesti IAM-rooleja AWS-tililtä etuliitteellä SagemakerJupyterScheduler
suorittaaksesi muistikirjatöitä.
Luodaksesi IAM-roolin, luo suoritusrooli Amazon SageMakerille AmazonSageMakerFullAccess
käytäntö. Nimeä rooli SagemakerJupyterSchedulerDemo
tai anna nimi odotetulla etuliitteellä.
Kun rooli on luotu, Luotta suhteisiin välilehti, valitse Muokkaa luottamuskäytäntöä. Korvaa nykyinen luottamuskäytäntö seuraavalla:
- AmazonSageMakerFullAccess
käytäntö on melko salliva, ja sitä suositellaan yleensä kokeiluun ja SageMakerin käytön aloittamiseen. Suosittelemme, että luot vähimmäissuojatun käytännön kaikille tuleville työkuormille IAM:n parhaiden turvallisuuskäytäntöjen mukaisesti. Katso muistikirjan työlle vaadittavat vähimmäisoikeudet Asenna käytännöt ja käyttöoikeudet paikallisiin Jupyter-ympäristöihin.
Asenna laajennus
Avaa pääte paikallisella koneellasi ja asenna laajennus suorittamalla seuraava komento:
Kun tämä komento on suoritettu, voit käynnistää JupyterLabin suorittamalla jupyter lab.
Jos asennat laajennuksen JupyterLab-päätteestä, käynnistä Jupyter-palvelin uudelleen laajennuksen lataamiseksi. Voit käynnistää Jupyter-palvelimen uudelleen valitsemalla Sulkea på den filee -valikosta JupyterLabista ja käynnistä JupyterLab komentoriviltä suorittamalla jupyter lab
.
Lähetä muistikirjatyö
Kun laajennus on asennettu ympäristöösi, voit käyttää mitä tahansa itsenäistä muistikirjaa lyhytaikaisena työnä. Lähetetään yksinkertainen "Hei maailma" -muistikirja käytettäväksi ajoitettuna työnä.
- On filee valikosta, valitse Uusi ja muistikirja.
- Syötä seuraava sisältö:
Kun laajennus on asennettu onnistuneesti, muistikirjassa näkyy muistikirjan ajoituskuvake.
- Luo muistikirjatyö valitsemalla kuvake.
Vaihtoehtoisesti voit napsauttaa muistikirjaa hiiren kakkospainikkeella tiedostojenhallinnassa ja valita Luo muistikirjatyö.
- Anna työn nimi, syöttötiedosto, laskentatyyppi ja lisäparametrit.
- Jätä loput asetukset oletusarvoiksi ja valitse Luoda.
Kun työ on ajoitettu, sinut ohjataan osoitteeseen Muistikirjatyöt -välilehti, jossa voit tarkastella muistikirjan töiden luetteloa ja niiden tilaa sekä tarkastella muistikirjan tulosteita ja lokeja työn valmistumisen jälkeen. Voit myös käyttää tätä muistikirjan työikkunaa käynnistysohjelmasta, kuten seuraavassa kuvakaappauksessa näkyy.
Lisäasetukset
Paikallisella tietokoneellasi kannettavat tietokoneet käyttävät automaattisesti SageMaker Base Python -näköistiedostoa, joka on Docker Hubin virallinen Python 3.8 -kuva, jossa on Boto3 ja AWS CLI. Todellisissa tapauksissa datatieteilijöiden on asennettava tietyt paketit tai puitteet muistikirjoilleen. Toistettavan ympäristön saavuttamiseksi on kolme tapaa:
- Yksinkertaisimmalla vaihtoehdolla voit asentaa paketit ja puitteet suoraan muistikirjan ensimmäiseen soluun.
- Voit myös antaa alustuskomentosarjan Lisävaihtoehtoja -osio, joka osoittaa paikallisessa tallennustilassa olevaan bash-skriptiin, jota kannettavan tietokoneen työ suorittaa muistikirjan käynnistyessä. Seuraavassa osiossa näytämme esimerkin alustuskomentosarjojen käyttämisestä pakettien asentamiseen.
- Lopuksi, jos haluat maksimaalista joustavuutta ajoympäristön määrittämisessä, voit rakentaa oman mukautetun kuvan Python3-ytimellä, työnnä kuva Amazonin elastisten säiliörekisteri (Amazon ECR) ja anna ECR-kuvan URI muistikirjatyöllesi alla Lisävaihtoehtoja. ECR-kuvan tulee noudattaa SageMaker-kuvien vaatimuksia, jotka on lueteltu kohdassa Mukautetut SageMaker-kuvan tekniset tiedot.
Lisäksi yrityksesi saattaa määrittää suojakaiteet, kuten töiden suorittamisen Internet-vapaassa tilassa Amazon VPC:ssä, käyttämällä työssä mukautettua vähiten etuoikeusroolia ja pakottamalla salauksen. Voit määrittää tällaiset kokoonpanot kannettavan tietokoneen töille kohdassa Lisävaihtoehtoja jakso myös. Yksityiskohtainen luettelo edistyneistä kokoonpanoista on kohdassa Lisävaihtoehtoja.
Lisää alustusskripti
Alustuskomentosarjan esittelemiseksi suoritamme nyt mallimuistikirjan Studio-muistikirjatöille, jotka ovat saatavilla osoitteessa GitHub. Jotta voit käyttää tätä muistikirjaa, sinun on asennettava tarvittavat paketit alustuskomentosarjan avulla. Suorita seuraavat vaiheet:
- Lataa tiedosto suorittamalla JupyterLab-päätteestä seuraava komento:
- On filee valikosta, valitse Uusi ja Tekstitiedosto.
- Syötä seuraava sisältö tiedostoosi ja tallenna tiedosto nimellä
init-script.sh
: - Valita
scheduled-example.ipynb
tiedostonhallinnasta avataksesi muistikirjan. - Valitse muistikirjan työkuvake aikatauluttaaksesi muistikirjan ja laajenna Lisävaihtoehtoja osiossa.
- varten Alustuskomentosarjan sijainti, anna skriptin koko polku.
Voit myös valinnaisesti mukauttaa S3-tulo- ja tulostuskansioita kannettavaa tietokonetta varten. SageMaker luo syöttökansion määritettyyn S3-sijaintiin syöttötiedostojen tallentamista varten ja luo tuloste-S3-kansion, johon muistikirjan tulosteet tallennetaan. Voit määrittää salauksen, IAM-roolin ja VPC-määritykset täällä. Katso Rajoitukset ja huomiot mukautettuja kuva- ja VPC-määrityksiä varten.
- Päivitä toistaiseksi vain alustusskripti, valitse Juokse nyt aikatauluun ja valitse luoda.
Kun työ on valmis, voit tarkastella muistikirjaa tulosteineen ja tuloslokia alta Tulosta tiedostot, kuten seuraavassa kuvakaappauksessa näkyy. Tuloslokissa sinun pitäisi nähdä ajettava alustuskomentosarja ennen muistikirjan suorittamista.
Voit mukauttaa muistikirjan työympäristöä entisestään käyttämällä omaa kuvaasi määrittämällä mukautetun kuvan ECR URI:n. Jos tuot oman kuvan, varmista, että asennat Python3-ytimen, kun rakennat kuvaasi. Katso seuraavasta koodista esimerkki Docker-tiedostosta, joka voi käyttää kannettavaa tietokonetta TensorFlow'n avulla:
Yhteenveto
Tässä viestissä näytimme sinulle, kuinka voit käyttää muistikirjojasi mistä tahansa JupyterLab-ympäristöstä, jota isännöidään paikallisesti SageMaker-koulutustöinä SageMaker Jupyter -aikataululaajennuksella. Mahdollisuus käyttää muistikirjoja päättömästi, aikataulun mukaan vähentää huomattavasti datatieteilijöiden erilaista raskasta nostoa, kuten muistikirjojen muokkaamista Python-skripteiksi, Amazon EventBridge tapahtuman laukaisimia ja luomista AWS Lambda toimintoja tai SageMaker-putkia aloittaaksesi koulutustyöt. SageMaker-muistikirjatyöt suoritetaan pyynnöstä, joten maksat vain muistikirjan käyttöajasta, ja voit käyttää muistikirjan työlaajennusta tarkastellaksesi muistikirjan tuloksia milloin tahansa JupyterLab-ympäristöstäsi. Suosittelemme, että kokeilet ajoitettuja muistikirjatöitä ja otat yhteyttä Koneoppimis- ja tekoälyyhteisö re:Postissa palautetta varten!
Tietoja kirjoittajista
Bhadrinath Pani on Amazon Web Servicesin ohjelmistokehitysinsinööri, joka työskentelee Amazon SageMakerin interaktiivisten ML-tuotteiden parissa, ja hänellä on yli 12 vuoden kokemus ohjelmistokehityksestä eri aloilla, kuten autoteollisuus, IoT, AR/VR ja tietokonenäkö. Tällä hetkellä hänen pääpaino on koneoppimistyökalujen kehittämisessä, joiden tarkoituksena on yksinkertaistaa datatieteilijöiden kokemusta. Vapaa-ajallaan hän viettää aikaa perheensä kanssa ja tutkii Tyynenmeren luoteisosan kauneutta.
Durga Sury on ML Solutions -arkkitehti Amazon SageMaker Service SA -tiimissä. Hän haluaa tehdä koneoppimisesta kaikkien ulottuville. Neljän vuoden aikana AWS:ssä hän on auttanut luomaan AI/ML-alustoja yritysasiakkaille. Kun hän ei ole töissä, hän rakastaa moottoripyöräilyä, mysteeriromaaneja ja pitkiä kävelylenkkejä 4-vuotiaan huskynsa kanssa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/schedule-your-notebooks-from-any-jupyterlab-environment-using-the-amazon-sagemaker-jupyterlab-extension/
- :on
- :On
- :missä
- $ YLÖS
- 100
- 12
- 202
- 2022
- 7
- 77
- 8
- a
- kyky
- pystyy
- Meistä
- pääsy
- Tietojen saatavuus
- saatavilla
- mukaisesti
- Tili
- Saavuttaa
- poikki
- Toiminta
- aktiivinen
- toiminta
- lisätä
- Lisäksi
- lisä-
- kehittynyt
- Jälkeen
- AI
- AI / ML
- jonka tarkoituksena
- Kaikki
- sallia
- Salliminen
- jo
- Myös
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- ja
- Kaikki
- AR / VR
- arkkitehtuuri
- OVAT
- AS
- oletettu
- At
- automatisoida
- automaattisesti
- Automotive
- saatavissa
- pois
- AWS
- pohja
- kemut
- BE
- Kauneus
- tulee
- ennen
- ovat
- PARAS
- parhaat käytännöt
- Tukkia
- Tuominen
- rakentaa
- Rakentaminen
- liiketoiminta
- by
- CAN
- tapauksissa
- Valita
- valita
- pilvi
- pilvi infrastruktuuri
- koodi
- KOM
- yhteisö
- täydellinen
- Laskea
- tietokone
- Tietokoneen visio
- ehto
- kokoonpanot
- kytkeä
- Kontti
- sisältö
- Ydin
- luoda
- luotu
- luo
- Luominen
- Valtakirja
- Tällä hetkellä
- asiakassuhde
- asiakas
- Asiakkaat
- räätälöidä
- tiedot
- tietojenkäsittely
- joulukuu
- oletusarvo
- Kysyntä
- käyttöönotot
- yksityiskohtainen
- kehittämällä
- Kehitys
- suoraan
- pohtia
- näyttö
- Diversion
- Satamatyöläinen
- verkkotunnuksia
- Dont
- alas
- download
- vaikutus
- kannustaa
- salattu
- salaus
- täytäntöön
- insinööri
- Tekniikka
- varmistaa
- enter
- yritys
- yritysasiakkaat
- ympäristö
- ympäristöissä
- Eetteri (ETH)
- tapahtuma
- Tapahtumat
- jokainen
- esimerkki
- Esimerkit
- teloitus
- olemassa
- Laajentaa
- odotettu
- odottaa
- experience
- tutkimusmatkailija
- Tutkiminen
- laajentaminen
- melko
- perhe
- Ominaisuus
- filee
- Asiakirjat
- Etunimi
- Joustavuus
- Keskittää
- seurata
- jälkeen
- varten
- puitteet
- Ilmainen
- alkaen
- koko
- tehtävät
- edelleen
- tulevaisuutta
- Saada
- yleensä
- saada
- suuresti
- HAD
- Olla
- he
- raskas
- raskas nosto
- auttaa
- auttanut
- hänen
- tätä
- korkeampi
- erittäin
- hänen
- isännöi
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- Napa
- IAM
- ICON
- Identiteetti
- if
- kuva
- kuvien
- tuoda
- in
- sisältää
- mukana
- Infrastruktuuri
- panos
- oivalluksia
- asentaa
- asennus
- asennetaan
- asentaminen
- esimerkki
- ohjeet
- vuorovaikutteinen
- tulee
- käyttöön
- Esineiden internet
- IT
- SEN
- Job
- Työpaikat
- avain
- avaimet
- laboratorio
- myöhemmin
- uusin
- oppiminen
- nosto
- pitää
- linja
- Lista
- lueteltu
- kuormitus
- paikallinen
- paikallisesti
- sijainti
- log
- Pitkät
- ulkonäkö
- rakastaa
- kone
- koneoppiminen
- tärkein
- Tekeminen
- onnistui
- johto
- tapa
- matplotlib
- maksimi
- Saattaa..
- valikko
- Metrics
- ehkä
- minimi
- ML
- tila
- mallit
- moottoripyörä
- liikkuvat
- Mysteeri
- nimi
- Tarve
- tarvitaan
- tarpeet
- Uusi
- muistikirja
- kannettavat tietokoneet
- nyt
- numpy
- of
- virallinen
- on
- vain
- avata
- avoimen lähdekoodin
- Vaihtoehto
- or
- ulostulo
- yli
- valvoa
- oma
- Tyynenmeren
- paketti
- paketit
- pandas
- parametrit
- intohimoinen
- polku
- Maksaa
- Oikeudet
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- politiikka
- Kirje
- käytännöt
- mieluummin
- Suositut
- aiemmin
- Pääasiallinen
- prosessi
- Tuotteemme
- toimittaa
- tarjoaa
- Työnnä
- Python
- RE
- todellinen maailma
- vähentää
- Ihmissuhteet
- jäljellä oleva
- TOISTUVASTI
- korvata
- Raportit
- tarvitaan
- vaatimukset
- Vaatii
- resurssi
- Esittelymateriaalit
- Saatu ja
- uudelleenkoulutus
- Napsauta hiiren kakkospainikkeella
- Rooli
- roolit
- ajaa
- juoksu
- toimii
- SA
- sagemaker
- SageMaker-putkistot
- sama
- Esimerkkitietojoukko
- Säästä
- skaalaus
- skenaariot
- aikataulu
- suunniteltu
- Suunnitellut työt
- aikataulutus
- tiede
- tutkijat
- skriptejä
- Haku
- Osa
- osiot
- turvallisuus
- nähdä
- palvelu
- Palvelut
- Istunto
- setti
- asetus
- settings
- hän
- shouldnt
- näyttää
- näyteikkuna
- osoittivat
- esitetty
- Yksinkertainen
- yksinkertaistaa
- yksinkertaistaminen
- yksinkertaisesti
- pieni
- So
- Tuotteemme
- ohjelmistokehitys
- ratkaisu
- Ratkaisumme
- erityinen
- tekniset tiedot
- määritelty
- menot
- Alkaa
- alkoi
- Aloita
- alkaa
- Lausunto
- Tila
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- voimakkaasti
- studio
- antaa
- Onnistuneesti
- niin
- joukkue-
- tensorflow
- terminaali
- testi
- että
- -
- heidän
- Siellä.
- Nämä
- tätä
- kolmella
- Kautta
- aika
- että
- työkalut
- koulutus
- siirtyminen
- totta
- Luottamus
- yrittää
- tyyppi
- varten
- Päivitykset
- päivittäminen
- URI
- käyttää
- käytetty
- käyttäjä
- käyttämällä
- arvokas
- versio
- Näytä
- visio
- haluta
- oli
- tavalla
- we
- verkko
- verkkopalvelut
- HYVIN
- kun
- joka
- with
- sisällä
- työnkulkuja
- työskentely
- toimii
- vuotta
- te
- Sinun
- zephyrnet