Andmeteadlased eelistavad Jupyteri sülearvuteid nende võime tõttu interaktiivselt andmeid töödelda, luua ML-mudeleid ja katsetada neid mudeleid andmete põhjal järeldusi tehes. Siiski on stsenaariume, mille puhul andmeteadlased võivad eelistada sülearvutite interaktiivselt arendamiselt paketttöödele üleminekut. Selliste kasutusjuhtumite näideteks on funktsioonide projekteerimise töö suurendamine, mida testiti varem väikese sülearvuti eksemplari väikese näidisandmestikuga, igaõhtuste aruannete käitamine, et saada ülevaade ärimõõdikutest, ja ML-mudelite ümberõpe vastavalt ajakavale, kui uued andmed muutuvad kättesaadavaks.
Sülearvutite interaktiivselt arenduselt pakktöödele üleminek nõudis märkmiku koodilõigud skripti kopeerimist, skripti koos kõigi selle sõltuvustega konteinerisse pakkimist ja konteineri käitamise ajastamist. Selle töö korduvalt graafiku alusel käitamiseks pidite juurutamise automatiseerimiseks seadistama, konfigureerima ja jälgima pilveinfrastruktuuri, mille tulemuseks oli väärtuslik aeg põhiandmetealase arendustegevusest eemale.
Et lihtsustada interaktiivsetelt märkmikelt paketttöödele üleminekut, tehti 2022. aasta detsembris Amazon SageMaker Studio ja Stuudio labor tutvustas võimalust käitada märkmikke ajastatud töödena, kasutades märkmikupõhiseid töövooge. Nüüd saate kasutada sama võimalust oma Jupyteri sülearvutite käitamiseks mis tahes JupyterLabi keskkonnas, näiteks Amazon SageMaker sülearvuti eksemplarid ja teie kohalikus masinas töötav JupyterLab. SageMaker pakub avatud lähtekoodiga laiendust, mida saab installida igasse JupyterLabi keskkonda ja mida saab kasutada sülearvutite käitamiseks lühiajaliste töödena ja ajakava järgi.
Selles postituses näitame teile, kuidas oma märkmikke kohalikust JupyterLabi keskkonnast SageMakeris ajastatud märkmikutöödena käitada.
Lahenduse ülevaade
Lahendusarhitektuur sülearvuti tööde ajastamiseks mis tahes JupyterLabi keskkonnast on näidatud järgmisel diagrammil. SageMakeri laiendus eeldab, et JupyterLabi keskkonnal on kehtivad AWS-i mandaadid ja õigused sülearvuti tööde ajastamiseks. Arutame läbi mandaatide seadistamise sammud ja AWS-i identiteedi- ja juurdepääsuhaldus (IAM) load hiljem selles postituses. Lisaks IAM-i kasutajale ja oletatavale rolliseansile, mis planeerib tööd, peate ka märkmiku tööeksemplarile määrama rolli, mille ta võtab teie andmetele juurdepääsuks Amazoni lihtne salvestusteenus (Amazon S3) või sellega ühenduse loomiseks Amazon EMR klastreid vastavalt vajadusele.
Järgmistes jaotistes näitame, kuidas seadistada arhitektuuri ja installida avatud lähtekoodiga laiendust, käitada vaikekonfiguratsioonidega sülearvutit ja kasutada kohandatud sätetega sülearvuti käitamiseks täpsemaid parameetreid.
Eeldused
Selle postituse jaoks eeldame kohalikult hostitud JupyterLabi keskkonda. Saate järgida samu installietappe ka pilves hostitud keskkonnas.
Järgmised sammud eeldavad, et teil on juba kehtiv Python 3 ja JupyterLabi keskkond (see laiendus töötab JupyterLabi v3.0 või uuema versiooniga).
Paigaldage AWS-i käsurea liides (AWS CLI), kui te pole seda veel installinud. Vaata AWS-i CLI uusima versiooni installimine või värskendamine juhiseid.
Seadistage IAM-mandaadid
SageMakeri märkmikutööde esitamiseks vajate IAM-i kasutajat või aktiivset IAM-i rolliseanssi. IAM-mandaatide seadistamiseks saate konfigureerida AWS-i CLI-i oma IAM-kasutaja AWS-mandaatidega või võtta endale IAM-i roll. Mandaatide seadistamise juhised leiate siit AWS-i CLI konfigureerimine. IAM-i põhiline (kasutaja või oletatav roll) vajab märkmiku tööde ajastamiseks järgmisi õigusi. Poliitika lisamiseks oma printsipaalile vaadake IAM-i identiteediõiguste lisamine.
Kui teie sülearvuti tööd tuleb kliendi hallatavaga krüpteerida AWS-i võtmehaldusteenus (AWS KMS) võtmed, lisage poliitikaavaldus, mis võimaldab juurdepääsu ka AWS KMS-ile. Näidispoliitika vaatamiseks vt Installige eeskirjad ja load kohalike Jupyteri keskkondade jaoks.
Seadistage sülearvuti tööeksemplari jaoks IAM-i roll
SageMaker nõuab kasutaja nimel tööde (nt sülearvuti töö) käitamiseks IAM-i rolli. Sellel rollil peaks olema juurdepääs ressurssidele, mis on sülearvuti jaoks töö lõpetamiseks vajalikud, näiteks juurdepääs Amazon S3 andmetele.
Planeerija laiendus otsib automaatselt AWS-i kontolt IAM-i rolle koos eesliitega SagemakerJupyterScheduler
sülearvuti tööde tegemiseks.
IAM-rolli loomiseks täitmisrolli loomine Amazon SageMakerile koos AmazonSageMakerFullAccess
poliitika. Nimetage roll SagemakerJupyterSchedulerDemo
või sisestage nimi koos eeldatava eesliitega.
Pärast rolli loomist, Usaldussuhted valige vahekaart Muutke usalduspoliitikat. Asendage olemasolev usalduspoliitika järgmisega:
. AmazonSageMakerFullAccess
poliitika on üsna lubav ja seda eelistatakse üldiselt katsetamiseks ja SageMakeriga alustamiseks. Soovitame tungivalt luua tulevaste töökoormuste jaoks minimaalse ulatusega eeskirjad kooskõlas IAM-i turvalisuse parimate tavadega. Sülearvuti töö jaoks vajalike õiguste miinimumkogumi kohta vt Installige eeskirjad ja load kohalike Jupyteri keskkondade jaoks.
Installige laiendus
Avage oma kohalikus masinas terminal ja installige laiendus, käivitades järgmise käsu:
Pärast selle käsu käitamist saate käivitada JupyterLabi, käivitades jupyter lab.
Kui installite laienduse JupyterLabi terminalist, taaskäivitage Jupyteri server laienduse laadimiseks. Saate Jupyteri serveri taaskäivitada, valides sulgema kohta fail menüüst oma JupyterLabi ja käivitage JupyterLabi käsurealt, käivitades jupyter lab
.
Esitage märkmikutöö
Kui laiendus on teie keskkonda installitud, saate lühiajalise tööna käitada mis tahes iseseisvat sülearvutit. Esitagem lihtne „Tere maailm” märkmik, mis toimiks ajastatud tööna.
- Kohta fail menüüst valige Uus ja märkmik.
- Sisestage järgmine sisu:
Pärast laienduse edukat installimist näete märkmiku ajastamise ikooni.
- Valige märkmikutöö loomiseks ikoon.
Teise võimalusena saate failiuurijas märkmikul paremklõpsata ja valida Loo märkmiku töö.
- Sisestage töö nimi, sisendfail, arvutustüüp ja lisaparameetrid.
- Jätke ülejäänud sätted vaikeseadeteks ja valige Loo.
Kui töö on planeeritud, suunatakse teid aadressile Märkmiku töökohad vahekaart, kus saate vaadata sülearvuti tööde loendit ja nende olekut ning pärast töö lõpetamist vaadata sülearvuti väljundit ja logisid. Sellele sülearvuti tööde aknale pääsete juurde ka käivitusprogrammist, nagu on näidatud järgmisel ekraanipildil.
Täpsemad konfiguratsioonid
Teie kohalikust arvutusest töötavad sülearvutid automaatselt SageMaker Base Pythoni kujutisega, mis on Docker Hubi ametlik Python 3.8 pilt koos Boto3 ja kaasasoleva AWS CLI-ga. Reaalses maailmas peavad andmeteadlased installima oma sülearvutite jaoks konkreetsed paketid või raamistikud. Reprodutseeritava keskkonna saavutamiseks on kolm võimalust:
- Lihtsaima valiku korral saate installida paketid ja raamistikud otse sülearvuti esimesse lahtrisse.
- Samuti saate sisestada lähtestamisskripti Lisavalikud jaotist, osutades teie kohaliku salvestusruumi bash-skriptile, mida sülearvuti käivitamisel käitab sülearvuti töö. Järgmises jaotises näitame näidet pakettide installimiseks lähtestamisskriptide kasutamisest.
- Lõpuks, kui soovite oma käitamiskeskkonna seadistamisel maksimaalset paindlikkust, saate Python3 tuumaga luua oma kohandatud pildi, lükake pilt Amazoni elastsete konteinerite register (Amazon ECR) ja esitage oma sülearvuti tööle ECR-i kujutise URI Lisavalikud. ECR-pilt peaks vastama SageMakeri piltidele esitatavatele nõuetele, nagu on loetletud Kohandatud SageMakeri pildi spetsifikatsioonid.
Lisaks võib teie ettevõte seadistada kaitsepiirdeid, nagu Amazon VPC-s Interneti-vabas režiimis töötegemine, töö jaoks kohandatud vähima privileegi rolli kasutamine ja krüptimise jõustamine. Selliseid konfiguratsioone saate oma sülearvuti töödele määrata jaotises Lisavalikud jagu samuti. Täpsemate konfiguratsioonide üksikasjaliku loendi vaatamiseks vt Lisavalikud.
Lisage initsialiseerimisskript
Initsialiseerimisskripti esitlemiseks käivitame nüüd Stuudio sülearvutite näidismärkmiku, mis on saadaval aadressil GitHub. Selle märkmiku käitamiseks peate installima vajalikud paketid initsialiseerimisskripti kaudu. Tehke järgmised sammud.
- Käivitage oma JupyterLabi terminalist faili allalaadimiseks järgmine käsk:
- Kohta fail menüüst valige Uus ja Tekstifail.
- Sisestage oma faili järgmine sisu ja salvestage fail nime all
init-script.sh
: - Vali
scheduled-example.ipynb
oma failiuurijast märkmiku avamiseks. - Valige märkmiku ajastamiseks märkmiku töö ikoon ja laiendage seda Lisavalikud sektsiooni.
- eest Initsialiseerimisskripti asukoht, sisestage oma skripti täielik tee.
Samuti saate oma sülearvuti töö jaoks valikuliselt kohandada S3 sisend- ja väljundkaustu. SageMaker loob määratud S3 asukohta sisendkausta sisendfailide salvestamiseks ja loob väljundi S3 kausta, kuhu salvestatakse sülearvuti väljundid. Siin saate määrata krüptimise, IAM-i rolli ja VPC konfiguratsioonid. Vaata Piirangud ja kaalutlused kohandatud pildi ja VPC spetsifikatsioonide jaoks.
- Praegu värskendage lihtsalt initsialiseerimisskripti, valige Jookse nüüd ajakava jaoks ja valige Looma.
Kui töö on lõpetatud, saate vaadata märkmikku koos väljunditega ja väljundlogi alt Väljundfailid, nagu on näidatud järgmisel ekraanipildil. Väljundilogis peaksite enne märkmiku käivitamist nägema käivitatavat lähtestamisskripti.
Sülearvuti töökeskkonna edasiseks kohandamiseks saate kasutada oma pilti, määrates kohandatud pildi ECR URI. Kui võtate kaasa oma pildi, installige pildi loomisel kindlasti Python3 kernel. Näidis Dockerfile'i jaoks, mis suudab TensorFlow'ga sülearvutit käitada, vaadake järgmist koodi:
Järeldus
Selles postituses näitasime teile, kuidas kasutada märkmikke mis tahes JupyterLabi keskkonnas, mida hostitakse kohapeal SageMakeri koolitustöödena, kasutades SageMaker Jupyteri ajakavalaiendit. Võimalus kasutada märkmikke ilma peata ja ajakava järgi, vähendab oluliselt andmeteadlaste eristumatut rasket tõstmist, näiteks sülearvutite ümbertöötamist Pythoni skriptideks, seadistamist. Amazon EventBridge sündmuste käivitajad ja loomine AWS Lambda funktsioone või SageMakeri torujuhtmeid koolitustööde alustamiseks. SageMakeri märkmikutöid käivitatakse nõudmisel, nii et maksate ainult sülearvuti käitamise aja eest ja saate kasutada sülearvuti tööde laiendust, et vaadata sülearvuti väljundeid igal ajal oma JupyterLabi keskkonnas. Soovitame teil proovida ajastatud märkmikutöid ja võtta ühendust Masinõppe ja AI kogukond saidil re:Post tagasiside saamiseks!
Autoritest
Bhadrinath Pani on Amazon Web Servicesi tarkvaraarenduse insener, kes töötab Amazon SageMakeri interaktiivsete ML-toodete kallal ja omab üle 12-aastase tarkvaraarenduse kogemust sellistes valdkondades nagu autotööstus, asjade internet, AR/VR ja arvutinägemine. Praegu keskendub tema põhitähelepanu masinõppevahendite arendamisele, mille eesmärk on andmeteadlaste kogemuste lihtsustamine. Vabal ajal veedab ta meelsasti perega aega ja uurib Vaikse ookeani loodeosa ilu.
Durga Sury on ML Solutionsi arhitekt Amazon SageMaker Service SA meeskonnas. Ta on kirglik masinõppe kõigile kättesaadavaks tegemise vastu. Nelja aasta jooksul AWS-is on ta aidanud luua AI/ML platvorme ettevõtete klientidele. Kui ta ei tööta, armastab ta mootorrattasõite, mõistatusromaane ja pikki jalutuskäike oma 4-aastase huskyga.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/schedule-your-notebooks-from-any-jupyterlab-environment-using-the-amazon-sagemaker-jupyterlab-extension/
- :on
- :on
- : kus
- $ UP
- 100
- 12
- 202
- 2022
- 7
- 77
- 8
- a
- võime
- Võimalik
- MEIST
- juurdepääs
- Juurdepääs andmetele
- juurdepääsetav
- vastavust
- konto
- Saavutada
- üle
- tegevus
- aktiivne
- tegevus
- lisama
- lisamine
- Täiendavad lisad
- edasijõudnud
- pärast
- AI
- AI / ML
- eesmärk
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- Lubades
- juba
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- ja
- mistahes
- AR / VR
- arhitektuur
- OLEME
- AS
- oletus
- At
- automatiseerima
- automaatselt
- auto
- saadaval
- ära
- AWS
- baas
- sisse lööma
- BE
- Ilu
- muutub
- enne
- on
- BEST
- parimaid tavasid
- Blokeerima
- Toomine
- ehitama
- Ehitus
- äri
- by
- CAN
- juhtudel
- Vali
- valimine
- Cloud
- pilve infrastruktuur
- kood
- COM
- kogukond
- täitma
- Arvutama
- arvuti
- Arvuti visioon
- seisund
- konfiguratsioonid
- Võta meiega ühendust
- Konteiner
- sisu
- tuum
- looma
- loodud
- loob
- loomine
- volikiri
- Praegu
- tava
- klient
- Kliendid
- kohandada
- andmed
- andmeteadus
- Detsember
- vaikimisi
- Nõudlus
- kasutuselevõtt
- üksikasjalik
- arenev
- & Tarkvaraarendus
- otse
- arutama
- Ekraan
- Meelelahutus
- laevalaadija
- Domeenid
- Ära
- alla
- lae alla
- mõju
- julgustama
- krüpteeritud
- krüpteerimist
- jõustamisel
- insener
- Inseneriteadus
- tagama
- sisene
- ettevõte
- ettevõtte kliendid
- keskkond
- keskkondades
- Eeter (ETH)
- sündmus
- sündmused
- igaüks
- näide
- näited
- täitmine
- olemasolevate
- Laiendama
- oodatav
- ootab
- kogemus
- uurija
- Avastades
- laiendamine
- õiglaselt
- pere
- tunnusjoon
- fail
- Faile
- esimene
- Paindlikkus
- Keskenduma
- järgima
- Järel
- eest
- raamistikud
- tasuta
- Alates
- täis
- funktsioonid
- edasi
- tulevik
- kasu
- üldiselt
- saamine
- suuresti
- olnud
- Olema
- he
- raske
- raske tõstmine
- aitama
- aitas
- siin
- siin
- rohkem
- kõrgelt
- tema
- võõrustas
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- Keskus
- IAM
- ICON
- Identity
- if
- pilt
- pildid
- import
- in
- sisaldama
- lisatud
- Infrastruktuur
- sisend
- teadmisi
- paigaldama
- paigaldamine
- paigaldatud
- paigaldamine
- Näiteks
- juhised
- interaktiivne
- sisse
- sisse
- asjade Interneti
- IT
- ITS
- töö
- Tööturg
- Võti
- võtmed
- labor
- pärast
- hiljemalt
- õppimine
- tõstmine
- nagu
- joon
- nimekiri
- Loetletud
- koormus
- kohalik
- kohapeal
- liising
- logi
- Pikk
- välimus
- armastab
- masin
- masinõpe
- põhiline
- Tegemine
- juhitud
- juhtimine
- viis
- matplotlib
- maksimaalne
- mai..
- menüü
- Meetrika
- võib
- miinimum
- ML
- viis
- mudelid
- mootorratas
- liikuv
- Mõistatus
- nimi
- Vajadus
- vaja
- vajadustele
- Uus
- märkmik
- märkmikud
- nüüd
- tuim
- of
- ametlik
- on
- ainult
- avatud
- avatud lähtekoodiga
- valik
- or
- väljund
- üle
- valvama
- enda
- Vaikne ookean
- pakend
- pakette
- pandas
- parameetrid
- kirglik
- tee
- Maksma
- Õigused
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Poliitika
- poliitika
- post
- tavad
- eelistama
- eelistatud
- varem
- Peamine
- protsess
- Toodet
- anda
- annab
- Lükkama
- Python
- RE
- päris maailm
- vähendab
- Suhted
- ülejäänud
- KORDUVALT
- asendama
- Aruanded
- nõutav
- Nõuded
- Vajab
- ressurss
- Vahendid
- tulemuseks
- ümberõpe
- Paremklõpsake
- Roll
- rollid
- jooks
- jooksmine
- jookseb
- SA
- salveitegija
- SageMakeri torujuhtmed
- sama
- Näidisandmekogum
- Säästa
- ketendamine
- stsenaariumid
- ajakava
- plaanitud
- Plaanilised tööd
- planeerimine
- teadus
- teadlased
- skripte
- Otsing
- Osa
- lõigud
- turvalisus
- vaata
- teenus
- Teenused
- istung
- komplekt
- kehtestamine
- seaded
- ta
- peaks
- näitama
- presentatsioon
- näitas
- näidatud
- lihtne
- lihtsustama
- lihtsustamine
- lihtsalt
- väike
- So
- tarkvara
- tarkvaraarenduse
- lahendus
- Lahendused
- konkreetse
- spetsifikatsioonid
- määratletud
- Kulutused
- algus
- alustatud
- Käivitus
- algab
- väljavõte
- olek
- Sammud
- ladustamine
- salvestada
- ladustatud
- tugevalt
- stuudio
- esitama
- Edukalt
- selline
- meeskond
- tensorivool
- terminal
- test
- et
- .
- oma
- Seal.
- Need
- see
- kolm
- Läbi
- aeg
- et
- töövahendid
- koolitus
- üleminek
- tõsi
- Usalda
- püüdma
- tüüp
- all
- Värskendused
- ajakohastamine
- URI
- kasutama
- Kasutatud
- Kasutaja
- kasutamine
- väärtuslik
- versioon
- vaade
- nägemus
- tahan
- oli
- kuidas
- we
- web
- veebiteenused
- Hästi
- millal
- mis
- koos
- jooksul
- Töövoogud
- töö
- töötab
- aastat
- sa
- Sinu
- sephyrnet