Amazon SageMaker -autopilotti auttaa sinua suorittamaan täydellisen koneoppimisen (ML) työnkulun automatisoimalla ominaisuuksien suunnittelun, koulutuksen, virityksen vaiheet ja ottamalla käyttöön ML-mallin päätelmiä varten. Tarjoat SageMaker Autopilotille taulukkomuotoisen tietojoukon ja tavoitemääritteen ennustamista varten. Sitten SageMaker Autopilot tutkii automaattisesti tietojasi, harjoittelee, virittää, luokittelee ja löytää parhaan mallin. Lopuksi voit ottaa tämän mallin käyttöön tuotantoon päätelmien tekemiseksi yhdellä napsautuksella.
Mikä on uutta?
Uusi ominaisuus, SageMaker Autopilot -mallin laaturaportit, raportoi nyt mallisi tiedot tarjotakseen paremman näkyvyyden mallin suorituskyvystä regressio- ja luokitteluongelmissa. Voit hyödyntää näitä mittareita kerätäksesi enemmän näkemyksiä parhaasta mallista mallitulostaulukossa.
Nämä mittarit ja raportit, jotka ovat saatavilla uudella "Suorituskyky"-välilehdellä parhaan mallin "Mallitiedot" -kohdassa, sisältävät sekavuusmatriisit, vastaanottimen toimintakäyrän (AUC-ROC) alla olevan alueen ja tarkkuushakukäyrän alla olevan alueen. (AUC-PR). Nämä mittarit auttavat sinua ymmärtämään vääriä positiivisia / vääriä negatiivisia (FP:t/FN:t), todellisten positiivisten (TP) ja väärien positiivisten (FP) välisiä kompromisseja sekä tarkkuuden ja muistamisen välisiä kompromisseja, jotta voit arvioida mallin parhaat suorituskykyominaisuudet.
SageMaker Autopilot -kokeilun suorittaminen
Tietojoukko
Käytämme UCI:n pankkimarkkinointitietojoukko esitellä SageMaker Autopilot Model Quality Reports. Nämä tiedot sisältävät asiakkaan attribuutteja, kuten iän, työtyypin, siviilisäädyn ja muita tietoja, joiden avulla ennustamme, avaako asiakas tilin pankissa. Tietojoukossa viitataan tähän tiliin määräaikaistalletuksena. Tämä tekee tapauksestamme binääriluokitteluongelman - ennuste on joko "kyllä" tai "ei". SageMaker Autopilot luo useita malleja puolestamme ennustaakseen potentiaalisia asiakkaita parhaiten. Sitten tutkimme SageMaker Autopilotin mallin laaturaporttia paras malli.
Edellytykset
Aloittaaksesi SageMaker Autopilot -kokeen, sinun on ensin asetettava tietosi Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri. Määritä luokka ja etuliite, joita haluat käyttää koulutuksessa. Varmista, että ämpäri on samalla alueella kuin SageMaker Autopilot -kokeilu. Sinun on myös varmistettava, että Identity and Access Management (IAM) -roolilla Autopilotilla on oikeudet käyttää tietoja Amazon S3:ssa.
Kokeen luominen
Sinulla on useita vaihtoehtoja luoda SageMaker Autopilot -kokeilu SageMaker Studiossa. Avaamalla uuden käynnistysohjelman saatat päästä suoraan SageMaker Autopilot -ohjelmaan. Jos ei, voit valita SageMaker-resurssikuvakkeen vasemmasta reunasta. Seuraavaksi voit valita Kokeita ja kokeita Pudotusvalikosta.
- Anna kokeilullesi nimi.
- Muodosta yhteys tietolähteeseesi valitsemalla Amazon S3 -ämpäri ja tiedostonimi.
- Valitse lähtötietojen sijainti Amazon S3:ssa.
- Valitse tietojoukkosi kohdesarake. Tässä tapauksessa kohdistamme "y"-sarakkeen osoittamaan kyllä/ei.
- Anna vaihtoehtoisesti päätepisteen nimi, jos haluat, että SageMaker Autopilot ottaa mallin päätepisteen automaattisesti käyttöön.
- Jätä kaikki muut lisäasetukset oletusasetuksiksi ja valitse Luo kokeilu.
Kun kokeilu on valmis, voit nähdä tulokset SageMaker Studiossa. SageMaker Autopilot esittelee parhaan mallin eri malleista, joita se harjoittelee. Voit tarkastella eri kokeiden tietoja ja tuloksia, mutta käytämme parasta mallia mallien laaturaporttien käytön esittelyyn.
- Valitse malli ja napsauta hiiren kakkospainikkeella Avaa mallitiedot.
- Valitse mallin tiedoista Suorituskyky -välilehti. Tämä näyttää mallin mittareita visualisoinneilla ja kaavioilla.
- Alle Suorituskykyvalitse Lataa tehokkuusraportit PDF-muodossa.
SageMaker Autopilot -mallin laaturaportin tulkitseminen
Mallin laaturaportti sisältää yhteenvedon SageMaker Autopilot -työstä ja mallin yksityiskohdista. Keskitymme raportin PDF-muotoon, mutta voit tarkastella tuloksia myös JSON-muodossa. Koska SageMaker Autopilot määritti tietojoukkomme binääriluokitteluongelmaksi, SageMaker Autopilot pyrki maksimoimaan F1-laatumittari löytääksesi parhaan mallin. SageMaker Autopilot valitsee tämän oletuksena. On kuitenkin mahdollista valita muita objektiivisia mittareita, kuten tarkkuus ja AUC. Mallimme F1-pistemäärä on 0.61. F1-pisteiden tulkitseminen auttaa ensin ymmärtämään sekaannusmatriisin, joka selitetään tulostetussa PDF-tiedostossa olevalla mallin laaturaportilla.
Sekaannusmatriisi
Sekaannusmatriisi auttaa visualisoimaan mallin suorituskykyä vertaamalla eri luokkia ja tarroja. SageMaker Autopilot -kokeilu loi hämmennysmatriisin, joka näyttää todelliset tarrat riveinä ja predikoidut tarrat sarakkeina mallin laaturaportissa. Vasemmassa yläkulmassa näkyvät asiakkaat, jotka eivät avaneet tiliä pankissa, joille malli ennusti oikein "ei". Nämä ovat todellisia negatiivisia (TN). Oikeassa alakulmassa näkyvät asiakkaat, jotka avasivat tilin pankissa, joille malli ennusti oikein "kyllä". Nämä ovat tosi positiivisia (PT).
Vasemmassa alakulmassa näkyy numero väärät negatiivit (FN). Malli ennusti, että asiakas ei avaisi tiliä, mutta asiakas avasi. Oikeassa yläkulmassa näkyy numero vääriä positiivisia (FP). Malli ennusti, että asiakas avaa tilin, mutta asiakas avasi emme todella tehdä niin.
Mallin laaturaporttimittarit
Mallin laaturaportti selittää kuinka laskea väärien positiivisten prosenttiosuus (FPR) ja todellinen positiivinen korko (TPR).
Palautus tai väärä positiivinen prosentti (FPR) mittaa niiden todellisten negatiivisten osuuden, jotka ennustettiin virheellisesti tilin avaamiseksi (positiiviset). Alue on 0–1, ja pienempi arvo ilmaisee parempaa ennustetarkkuutta.
Huomaa, että FPR ilmaistaan myös 1-spesifisyys, jossa spesifisyys tai todellinen negatiivinen korko (TNR) on niiden TN:ien osuus, jotka on määritetty oikein siten, että ne eivät avaa tiliä (negatiivit).
Muistutus/herkkyys/tosi positiivinen suhde (TPR) mittaa sitä osaa todellisista positiivisista tuloksista, jotka ennustettiin tilin avaamisena. Alue on myös 0–1, ja suurempi arvo osoittaa parempaa ennustetarkkuutta. Tämä tunnetaan myös nimellä Recall/Sensitivity. Tämä mitta ilmaisee kyvyn löytää kaikki asiaankuuluvat esiintymät tietojoukosta.
Tarkkuus mittaa niiden todellisten positiivisten osuutta, jotka ennustettiin positiivisiksi kaikista positiivisiksi ennustetuista. Alue on 0-1, ja suurempi arvo osoittaa parempaa tarkkuutta. Tarkkuus ilmaisee niiden datapisteiden osuuden, jotka mallimme mukaan olivat merkityksellisiä ja jotka olivat todella merkityksellisiä. Tarkkuus on hyvä huomioida, varsinkin kun FP:n kustannukset ovat korkeat – esimerkiksi sähköpostin roskapostin tunnistuksessa.
Mallimme tarkkuus on 0.53 ja takaisinkutsu 0.72.
F1-pisteet osoittaa tavoitemittarimme, joka on tarkkuuden ja muistamisen harmoninen keskiarvo. Koska tietojoukkomme on epätasapainoinen monien "ei"-ennusteiden hyväksi, F1 ottaa sekä FP:n että FN:n huomioon antaakseen saman painoarvon tarkkuudelle ja muistamiselle.
Raportti selittää, kuinka näitä mittareita tulkitaan. Tämä voi auttaa, jos et tunne näitä termejä. Esimerkissämme tarkkuus ja muistaminen ovat tärkeitä mittareita binääriluokitteluongelmalle, koska niitä käytetään F1-pisteiden laskemiseen. Raportissa selitetään, että F1-pistemäärä voi vaihdella 0:n ja 1:n välillä. Paras mahdollinen suoritus saa pisteen 1, kun taas 0 tarkoittaa huonointa. Muista, että mallimme F1-pistemäärä on 0.61.
Fβ Pisteet on tarkkuuden ja muistamisen painotettu harmoninen keskiarvo. Lisäksi F1-pisteet ovat samat kuin Fβ, kun β = 1. Raportti tarjoaa luokituksen Fβ-pisteet, jossa β on 0.5, 1 ja 2.
Mittaritaulukko
Ongelmasta riippuen saatat huomata, että SageMaker Autopilot maksimoi toisen mittarin, kuten tarkkuuden, moniluokkaisessa luokitusongelmassa. Ongelman tyypistä riippumatta mallin laaturaportit tuottavat taulukon, joka sisältää yhteenvedon mallin mittareista, jotka ovat saatavilla sekä sisäisesti että PDF-raportissa. Voit oppia lisää metritaulukosta osoitteessa dokumentointi.
Paras vakioluokitus – luokitin, joka toimii yksinkertaisena perustana verrattaessa muihin monimutkaisempiin luokittajiin – ennustaa aina käyttäjän antaman vakioenemmistön tunnisteen. Meidän tapauksessamme 'vakio' malli ennustaisi 'ei', koska se on yleisin luokka ja sitä pidetään negatiivisena leimana. Harjoiteltujen luokitinmallien (kuten f1, f2 tai palautus) mittareita voidaan verrata vakioluokittajan eli perusviivan mittauksiin. Tämä varmistaa, että koulutettu malli toimii paremmin kuin vakio luokitin. Fβ-pisteet (f0_5, f1 ja f2, joissa β saa arvot 0.5, 1 ja 2) ovat tarkkuuden ja muistamisen painotettu harmoninen keskiarvo. Tämä saavuttaa optimaalisen arvon 1:ssä ja huonoimman arvon 0:ssa.
Meidän tapauksessamme paras vakioluokittaja ennustaa aina 'ei'. Siksi tarkkuus on korkea, 0.89, mutta muistamis-, tarkkuus- ja Fβ-pisteet ovat 0. Jos tietojoukko on täydellisesti tasapainossa siellä, missä ei ole yhtä enemmistö- tai vähemmistöluokkaa, olisimme nähneet paljon mielenkiintoisempia mahdollisuuksia tarkkuuteen, muistamiseen, ja vakioluokittimen Fp-pisteet.
Lisäksi voit tarkastella näitä tuloksia JSON-muodossa seuraavan esimerkin mukaisesti. Voit käyttää sekä PDF- että JSON-tiedostoja käyttöliittymän kautta sekä Amazon SageMaker Python SDK käyttämällä S3OutputPath-elementtiä OutputDataConfig rakenteessa LuoAutoMLJob/KuvaileAutoMLJob API vastaus.
{ "version" : 0.0, "dataset" : { "item_count" : 9152, "evaluation_time" : "2022-03-16T20:49:18.661Z" }, "binary_classification_metrics" : { "confusion_matrix" : { "no" : { "no" : 7468, "yes" : 648 }, "yes" : { "no" : 295, "yes" : 741 } }, "recall" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "precision" : { "value" : 0.5334773218142549, "standard_deviation" : 0.007335840278445563 }, "accuracy" : { "value" : 0.8969624125874126, "standard_deviation" : 0.0011703516093899595 }, "recall_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "precision_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "accuracy_best_constant_classifier" : { "value" : 0.8868006993006993, "standard_deviation" : 0.0016707401772078998 }, "true_positive_rate" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "true_negative_rate" : { "value" : 0.9201577131591917, "standard_deviation" : 0.0010233756436643213 }, "false_positive_rate" : { "value" : 0.07984228684080828, "standard_deviation" : 0.0010233756436643403 }, "false_negative_rate" : { "value" : 0.2847490347490348, "standard_deviation" : 0.004399966000813983 },
………………….
ROC ja AUC
Ongelman tyypistä riippuen sinulla voi olla erilaisia kynnysarvoja sille, mikä on hyväksyttävä FPR:ksi. Jos esimerkiksi yrität ennustaa, avaako asiakas tilin, yritykselle saattaa olla hyväksyttävämpää käyttää korkeampaa FP-prosenttia. Voi olla vaarallisempaa jättää väliin tarjousten laajentaminen asiakkaille, joille ennustettiin väärin "ei", sen sijaan, että tarjotaan asiakkaille, joille ennustettiin väärin "kyllä". Näiden kynnysarvojen muuttaminen erilaisten FPR:ien tuottamiseksi edellyttää uusien sekaannusmatriisien luomista.
Luokittelualgoritmit palauttavat jatkuvia arvoja, jotka tunnetaan nimellä ennustetodennäköisyydet. Nämä todennäköisyydet on muunnettava binääriarvoksi (binääriluokitusta varten). Binääriluokitteluongelmissa kynnys (tai päätöskynnys) on arvo, joka dikotomisoi todennäköisyydet yksinkertaiseen binääripäätökseen. Normalisoiduille ennustetuille todennäköisyyksille alueella 0–1 kynnysarvo on oletusarvoisesti 0.5.
Binääriluokittelumalleissa hyödyllinen arviointimetriikka on vastaanottimen toimintaominaiskäyrän (ROC) alla oleva alue. Mallin laaturaportti sisältää ROC-kaavion, jossa TP-nopeus on y-akseli ja FPR x-akselina. Vastaanottimen toimintaominaisuuksien alla oleva alue (AUC-ROC) edustaa TPR:iden ja FPR:ien välistä kompromissia.
Luot ROC-käyrän ottamalla binääriluokituksen ennustajan, joka käyttää kynnysarvoa, ja määrittämällä ennusteen todennäköisyydet sisältävät tunnisteet. Kun muutat mallin kynnystä, suojaat kahdesta ääripäästä. Kun TPR ja FPR ovat molemmat 0, se tarkoittaa, että kaikki on merkitty "ei", ja kun sekä TPR että FPR ovat 1, se tarkoittaa, että kaikki on merkitty "kyllä".
Satunnainen ennustaja, joka merkitsee "Kyllä" puolet ajasta ja "Ei" puolet ajasta, saisi ROC:n, joka on suora diagonaaliviiva (punainen pisteviiva). Tämä viiva leikkaa yksikköneliön kahdeksi samankokoiseksi kolmioksi. Siksi käyrän alla oleva pinta-ala on 0.5. AUC-ROC-arvo 0.5 tarkoittaisi, että ennustajasi ei osannut erottaa kahta luokkaa paremmin kuin arvasi satunnaisesti, avaako asiakas tilin vai ei. Mitä lähempänä AUC-ROC-arvo on 1.0, sitä parempia sen ennusteet ovat. Arvo alle 0.5 osoittaa, että voisimme todella saada mallimme tuottamaan parempia ennusteita kääntämällä sen meille antaman vastauksen. Parhaalla mallillamme AUC on 0.93.
Precision Recall Curve
Mallin laaturaportti loi myös Precision Recall (PR) -käyrän, joka piirtää tarkkuuden (y-akseli) ja palautuksen (x-akseli) eri kynnysarvoille – aivan kuten ROC-käyrä. PR-käyrät, joita usein käytetään tiedonhaussa, ovat vaihtoehto ROC-käyrille luokitteluongelmissa, joissa luokkajakaumassa on suuri vino.
Näille luokkaepätasapainottomille tietojoukoille PR-käyrät ovat erityisen hyödyllisiä, kun vähemmistön positiivinen luokka on kiinnostavampi kuin enemmistön negatiivinen luokka. Muista, että mallimme tarkkuus on 0.53 ja takaisinkutsu 0.72. Muista lisäksi, että paras vakioluokittaja ei pysty erottamaan "kyllä" ja "ei". Se ennustaisi satunnaisen luokan tai vakioluokan joka kerta.
Tasapainotetun tietojoukon käyrä "kyllä" ja "ei" välillä olisi vaakasuora viiva 0.5:ssä, ja siten PR-käyrän (AUPRC) alla oleva pinta-ala olisi 0.5. PRC:n luomiseksi piirrämme erilaisia malleja käyrälle vaihtelevilla kynnyksillä, samalla tavalla kuin ROC-käyrä. Tietojemme mukaan AUPRC on 0.61.
Mallin laaturaportin tulos
Löydät mallin laaturaportin Amazon S3 -ryhmästä, jonka määritit määrittäessäsi tulospolkua ennen SageMaker AutoPilot -kokeen suorittamista. Löydät raportit alta documentation/model_monitor/output/<autopilot model name>/ prefix
tallennettu PDF-tiedostona.
Yhteenveto
SageMaker Autopilot Model Laaturaporttien avulla voit nopeasti nähdä ja jakaa SageMaker Autopilot -kokeen tulokset. Voit helposti suorittaa mallin koulutuksen ja virityksen SageMaker Autopilotin avulla ja sitten tulkita tuloksia käyttämällä luotuja raportteja. Käytätpä sitten SageMaker Autopilotin parasta mallia tai toista ehdokasta, nämä tulokset voivat olla hyödyllinen lähtökohta alustavan mallin koulutus- ja viritystyön arvioinnissa. SageMaker Autopilot Model Quality Reports auttaa vähentämään koodin kirjoittamiseen ja suorituskyvyn arviointiin ja vertailuun tarvittavien visuaalien tuottamiseen kuluvaa aikaa.
Voit helposti sisällyttää autoML:n liiketoimintaasi jo tänään ilman, että sinun tarvitsee rakentaa datatieteiden tiimiä. SageMaker dokumentointi tarjoaa useita näytteitä, joiden avulla pääset alkuun.
Tietoja Tekijät
Peter Chung on AWS:n ratkaisuarkkitehti ja haluaa intohimoisesti auttaa asiakkaita löytämään oivalluksia tiedoistaan. Hän on rakentanut ratkaisuja, jotka auttavat organisaatioita tekemään datalähtöisiä päätöksiä sekä julkisella että yksityisellä sektorilla. Hänellä on kaikki AWS-sertifikaatit sekä kaksi GCP-sertifikaattia. Hän nauttii kahvista, ruoanlaitosta, aktiivisesta olemisesta ja perheen kanssa viettämisestä.
Arunprasath Shankar on tekoälyn ja koneoppimisen (AI / ML) asiantuntijaratkaisuarkkitehti AWS: n kanssa, joka auttaa globaaleja asiakkaita skaalautumaan tekoälyratkaisuihinsa tehokkaasti ja tehokkaasti pilvessä. Vapaa-ajallaan Arun nauttii scifi-elokuvien katsomisesta ja klassisen musiikin kuuntelusta.
Ali Takbiri on AI/ML-asiantuntija Solutions Architect ja auttaa asiakkaita ratkaisemaan liiketoimintahaasteitaan AWS-pilvessä koneoppimisen avulla.
Pradeep Reddy on vanhempi tuotepäällikkö SageMaker Low/No Code ML -tiimissä, johon kuuluvat SageMaker Autopilot, SageMaker Automatic Model Tuner. Työn ulkopuolella Pradeep nauttii lukemisesta, juoksemisesta ja ulkoilusta kämmenkokoisten tietokoneiden, kuten Raspberry pi:n, ja muun kodin automaatiotekniikan parissa.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/automatically-generate-model-evaluation-metrics-using-sagemaker-autopilot-model-quality-reports/
- "
- 100
- 7
- Meistä
- pääsy
- Tili
- aktiivinen
- kehittynyt
- AI
- algoritmit
- Kaikki
- Amazon
- keskuudessa
- Toinen
- api
- ALUE
- keinotekoinen
- tekoäly
- Keinotekoinen älykkyys ja koneoppiminen
- attribuutteja
- Automaatio
- saatavissa
- AWS
- Pankki
- Lähtötilanne
- tulevat
- PARAS
- reunus
- Laatikko
- rakentaa
- Rakentaminen
- liiketoiminta
- tapauksissa
- haasteet
- Valita
- luokka
- luokat
- luokittelu
- lähempänä
- pilvi
- koodi
- kahvi
- Sarake
- verrattuna
- monimutkainen
- tietokoneet
- sekaannus
- sisältää
- kustannukset
- voisi
- luotu
- Luominen
- käyrä
- Asiakkaat
- tiedot
- tietojenkäsittely
- tietojoukko
- osoittaa
- sijoittaa
- levityspinnalta
- Detection
- DID
- eri
- suoraan
- jakelu
- helposti
- päätepiste
- Tekniikka
- erityisesti
- kaikki
- esimerkki
- kokeilu
- perhe
- Ominaisuus
- Vihdoin
- löydöt
- Etunimi
- Joustavuus
- Keskittää
- jälkeen
- muoto
- tuottaa
- Global
- hyvä
- ottaa
- auttaa
- hyödyllinen
- auttaa
- Korkea
- korkeampi
- pitää
- Koti
- Home Automation
- Miten
- Miten
- HTTPS
- ICON
- Identiteetti
- tärkeä
- sisältää
- tiedot
- oivalluksia
- Älykkyys
- IT
- Job
- tunnettu
- tarrat
- suuri
- suurempi
- OPPIA
- oppiminen
- Vaikutusvalta
- linja
- Kuunteleminen
- sijainti
- kone
- koneoppiminen
- Enemmistö
- TEE
- johto
- johtaja
- Marketing
- Matriisi
- mitata
- Metrics
- vähemmistö
- ML
- malli
- mallit
- lisää
- eniten
- Elokuvat
- Musiikki
- numero
- useat
- tarjoamalla
- Tarjoukset
- avata
- avaaminen
- toiminta
- Vaihtoehdot
- organisaatioiden
- Muut
- intohimoinen
- suorituskyky
- Kohta
- positiivinen
- mahdollisuuksia
- mahdollinen
- mahdollinen
- ennustaa
- ennustus
- Ennusteet
- esittää
- yksityinen
- Ongelma
- ongelmia
- tuottaa
- Tuotteet
- tuotanto
- toimittaa
- tarjoaa
- julkinen
- laatu
- nopeasti
- alue
- Lukeminen
- vähentää
- merkityksellinen
- raportti
- Raportit
- edustaa
- Esittelymateriaalit
- vastaus
- tulokset
- juoksu
- Asteikko
- tiede
- sektorit
- setti
- Jaa:
- Yksinkertainen
- So
- Ratkaisumme
- SOLVE
- spam
- menot
- neliö
- alkoi
- Tila
- Levytila
- studio
- Kohde
- joukkue-
- teknologia
- Kautta
- aika
- tänään
- TPR
- koulutus
- junat
- ui
- paljastaa
- ymmärtää
- us
- käyttää
- arvo
- eri
- Näytä
- näkyvyys
- onko
- KUKA
- ilman
- Referenssit
- olisi