Selle postituse kaasautor on Best Eggi Tristan Miller.
Parim muna on juhtiv finantskindluse platvorm, mis pakub laenutooteid ja ressursse, mis on keskendunud sellele, et aidata inimestel end oma igapäevaste rahaasjade haldamisel enesekindlamalt tunda. Alates 2014. aasta märtsist on Best Egg väljastanud 22 miljardi dollari väärtuses tarbimislaene, millel on tugev krediidivõime, võtnud vastu peaaegu 637,000 180,000 liiget hiljuti käivitatud Best Egg Financial Healthi platvormil ja andnud rohkem kui XNUMX XNUMX kaardiliikmele, kes kannavad oma rahakotis uut Best Eggi krediitkaarti.
Amazon SageMaker on täielikult hallatav masinõppe (ML) teenus, mis pakub erinevaid tööriistu ML-mudelite koostamiseks, koolitamiseks, optimeerimiseks ja juurutamiseks. SageMaker pakub automaatne mudeli häälestamine, mis haldab varustuse ja arvutustaristu haldamise diferentseerimata rasket tõstmist, et käitada mitu iteratsiooni ja valida koolitusest optimeeritud mudelikandidaat.
Et aidata teil tõhusalt häälestada vajalikke hüperparameetreid ja määrata kõige paremini toimiv mudel, arutatakse selles postituses, kuidas Parim muna kasutas SageMakeri hüperparameetrite häälestamist soojad basseinid ja saavutas mudelitreeningu aja kolm korda paranemise.
Kasutusjuhtumi ülevaade
Riski krediidianalüütikud kasutavad krediidireitingu mudeleid klientidele krediitkaardi laenamisel või pakkumisel, võttes arvesse erinevaid kasutaja atribuute. See statistiline mudel loob lõpliku skoori ehk Good Bad Indicator (GBI), mis määrab, kas krediiditaotlus kinnitada või tagasi lükata. ML-i arusaamad hõlbustavad otsuste tegemist. Krediiditaotluste riski hindamiseks kasutab ML erinevaid andmeallikaid, prognoosides seeläbi kliendi võlgnevuse riski.
Väljakutse
Märkimisväärne probleem finantssektoris on see, et puudub üldtunnustatud meetod või struktuur, kuidas käsitleda tohutul hulgal võimalusi, mida tuleb igal ajal kaaluda. Raske on standardida tööriistu, mida meeskonnad kasutavad läbipaistvuse ja jälgimise edendamiseks. ML-i rakendamine võib aidata finantssektori töötajatel teha paremaid otsuseid hinnakujunduse, riskijuhtimise ja tarbijakäitumise kohta. Andmeteadlased koolitavad mitut ML-algoritmi, et uurida miljoneid tarbijaandmete kirjeid, tuvastada kõrvalekaldeid ja hinnata, kas isikul on õigus krediidi saamiseks.
SageMaker saab käivitada automatiseeritud hüperparameetrite häälestamise, mis põhineb mitmel optimeerimismeetodil, näiteks võrguotsing, Bayesi, juhuslik otsingja Hüperband. Automaatne mudelihäälestus muudab mudeli optimaalse konfiguratsiooni nullimise lihtsaks, vabastades aega ja raha, et neid paremini mujal finantssektoris kasutada. Hüperparameetrite häälestamise osana käitab SageMaker treeningu koodi mitu iteratsiooni treeningandmete komplektis erinevate hüperparameetrite kombinatsioonidega. Seejärel määrab SageMaker konfigureeritud objektiivse mõõdiku põhjal parima mudeli kandidaadi optimaalsete hüperparameetritega.
Best Egg suutis automatiseerida hüperparameetrite häälestamise SageMakeri automatiseeritud hüperparameetrite optimeerimise (HPO) funktsiooniga ja paralleelstada seda. Iga hüperparameetri häälestustöö võib aga võtta tunde ja parima mudelikandidaadi valimine võttis palju hüperparameetrite häälestustöid, mis kestsid mitme päeva jooksul. Hüperparameetrite häälestustööd võivad HPO kapoti all käitatavate iteratiivsete ülesannete olemuse tõttu olla aeglased. Iga kord, kui koolitustöö käivitatakse, toimub uute ressursside varustamine, mis kulutab palju aega enne koolituse tegelikku algust. See on levinud probleem, millega andmeteadlased oma mudeleid koolitades silmitsi seisavad. Aja tõhusus oli peamine valupunkt, sest need pikaajalised koolitustööd takistasid tootlikkust ja andmeteadlased jäid nendele töödele tundideks kinni.
Lahenduse ülevaade
Järgmine diagramm kujutab selles lahenduses kasutatud erinevaid komponente.
Best Eggi andmeteaduse meeskond kasutab Amazon SageMaker Studio Jupyteri sülearvutite ehitamiseks ja käitamiseks. SageMakeri töötlemistööd käivitage funktsioonide loomiseks sisendandmestikul funktsioonide projekteerimiskonveierid. Best Egg treenib mitut krediidimudelit, kasutades klassifitseerimis- ja regressioonialgoritme. Andmeteaduse meeskond peab mõnikord töötama piiratud koolitusandmetega, mis ulatuvad kümnete tuhandete kirjete suurusjärku, võttes arvesse nende kasutusjuhtude olemust. Best Egg juhib SageMakeri treeninguid automatiseeritud hüperparameetrite häälestamisega, mida toidab Bayesi optimeerimine. Dispersiooni vähendamiseks kasutab Best Egg koolitatud mudeli hindamiseks oma kohandatud konteineri osana k-kordset ristvalideerimist.
Koolitatud mudeliartefakt on registreeritud ja versioonis SageMakeri mudeliregister. Järeldusi käivitatakse kahel viisil – reaalajas ja partii – vastavalt kasutaja nõudmistele. Koolitatud mudeli artefakt on hostitud a SageMakeri reaalajas lõpp-punkt kasutades sisseehitatud automaatse skaleerimise ja koormuse tasakaalustamise funktsioone. Mudelit hinnatakse ka läbi partii teisendustööd planeeritud igapäevaselt. Kogu torujuhe on orkestreeritud läbi Amazon SageMakeri torujuhtmed, mis koosneb etappide jadast, nagu funktsioonide projekteerimise töötlemisetapp, koolituse häälestamisetapp ja automaatne mudeli häälestamine ning artefakti registreerimise mudelietapp.
Pidades silmas pikaajaliste hüperparameetrite häälestamise põhiprobleemi, uuris Best Egg hiljuti välja antud soojabasseinide funktsiooni, mida haldab SageMaker. SageMakeri hallatavad soojad basseinid võimaldab säilitada ja uuesti kasutada ette nähtud infrastruktuuri pärast koolitustöö lõpetamist, et vähendada latentsusaega korduvate töökoormuste puhul, nagu iteratiivne katsetamine või järjestikused tööd, kus konkreetsed töö konfiguratsiooniparameetrid, nagu eksemplari tüüp või loendus, vastavad eelmiste käitustega. See võimaldas Best Eggil olemasolevat infrastruktuuri oma korduvate koolitustööde jaoks uuesti kasutada, raiskamata aega infrastruktuuri varustamisele.
Sukelduge mudelite häälestusse ja soojade basseinide eelistesse
SageMakeri automatiseeritud mudeli häälestamine kasutab vaikimisi sooja basseini kõigi häälestamistööde jaoks august 2022 (teade). See muudab soojade basseinide eeliste kasutamise lihtsaks, kuna peate lihtsalt häälestustöö käivitama ja SageMakeri automaatne mudelihäälestus kasutab automaatselt soojabasseine järgmiste häälestuse osana käivitatavate treeningtööde vahel. Kui iga koolitustöö on lõpule jõudnud, hoitakse varustatud ressursse soojas basseinis, nii et järgmine häälestamise osana käivitatud koolitustöö algab samas kogumis minimaalse käivituskuluga.
Allolev töövoog kujutab mitmeid treeningtöid sooja basseini abil.
- Pärast esimese koolitustöö lõpetamist säilitatakse koolituseks kasutatud eksemplarid sooja basseini klastris.
- Järgmine käivitatud koolitustöö kasutab käitamiseks soojas basseinis olevat eksemplari, välistades eksemplari käivitamiseks ettevalmistamiseks vajaliku külmkäivitusaja.
- Samamoodi, kui ilmub rohkem koolitustöid, mille eksemplari tüüp, eksemplaride arv, maht ja võrgustamiskriteeriumid on sarnased sooja basseini klastri ressurssidega, kasutatakse sobitatud eksemplare tööde käitamiseks.
- Kui koolitustöö on lõpetatud, jäävad eksemplarid sooja basseini ootama uusi töid.
- Maksimaalne aeg, mille jooksul soe basseiniklaster saab jätkata järjestikuste koolitustöödega, on 7 päeva.
- Kuni klaster on terve ja soe bassein on määratud aja jooksul, on sooja basseini olek
Available
. - Soe bassein jääb
Available
kuni see tuvastab korduskasutamiseks sobiva koolitustöö. Kui sooja basseini olek onTerminated
, siis see on sooja basseini elutsükli lõpp.
- Kuni klaster on terve ja soe bassein on määratud aja jooksul, on sooja basseini olek
Järgmine diagramm illustreerib seda töövoogu.
Kuidas Best Eggist kasu oli: täiustused ja andmepunktid
Best Egg märkas, et soojade basseinide puhul jooksid nende koolitustööd SageMakeris kolm korda kiiremini. Ühes krediidimudeli projektis valiti parim mudel kaheksa erineva HPO töö hulgast, millest igaühel oli 3 iteratsiooni viie paralleelse tööga kell. aeg. Iga iteratsiooni arvutamiseks kulus umbes 40 minut, samas kui ilma sooja basseinita kulus tavaliselt 1 minutit. Protsess võttis kokku 5 tundi arvutusaega, andmeteadlase lisasisendiga lisandus umbes pool tööpäeva. Ilma soojade basseinideta oleks meie hinnangul kulunud 2 tundi, mis on tõenäoliselt jaotatud 6–2 tööpäeva peale.
kokkuvõte
Kokkuvõtteks arutati selles postituses Best Eggi äri ja ettevõtte ML maastiku elemente. Vaatasime üle, kuidas Best Egg suutis mudelitreeningut ja häälestamist kiirendada, lubades SageMakeris oma hüperparameetrite häälestustööde jaoks soojad basseinid. Samuti selgitasime, kui lihtne on lihtsa konfiguratsiooniga oma treeningtööde jaoks soojade basseinide rakendamine. AWS-is soovitame oma lugejatel uurida soojad basseinid korduvate ja korduvate koolitustööde jaoks.
Autoritest
Tristan Miller on Best Eggi juhtiv andmeteadlane. Ta koostab ja juurutab ML-mudeleid, et teha olulisi kindlustus- ja turundusotsuseid. Ta töötab välja erilahendusi konkreetsete probleemide lahendamiseks ning automatiseerimist tõhususe ja ulatuse suurendamiseks. Ta on ka osav origamist.
Valerio Perrone on AWSi rakendusteaduste juht. Ta juhib teadus- ja insenerimeeskonda, kellele kuulub Amazon SageMakeri mudelite automaatse häälestamise teenus. Valerio teadmised seisnevad suuremahuliste masinõppe ja statistiliste mudelite algoritmide väljatöötamises, keskendudes andmepõhisele otsuste tegemisele ja tehisintellekti demokratiseerimisele.
Ganapathi Krishnamoorthi on AWS-i ML-lahenduste vanemarhitekt. Ganapathi pakub alustavatele ja äriklientidele ettekirjutavaid juhiseid, aidates neil pilverakendusi ulatuslikult kavandada ja juurutada. Ta on spetsialiseerunud masinõppele ja keskendub sellele, et aidata klientidel kasutada AI/ML-i oma äritulemuste saavutamiseks. Kui ta ei tööta, meeldib talle õues avastada ja muusikat kuulata
Ajjay Govindaram on AWS-i lahenduste vanemarhitekt. Ta töötab strateegiliste klientidega, kes kasutavad AI/ML-i keerukate äriprobleemide lahendamiseks. Tema kogemused seisnevad nii tehniliste juhiste kui ka disainiabi pakkumises tagasihoidlike kuni suuremahuliste AI/ML-rakenduste juurutamiseks. Tema teadmised ulatuvad rakendusarhitektuurist suurandmete, analüütika ja masinõppeni. Talle meeldib puhates muusikat kuulata, õues kogeda ja oma lähedastega aega veeta.
Hariharan Suresh on AWSi vanemlahenduste arhitekt. Ta on kirglik andmebaaside, masinõppe ja uuenduslike lahenduste kujundamise vastu. Enne AWS-iga liitumist oli Hariharan tootearhitekt, põhipanganduse juurutamise spetsialist ja arendaja ning töötas BFSI organisatsioonidega üle 11 aasta. Väljaspool tehnikat naudib ta paraplaaniga lendamist ja jalgrattasõitu.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/best-egg-achieved-three-times-faster-ml-model-training-with-amazon-sagemaker-automatic-model-tuning/
- 000
- 1
- 100
- 11
- 2014
- 2022
- 7
- a
- Võimalik
- MEIST
- konto
- saavutada
- üle
- tegelikult
- Täiendavad lisad
- aadress
- pärast
- AI / ML
- algoritme
- võimaldab
- üksi
- Amazon
- Amazon SageMaker
- summa
- Analüütikud
- analytics
- ja
- Teadaanne
- taotlus
- rakendused
- rakendatud
- heaks kiitma
- arhitektuur
- Array
- kunstlik
- Abi
- atribuudid
- auto
- automatiseerima
- Automatiseeritud
- Automaatne
- automaatselt
- Automaatika
- AWS
- Halb
- Pangandus
- põhineb
- alus
- sest
- enne
- alla
- Kasu
- BEST
- Parem
- vahel
- BFSI
- Suur
- Big andmed
- Miljard
- juhatus
- ehitama
- Ehitus
- Ehitab
- sisseehitatud
- äri
- kandidaat
- kaart
- viima
- juhul
- juhtudel
- klassifikatsioon
- Cloud
- pilverakendused
- Cluster
- kood
- kombinatsioonid
- Tulema
- ühine
- Ettevõtte omad
- täitma
- Lõpetatud
- Lõpetab
- lõpetamist
- keeruline
- komponendid
- arvutamine
- Arvutama
- järeldus
- usaldus
- kindel
- konfiguratsioon
- järjestikune
- kaaluda
- Koosneb
- tarbija
- tarbijakäitumine
- tarbijate andmed
- Konteiner
- jätkama
- tuum
- Põhipangandus
- võiks
- kursus
- krediit
- krediitkaart
- krediidireiting
- kriteeriumid
- Rist
- tava
- klient
- Kliendid
- iga päev
- andmed
- andmeteadus
- andmeteadlane
- andmepõhistele
- andmebaasid
- päev
- Päeva
- tegelema
- otsus
- Otsuse tegemine
- otsused
- vaikimisi
- esitatud
- juurutada
- kasutuselevõtt
- juurutab
- Disain
- projekteerimine
- Määrama
- määrab
- arendaja
- arenev
- arendab
- erinev
- raske
- suund
- arutama
- arutatud
- iga
- efektiivsus
- tõhusalt
- elemendid
- abikõlblik
- kõrvaldades
- mujal
- volitatud
- võimaldades
- Inseneriteadus
- ettevõte
- ettevõtte kliendid
- hinnata
- Eeter (ETH)
- hindama
- Iga
- igapäevane
- olemasolevate
- kogemus
- kogevad
- teadmised
- selgitas
- uurida
- Avastades
- nägu
- hõlbustada
- kiiremini
- tunnusjoon
- FUNKTSIOONID
- lõplik
- rahastama
- Finances
- finants-
- rahaline tervis
- Finantssektor
- esimene
- Keskenduma
- keskendunud
- Järel
- Alates
- täielikult
- GBI
- tekitama
- genereerib
- antud
- hea
- Pool
- Tervis
- tervislik
- aitama
- aidates
- kapuuts
- võõrustas
- Lahtiolekuajad
- Kuidas
- aga
- HTML
- HTTPS
- Hüperparameetrite optimeerimine
- Hüperparameetrite häälestamine
- identifitseerib
- identifitseerima
- rakendada
- täitmine
- oluline
- paranemine
- parandusi
- in
- Suurendama
- Indikaator
- tööstus
- Infrastruktuur
- uuenduslik
- sisend
- teadmisi
- Näiteks
- IT
- iteratsioon
- kordused
- töö
- Tööturg
- liitumine
- otsuseid
- teadmised
- maastik
- suuremahuline
- Hilinemine
- algatama
- käivitatud
- viima
- juhtivate
- Leads
- õppimine
- laenud
- Pikkus
- võimendab
- tõstmine
- Tõenäoliselt
- piiratud
- Kuulamine
- koormus
- Laenud
- Pikk
- armastatud
- masin
- masinõpe
- peamine
- tegema
- TEEB
- Tegemine
- juhtima
- juhitud
- juhtimine
- juht
- haldab
- juhtiv
- palju
- Märts
- Turundus
- Vastama
- sobitatud
- sobitamine
- maksimaalne
- liikmed
- meetod
- meetriline
- Mölder
- miljonid
- minimaalne
- minut
- protokoll
- ML
- ML algoritmid
- mudel
- mudelid
- raha
- rohkem
- mitmekordne
- muusika
- loodus
- Vajadus
- vaja
- võrgustike loomine
- Uus
- järgmine
- märkmikud
- eesmärk
- pakkumine
- ONE
- optimaalselt
- optimeerimine
- optimeerima
- optimeeritud
- et
- organisatsioonid
- väljas
- väljaspool
- Valu
- Parallel
- parameetrid
- osa
- kirglik
- Inimesed
- jõudlus
- inimene
- isiklik
- Isiklikud laenud
- torujuhe
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- ujula
- Basseinid
- võimalused
- post
- sisse
- prognoosimine
- Valmistama
- eelmine
- hinnapoliitika
- Eelnev
- Probleem
- probleeme
- protsess
- töötlemine
- Toode
- tootlikkus
- Toodet
- projekt
- edendama
- annab
- pakkudes
- hinnang
- lugejad
- reaalajas
- hiljuti
- soovitama
- andmed
- vähendama
- kohta
- registreeritud
- registreerimine
- regressioon
- vabastatud
- korduv
- esindab
- nõutav
- Nõuded
- ressurss
- Vahendid
- -Läbi
- Oht
- riskijuhtimise
- jooks
- jooksmine
- salveitegija
- SageMakeri automaatne mudeli häälestamine
- sama
- Skaala
- ketendamine
- plaanitud
- teadus
- teadlane
- teadlased
- sektor
- väljavalitud
- valides
- vanem
- Jada
- Seeria
- teenus
- mitu
- märkimisväärne
- sarnane
- lihtne
- alates
- osav
- aeglane
- So
- lahendus
- Lahendused
- LAHENDAGE
- Allikad
- spetsialist
- spetsialiseeritud
- konkreetse
- määratletud
- kiirus
- Kulutused
- laiali
- algus
- käivitamisel
- statistiline
- olek
- Samm
- Sammud
- lihtne
- Strateegiline
- tugev
- struktuur
- järgnev
- selline
- Võtma
- võtmine
- ülesanded
- meeskond
- meeskonnad
- Tehniline
- tehnikat
- Tehnoloogia
- .
- oma
- sellega
- tuhandeid
- kolm
- Läbi
- aeg
- korda
- et
- töövahendid
- Summa
- Jälgimine
- Rong
- koolitatud
- koolitus
- rongid
- Muutma
- läbipaistvus
- vallandas
- tüüpiliselt
- all
- allakirjutamine
- kasutama
- Kasutaja
- kinnitamine
- sort
- eri
- maht
- ootamine
- rahakott
- soe
- tervitas
- kas
- mis
- kuigi
- WHO
- will
- jooksul
- ilma
- Töö
- töötas
- töövoog
- töötab
- oleks
- aastat
- Sinu
- sephyrnet
- null