See postitus on kirjutatud koos Genworth Mortgage Insurance Australia Limitedi andmeteadlase Liam Pearsoniga.
Genworth Mortgage Insurance Australia Limited on Austraalia juhtiv laenuandjate hüpoteegikindlustuse (LMI) pakkuja; nende aktsiatega kaubeldakse Austraalia börsil ASX: GMA nime all.
Genworth Mortgage Insurance Australia Limited on laenuandja hüpoteegikindlustusandja, kellel on üle 50-aastane kogemus ja kogutud andmed, sealhulgas andmed hüpoteegi tagasimaksete ja kindlustusnõuete vahelise sõltuvuse kohta. Genworth soovis seda ajaloolist teavet kasutada kahjude vähendamise (PALM) masinõppe (ML) mudelite koolitamiseks. ML-mudelite abil sai Genworth analüüsida iga kindlustuspoliisi hiljutisi tagasimaksemustreid, et seada need tähtsuse järjekorda tõenäosuse (nõude tõenäosus) ja mõju (kindlustussumma) kahanevas järjekorras. Genworth soovis käivitada ML-mudelitel partiipõhiseid järeldusi paralleelselt ja ajakava järgi, hoides samal ajal lahenduse loomise ja käitamise jõupingutused minimaalsed. Seetõttu valisid Genworth ja AWS Amazon SageMaker partii teisendustööd ja serverivabad ehitusplokid andmete neelamiseks ja teisendamiseks, ML-i järelduste tegemiseks ning analüüsi tulemuste töötlemiseks ja avaldamiseks.
Genworthi Advanced Analytics meeskond tegeles AWS-i andmelabor programm, mida juhivad Data Labi insenerid ja lahendusarhitektid. Laborieelses etapis lõid nad lahenduse arhitektuuri, mis vastaks Genworthi konkreetsetele nõuetele, eriti turvakontrolli osas, arvestades finantsteenuste valdkonna olemust. Pärast arhitektuuri kinnitamist ja kõigi AWS-i ehitusplokkide tuvastamist määrati koolitusvajadused. AWS Solutions Architects viis läbi rea praktilisi töötubasid, et anda Genworthi ehitajatele uue lahenduse ehitamiseks vajalikud oskused. 4-päevases intensiivses koostöös, mida nimetatakse ehitusfaasiks, kasutas Genworth Advanced Analyticsi tiim arhitektuuri ja õpitut, et luua nende funktsionaalsetele nõuetele vastav ML-konveier. Torujuhe on täielikult automatiseeritud ja serverita, mis tähendab, et puuduvad hooldus-, skaleerimisprobleemid ega seisakud. Laborijärgsed tegevused keskendusid torujuhtme tootmisele ja selle kasutuselevõtule muude ML-i kasutusjuhtude kavandina.
Selles postituses selgitame meie (Genworthi ja AWS-i arhitektide ühine meeskond), kuidas lähenesime lahenduse kavandamisele ja juurutamisele, parimaid tavasid, mida järgisime, kasutatud AWS-i teenuseid ja lahenduse arhitektuuri põhikomponente.
Lahenduse ülevaade
Genworthi jaoks PALM-lahenduse juurutamiseks järgisime kaasaegset ML-i torujuhtme mustrit. Muster võimaldab andmete sissevõtmist erinevatest allikatest, millele järgneb andmete teisendamine, rikastamine ja puhastamine, seejärel ML-i prognoosimise etapid, mis lõpetavad tarbimiseks kättesaadavaks tehtud tulemustega koos väljundi andmete segamisega või ilma.
Lühidalt, rakendatud lahendusel on kolm komponenti:
- Andmete sissevõtmine ja ettevalmistamine
- ML partii järeldus, kasutades kolme kohandatud ML mudelit
- Andmete järeltöötlus ja avaldamine tarbimiseks
Alljärgnevalt on realiseeritud lahenduse arhitektuuriskeem.
Arutleme kolme komponendi üle üksikasjalikumalt.
1. komponent: andmete sissevõtmine ja ettevalmistamine
Genworthi lähteandmed avaldatakse kord nädalas nende Oracle'i asutusesisese andmebaasi etapitabelis. ML-konveier algab tähega AWS liim töö (samm 1, andmete sisestamine diagrammil), mis loob ühenduse Oracle'i andmebaasiga AWS Direct Connect VPN-iga kaitstud ühendus töötlemata andmete allalaadimiseks ja nende krüpteeritud salvestamiseks Amazoni lihtne salvestusteenus (Amazon S3) kopp. Seejärel käivitatakse Pythoni kestatöö, kasutades AWS-liimi (2. samm, andmete ettevalmistamine), et valida, puhastada ja teisendada ML-i järeldamistoimingutes kasutatud funktsioonid. Tulemused salvestatakse teise krüpteeritud S3 ämbrisse, mida kasutatakse kureeritud andmekogumite jaoks, mis on valmis ML-tarbimiseks.
2. komponent: ML partii järeldus
Genworthi Advanced Analytics meeskond on juba ruumides ML-i kasutanud. Nad soovisid uuesti kasutada eelkoolitatud mudeliartefakte, et rakendada AWS-is täielikult automatiseeritud ML-i järelduste konveier. Lisaks soovis meeskond luua tulevaste ML-katsete ja rakenduste jaoks arhitektuurse mustri, mis võimaldaks neil kontrollitud keskkonnas ideid kiiresti korrata ja testida.
Kolm olemasolevat PALM-mudeli moodustavat ML-artefakti rakendati Kerase abil hierarhilise TensorFlow närvivõrgu mudelina. Mudelid püüavad ennustada kindlustuspoliisi kahjunõude esitamise tõenäosust, kahju hüvitamise hinnangulist tõenäosust ja selle võimaliku kahju suurust.
Kuna iga ML-mudelit õpetatakse erinevatele andmetele, tuleb sisendandmed vastavalt standardida. Individuaalsed AWS Glue Pythoni kestatööd teostavad selle iga mudeli jaoks spetsiifilise andmete standardimise. Paralleelselt käivitatakse kolm ML-mudelit SageMakeri partii teisendus töid (3. samm, ML-i partii ennustamine), et teostada ML-i järeldus ja salvestada ennustustulemused mudeli väljundite S3 ämbrisse. SageMakeri partii teisendus haldab arvutusressursse, installib ML-mudeli, haldab andmeedastust Amazon S3 ja ML-mudeli vahel ning skaleerib hõlpsalt, et teha järeldusi kogu andmekogumi kohta.
3. komponent: andmete järeltöötlus ja avaldamine
Enne kui kolme ML-mudeli ennustustulemused on kasutamiseks valmis, vajavad nad mitmeid järeltöötlusetappe, mis viidi läbi AWS Glue Pythoni kestatöid kasutades. Tulemused koondatakse ja hinnatakse (samm 4, PALM-i hindamine), rakendatakse ärireegleid (5. toiming, ärireeglid), loodud failid (6. samm, kasutajafailide genereerimine) ja failides olevad andmed, mis on kinnitatud (samm 7, valideerimine) enne avaldades nende sammude väljundi tagasi tabelisse Oracle'i kohapealses andmebaasis (8. samm, tulemuste edastamine). Lahendus kasutab Amazoni lihtne teavitusteenus (Amazon SNS) ja Amazon CloudWatchi sündmused kasutajate teavitamiseks meili teel, kui uued andmed muutuvad kättesaadavaks või ilmnevad probleemid (10. samm, hoiatused ja märguanded).
Kõik ML-konveieri etapid on lahtisidestatud ja orkestreeritud kasutades AWS-i astmefunktsioonid, mis annab Genworthile juurutamise lihtsuse, võimaluse keskenduda tellingute asemel äriloogikale ning paindlikkuse, mida nad vajavad tulevasteks katseteks ja muudeks ML kasutusjuhtudeks. Järgmine diagramm näitab ML-konveieri orkestreerimist Step Functions olekumasina abil.
Ärikasu ja mis edasi
Moodsa ML-platvormi loomisega suutis Genworth automatiseerida täieliku ML-i järeldamisprotsessi, mis neelab andmeid Oracle'i andmebaasist ruumides, teostab ML-operatsioone ja aitab ettevõttel teha andmepõhiseid otsuseid. Masinõpe aitab Genworthil lihtsustada kahjude leevendamise meeskonna tehtud väärtuslikku käsitsitööd.
See Data Labi kaasamine on näidanud, kui oluline on teha kaasaegsed ML- ja analüüsitööriistad organisatsioonisiseste meeskondade jaoks kättesaadavaks. See on olnud märkimisväärne kogemus, mis näitab, kui kiiresti saab ideed katsetada ja kui see õnnestub, siis produtseerida.
Selles postituses näitasime teile, kui lihtne on AWS-i andmeanalüüsi ja ML-teenustega suures mahus serverita ML-konveieri loomine. Nagu arutasime, saate AWS Glue'i kasutada serverita hallatud ETL-i töötlemistöö jaoks ja SageMakerit kõigi oma ML-i vajaduste jaoks. Kõike paremat teie ehitamisel!
Genworth, Genworth Financial ja Genworthi logo on ettevõtte Genworth Financial, Inc. registreeritud teenusemärgid ja neid kasutatakse litsentsi alusel.
Autoritest
Liam Pearson on Genworth Mortgage Insurance Australia Limitedi andmeteadlane, kes ehitab ja juurutab ML-mudeleid ettevõtte erinevatele meeskondadele. Vabal ajal naudib Liam elavat muusikat, ujumist ja – nagu tõeline aastatuhande – naudib purustatud avokaadot.
Maria Sokolova on Amazon Web Servicesi lahenduste arhitekt. Ta aitab ettevõtete klientidel pärandsüsteeme moderniseerida ja kiirendab kriitilisi projekte, pakkudes tehnilisi teadmisi ja juhiseid ümberkujundamiseks seal, kus neid kõige rohkem vajatakse.
Vamshi Krishna Enabothala on AWS-i andmelabori lahenduste arhitekt. Vamshi töötab klientidega nende kasutusjuhtudel, kavandab lahendusi nende äriprobleemide lahendamiseks ja aitab neil luua skaleeritavat prototüüpi. Väljaspool tööd on Vamshi RC-entusiast, ehitab ja mängib RC-seadmeid (autod, paadid ja droonid) ning naudib ka aiatööd.
- &
- 100
- 7
- tegevus
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- Amazon
- Amazon SageMaker
- Amazon Web Services
- analüüs
- analytics
- arhitektuur
- ümber
- Austraalia
- Automatiseeritud
- AWS
- BEST
- parimaid tavasid
- ehitama
- Ehitus
- äri
- autod
- juhtudel
- nõuete
- puhastamine
- koostöö
- Arvutama
- tarbimine
- Kliendid
- andmed
- Andmete analüüs
- andmeteadlane
- andmebaas
- edastamine
- Disain
- detail
- seisakuaeg
- Drones
- Inseneride
- ettevõte
- ettevõtte kliendid
- keskkond
- seadmed
- vahetamine
- FUNKTSIOONID
- finants-
- finantsteenused
- sobima
- Paindlikkus
- Keskenduma
- tulevik
- andmine
- Kuidas
- HTTPS
- idee
- mõju
- Inc
- Kaasa arvatud
- tööstus
- info
- kindlustus
- küsimustes
- IT
- töö
- Tööturg
- pidamine
- keras
- Võti
- juhtivate
- õppimine
- Led
- litsents
- piiratud
- logo
- masinõpe
- Tegemine
- ML
- mudel
- Hüpoteek
- muusika
- võrk
- Neural
- Närvivõrgus
- teade
- Operations
- oraakel
- et
- Muu
- Muster
- inimesele
- Poliitika
- poliitika
- ennustus
- Ennustav analüüs
- Programm
- projektid
- avaldama
- Kirjastamine
- Python
- Töötlemata
- algandmed
- Nõuded
- Vahendid
- Tulemused
- eeskirjade
- jooks
- salveitegija
- Skaala
- ketendamine
- turvalisus
- Seeria
- Serverita
- Teenused
- Aktsiad
- Shell
- Lühike
- lihtne
- oskused
- Lahendused
- LAHENDAGE
- riik
- varu
- ladustamine
- salvestada
- edukas
- ujumine
- süsteemid
- Tehniline
- tensorivool
- test
- liiges
- aeg
- koolitus
- Transformation
- Kasutajad
- VPN
- web
- veebiteenused
- iga nädal
- WHO
- jooksul
- Töö
- töötab
- aastat