Ezt a bejegyzést Liam Pearsonnal, a Genworth Mortgage Insurance Australia Limited adattudósával közösen írták.
Genworth A Mortgage Insurance Australia Limited a hitelezői jelzálogbiztosítás (LMI) vezető szolgáltatója Ausztráliában; részvényeiket az ausztrál tőzsdén ASX: GMA néven forgalmazzák.
A Genworth Mortgage Insurance Australia Limited több mint 50 éves tapasztalattal és gyűjtött adatmennyiséggel rendelkező hitelező jelzálogbiztosító, beleértve a jelzáloghitel-visszafizetési szokások és a biztosítási igények közötti függőségre vonatkozó adatokat. Genworth ezeket az előzményadatokat akarta felhasználni a prediktív elemzés a veszteségcsökkentéshez (PALM) gépi tanulási (ML) modellekhez. Az ML modellekkel a Genworth elemezni tudta az egyes biztosítási kötvények legutóbbi törlesztési mintáit, hogy a valószínűség (kárigény) és a hatás (biztosítási összeg) szerint csökkenő sorrendben rangsorolja azokat. Genworth párhuzamosan és ütemezetten akarta futtatni a kötegelt következtetést az ML modelleken, miközben a minimálisra csökkentette a megoldás felépítéséhez és működtetéséhez szükséges erőfeszítéseket. Ezért Genworth és az AWS úgy döntött Amazon SageMaker kötegelt átalakítási feladatok és kiszolgáló nélküli építőelemek az adatok feldolgozásához és átalakításához, ML következtetések végrehajtásához, valamint az elemzés eredményeinek feldolgozásához és közzétételéhez.
A Genworth Advanced Analytics csapata egy AWS Data Lab program a Data Lab mérnökei és megoldástervezői által vezetett. A labor előtti fázisban olyan megoldás-architektúrát hoztak létre, amely megfelel a Genworth specifikus követelményeinek, különösen a biztonsági ellenőrzések terén, tekintettel a pénzügyi szolgáltatási ágazat természetére. Az architektúra jóváhagyása és az összes AWS építőelem azonosítása után meghatározták a képzési igényeket. Az AWS Solutions Architects gyakorlati workshopok sorozatát tartotta, hogy a Genworth építőit ellássa az új megoldás elkészítéséhez szükséges készségekkel. A Genworth Advanced Analytics csapata egy 4 napos intenzív együttműködésben, amelyet összeállítási fázisnak neveznek, az architektúrát és a tanultakat használta fel a funkcionális követelményeiknek megfelelő ML folyamat létrehozására. A folyamat teljesen automatizált és kiszolgáló nélküli, ami azt jelenti, hogy nincsenek karbantartási, skálázási problémák vagy állásidő. A labor utáni tevékenységek a csővezeték termékesítésére és más ML felhasználási esetekre való átvételére összpontosultak.
Ebben a bejegyzésben mi (a Genworth és az AWS Architects közös csapata) elmagyarázzuk, hogyan közelítettük meg a megoldás tervezését és megvalósítását, az általunk követett legjobb gyakorlatokat, az általunk használt AWS-szolgáltatásokat és a megoldásarchitektúra kulcsfontosságú összetevőit.
Megoldás áttekintése
A modern ML-folyamatmintát követtük a PALM-megoldás bevezetésekor a Genworth számára. A minta lehetővé teszi a különböző forrásokból származó adatok bevitelét, majd az adatok átalakítását, dúsítását és tisztítását, majd az ML előrejelzési lépéseket, amelyek befejeződnek a fogyasztásra elérhető eredményekkel a kimenet adatcsavarásával vagy anélkül.
Röviden, a megvalósított megoldás három összetevőből áll:
- Adatbevitel és előkészítés
- ML kötegelt következtetés három egyedi fejlesztésű ML modell segítségével
- Adatok utólagos feldolgozása és fogyasztási célú közzététele
Az alábbiakban a megvalósított megoldás architektúra diagramja látható.
Beszéljük meg részletesebben a három összetevőt.
1. komponens: Adatbevitel és előkészítés
A Genworth-forrásadatokat hetente teszik közzé az Oracle helyszíni adatbázisában lévő állomásozási táblázatban. Az ML-folyamat an-val kezdődik AWS ragasztó feladat (1. lépés, Adatfeldolgozás, a diagramban) csatlakozik az Oracle adatbázishoz egy AWS Direct Connect VPN-sel védett kapcsolat a nyers adatok feldolgozásához és titkosított tárolására Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör. Ezután egy Python shell-feladat fut az AWS Glue segítségével (2. lépés, Adat-előkészítés) a későbbiekben az ML-következtetési lépésekben használt szolgáltatások kiválasztásához, tisztításához és átalakításához. Az eredményeket egy másik titkosított S3 tárolóban tárolják, amelyet az ML-felhasználásra kész, kurált adatkészletekhez használnak.
2. komponens: ML köteg következtetés
A Genworth Advanced Analytics csapata már használta az ML-t a helyszínen. Újra fel akarták használni az előképzett modelltermékeket egy teljesen automatizált ML következtetési folyamat megvalósításához az AWS-en. Ezen túlmenően a csapat olyan építészeti mintát akart kialakítani a jövőbeli ML-kísérletek és -megvalósítások számára, amelyek lehetővé teszik számukra az ötletek gyors iterálását és tesztelését ellenőrzött környezetben.
A PALM modellt alkotó három létező ML műterméket hierarchikus TensorFlow neurális hálózati modellként valósították meg Keras segítségével. A modellek arra törekszenek, hogy megjósolják a biztosítási kötvény kárbejelentésének valószínűségét, a kár kifizetésének becsült valószínűségét, valamint a lehetséges kár nagyságát.
Mivel minden egyes ML-modell más-más adatokra tanít, a bemeneti adatokat ennek megfelelően szabványosítani kell. Az egyes AWS Glue Python shell-feladatok elvégzik ezt az adatszabványosítást az egyes modellekre vonatkozóan. Három ML modellt hívunk meg párhuzamosan SageMaker kötegelt transzformáció feladatokat (3. lépés, ML kötegelőrejelzés) az ML következtetés végrehajtásához, és az előrejelzés eredményeit a modell kimeneti S3 gyűjtőjében tárolja. A SageMaker kötegelt transzformáció kezeli a számítási erőforrásokat, telepíti az ML-modellt, kezeli az Amazon S3 és az ML-modell közötti adatátvitelt, és könnyen skálázható, hogy a teljes adatkészletre lehessen következtetést levonni.
3. komponens: Adatok utófeldolgozása és közzététele
Mielőtt a három ML-modell előrejelzési eredményei használatra készen állnak, egy sor utófeldolgozási lépésre van szükség, amelyeket az AWS Glue Python shell-feladatokkal hajtottak végre. Az eredményeket összesítik és pontozzák (4. lépés, PALM pontozás), az üzleti szabályokat (5. lépés, Üzleti szabályok), a generált fájlokat (6. lépés, Felhasználói fájlok generálása) és a fájlok adatait (7. lépés, Ellenőrzés) korábban ellenőrizte. ezen lépések kimenetének közzététele a helyszíni Oracle-adatbázis táblájában (8. lépés, az eredmények kézbesítése). A megoldás használ Amazon Simple Notification Service (Amazon SNS) és Amazon CloudWatch események a felhasználók értesítése e-mailben, amikor az új adatok elérhetővé válnak, vagy bármilyen probléma merül fel (10. lépés, Figyelmeztetések és értesítések).
Az ML folyamat minden lépése le van választva és a segítségével hangszerelve AWS lépésfunkciók, amely lehetővé teszi a Genworth számára a könnyű implementációt, azt a lehetőséget, hogy az állványzat helyett az üzleti logikára összpontosítson, valamint azt a rugalmasságot, amelyre a jövőbeni kísérletekhez és más ML használati esetekhez szükségük van. A következő diagram az ML folyamatirányítást mutatja Step Functions állapotgép használatával.
Üzleti haszon és mi a következő lépés
Egy modern ML-platform felépítésével Genworth képes volt automatizálni egy végpontok közötti ML-következtetési folyamatot, amely az Oracle-adatbázisból telephelyen feldolgozza az adatokat, ML-műveleteket hajt végre, és segíti az üzletet adatvezérelt döntések meghozatalában. A gépi tanulás segít a Genworthnek leegyszerűsíteni a nagy értékű kézi munkát, amelyet a veszteségcsökkentési csapat végez.
Ez a Data Lab elköteleződés megmutatta annak fontosságát, hogy a modern ML és elemző eszközöket elérhetővé tegyék a szervezeten belüli csapatok számára. Figyelemre méltó tapasztalat volt, hogy milyen gyorsan lehet egy ötletet kipróbálni, és ha sikeres, akkor gyártásba is állítani.
Ebben a bejegyzésben megmutattuk, milyen egyszerű a szerver nélküli ML-folyamat nagy méretekben történő felépítése az AWS Data Analytics és ML szolgáltatások segítségével. Amint azt már megbeszéltük, az AWS Glue-t használhatja kiszolgáló nélküli, felügyelt ETL-feldolgozási feladatokhoz, a SageMaker-t pedig minden ML-igényéhez. Minden jót az építkezéshez!
A Genworth, a Genworth Financial és a Genworth logó a Genworth Financial, Inc. bejegyzett szolgáltatási védjegyei, amelyeket licenc alapján használnak.
A szerzőkről
Liam Pearson a Genworth Mortgage Insurance Australia Limited adattudósa, aki ML modelleket épít és telepít az üzleten belüli különböző csapatok számára. Szabadidejében Liam szívesen néz élőzenét, úszik, és – mint egy igazi millenniumi – élvezi az összetört avokádót.
Mária Sokolova az Amazon Web Services megoldástervezője. Segít a vállalati ügyfeleknek a régebbi rendszerek korszerűsítésében, és felgyorsítja a kritikus projekteket azáltal, hogy műszaki szakértelmet és átalakítási útmutatást ad ott, ahol a legnagyobb szükség van rájuk.
VAmshi Krishna Enabothala Data Lab Solutions Architect az AWS-nél. A Vamshi együttműködik az ügyfelekkel a használati eseteiken, megoldást tervez üzleti problémáik megoldására, és segít nekik egy méretezhető prototípus elkészítésében. A munkán kívül Vamshi RC-rajongó, RC-berendezéseket (autókat, csónakokat és drónokat) épít és játszik velük, emellett kertészkedni is szeret.
- &
- 100
- 7
- tevékenységek
- Minden termék
- lehetővé téve
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- elemzés
- analitika
- építészet
- körül
- Ausztrália
- Automatizált
- AWS
- BEST
- legjobb gyakorlatok
- épít
- Épület
- üzleti
- autók
- esetek
- követelések
- Takarításra
- együttműködés
- Kiszámít
- fogyasztás
- Ügyfelek
- dátum
- Adatelemzés
- adattudós
- adatbázis
- átadó
- Design
- részlet
- állásidő
- Drónok
- Mérnökök
- Vállalkozás
- vállalati ügyfelek
- Környezet
- felszerelés
- csere
- Jellemzők
- pénzügyi
- pénzügyi szolgáltatások
- megfelelő
- Rugalmasság
- Összpontosít
- jövő
- Giving
- Hogyan
- HTTPS
- ötlet
- Hatás
- Inc.
- Beleértve
- ipar
- információ
- biztosítás
- kérdések
- IT
- Munka
- Állások
- tartás
- keras
- Kulcs
- vezető
- tanulás
- Led
- Engedély
- Korlátozott
- logo
- gépi tanulás
- Gyártás
- ML
- modell
- Jelzálog
- zene
- hálózat
- ideg-
- neurális hálózat
- bejelentés
- Művelet
- jóslat
- érdekében
- Más
- Mintás
- emelvény
- Politikák
- politika
- előrejelzés
- Prediktív elemzés
- Program
- projektek
- közzétesz
- Kiadás
- Piton
- Nyers
- nyers adatok
- követelmények
- Tudástár
- Eredmények
- szabályok
- futás
- sagemaker
- Skála
- skálázás
- biztonság
- Series of
- vagy szerver
- Szolgáltatások
- Megoszt
- Héj
- rövid
- Egyszerű
- készségek
- Megoldások
- SOLVE
- Állami
- készlet
- tárolás
- tárolni
- sikeres
- úszás
- Systems
- Műszaki
- tensorflow
- teszt
- az ízület
- idő
- Képzések
- Átalakítás
- Felhasználók
- VPN
- háló
- webes szolgáltatások
- heti
- WHO
- belül
- Munka
- művek
- év