Ta objava je napisana skupaj z Amirjem Souchamijem in Fabianom Szenkierjem iz Unityja.
Aura iz Unity (prej znan kot ironSource) je tržni standard za ustvarjanje bogatih izkušenj z napravami, ki pritegnejo in obdržijo stranke. Z zmogljivim naborom rešitev Aura omogoča popolno digitalno transformacijo, ki operaterjem omogoča promocijo ključnih storitev zunaj trgovine, neposredno na napravi.
Amazon RedShift je priporočena storitev za delovne obremenitve spletne analitične obdelave (OLAP), kot so podatkovna skladišča v oblaku, podatkovne borze in druge analitične shrambe podatkov. Preprost SQL lahko uporabite za analizo strukturiranih in polstrukturiranih podatkov, operativnih baz podatkov in podatkovnih jezer, da zagotovite najboljšo ceno/zmogljivost v katerem koli obsegu. The Skupna raba podatkov Amazon Redshift funkcija zagotavlja takojšen, razdrobljen in visoko zmogljiv dostop brez kopij podatkov in premikanja podatkov v več skladiščih podatkov Redshift v istem ali različnih računih AWS in med regijami AWS. Skupna raba podatkov omogoča dostop do podatkov v živo, tako da vedno vidite najbolj posodobljene in dosledne informacije, ko so posodobljene v podatkovnem skladišču.
Amazon Redshift brez strežnika omogoča enostavno izvajanje in prilagajanje analitike v nekaj sekundah, ne da bi bilo treba nastaviti in upravljati gruče podatkovnega skladišča. Redshift Serverless samodejno zagotavlja in inteligentno prilagaja zmogljivost skladišča podatkov, da zagotovi hitro delovanje tudi za najzahtevnejše in nepredvidljive delovne obremenitve, plačate pa samo za tisto, kar porabite. Svoje podatke lahko naložite in takoj začnete izvajati poizvedbe v urejevalniku poizvedb Amazon Redshift ali v svojem najljubšem orodju poslovne inteligence (BI) in še naprej uživate v najboljši ceni/zmogljivosti in znanih funkcijah SQL v okolju, ki je preprosto za uporabo in brez administracije. .
V tem prispevku opisujemo Aurovo uspešno in hitro sprejetje Redshift Serverless, ki ji je omogočilo, da optimizira čas svojih oglaševalskih kampanj za oglaševanje ponudb s 24 ur na 2 uri. Raziskujemo, zakaj je Aura izbrala to rešitev in katere tehnološke izzive je pomagala rešiti.
Aura-in začetni podatkovni cevovod
Aura je pionir pri uporabi gruče Redshift RA3 s skupno rabo podatkov za ekstrakcijo, transformacijo in nalaganje (ETL) in delovne obremenitve BI. Ena od Aurinih dejavnosti je licitiranje oglaševalskih akcij. Te oglaševalske akcije so optimizirane z uporabo postopka ponudb na osnovi umetne inteligence, ki zahteva izvajanje več sto analitičnih poizvedb na oglaševalsko akcijo. Te poizvedbe se izvajajo na podatkih, ki se nahajajo v gruči Redshift, opremljeni z RA3.
Integrirani cevovod je sestavljen iz različnih storitev AWS:
Naslednji diagram prikazuje to arhitekturo.
Izzivi začetne arhitekture
Poizvedbe za vsako akcijo se izvajajo na naslednji način:
Najprej pripravljalna poizvedba filtrira in združuje neobdelane podatke ter jih pripravlja za nadaljnjo operacijo. Temu sledi glavna poizvedba, ki izvaja logiko glede na niz rezultatov pripravljalne poizvedbe.
Ker je število kampanj naraščalo, je morala Aura's Data ekipa izvajati na stotine sočasnih poizvedb za vsakega od teh korakov. Aura-ina obstoječa predvidena gruča je bila že močno uporabljena z delovnimi obremenitvami za vnos podatkov, ETL in BI, zato so iskali stroškovno učinkovite načine za izolacijo te delovne obremenitve z namenskimi računalniškimi viri.
Skupina je ocenila različne možnosti, vključno s prenosom podatkov v Amazon S3 in arhitekturo z več gručami, ki uporablja skupno rabo podatkov in Redshift brez strežnika. Ekipa je gravitirala k večgručni arhitekturi s souporabo podatkov, saj ne zahteva prepisovanja poizvedbe, omogoča namensko računanje za to posebno delovno obremenitev, izogiba se potrebi po podvajanju ali premikanju podatkov iz glavne gruče ter zagotavlja visoko sočasnost in samodejno skaliranje. Nazadnje, zaračunava se po modelu plačaj za tisto, kar uporabiš, zagotavljanje pa je preprosto in hitro.
Dokaz koncepta
Po oceni možnosti se je skupina Aura's Data odločila izvesti dokaz koncepta z uporabo Redshift Serverless kot porabnika njihove glavne gruče, ki jo zagotavlja Redshift, in deliti samo ustrezne tabele za izvajanje zahtevanih poizvedb. Redshift Serverless meri zmogljivost skladišča podatkov v procesorskih enotah Redshift (RPU). En RPU zagotavlja 16 GB pomnilnika, končna točka brez strežnika pa lahko obsega od 8 RPU do 512 RPU.
Skupina Aura's Data je začela dokaz koncepta z uporabo brezstrežniške končne točke Redshift 256 RPU in postopoma zniževala RPU, da bi zmanjšala stroške, hkrati pa zagotavljala, da je čas izvajanja poizvedbe nižji od zahtevanega cilja.
Sčasoma se je ekipa odločila, da bo kot osnovni RPU uporabila končno točko Redshift Serverless s 128 RPU (2 TB RAM), medtem ko bo uporabila funkcijo samodejnega skaliranja Redshift Serverless, ki omogoča izvajanje na stotine sočasnih poizvedb s samodejnim povečanjem RPU po potrebi.
Nova rešitev podjetja Aura z Redshift Serverless
Po uspešnem dokazu koncepta je nastavitev proizvodnje vključevala dodajanje kode za preklapljanje med omogočeno gručo Redshift in končno točko Redshift Serverless. To je bilo storjeno z uporabo nastavljivega praga, ki temelji na številu poizvedb, ki čakajo na obdelavo v določeni temi MSK, uporabljeni na začetku cevovoda. Poizvedbe za manjše oglaševalske akcije bi se še vedno izvajale v pripravljeni gruči, poizvedbe velikega obsega pa bi uporabljale končno točko Redshift Serverless. Nova rešitev uporablja cevovod Amazon MWAA, ki pridobi informacije o konfiguraciji iz tabele DynamoDB, porabi opravila, ki predstavljajo oglaševalske akcije, in nato zažene na stotine opravil EKS, sproženih z uporabo EKSPodOperator. Vsako opravilo zažene dve zaporedni poizvedbi (pripravljalni poizvedbi, ki ji sledi glavna poizvedba, ki izpiše rezultate v Amazon S3). To se zgodi nekaj stokrat hkrati z uporabo računalniških virov Redshift Serverless.
Nato postopek sproži drug niz operaterjev EKSPodOperator za izvajanje kode za usposabljanje AI na podlagi rezultatov podatkov, ki so bili shranjeni na Amazon S3.
Naslednji diagram prikazuje arhitekturo rešitev.
Rezultat
Skupni čas delovanja cevovoda se je zmanjšal s 24 ur na samo 2 uri, kar je 12-kratno izboljšanje. Ta integracija Redshift Serverless, skupaj z deljenjem podatkov, je vodila do 90-odstotnega zmanjšanja trajanja cevovoda, kar je izničilo potrebo po podvajanju podatkov ali prepisovanju poizvedbe. Poleg tega je uvedba namenskega porabnika kot ekskluzivnega računalniškega vira znatno razbremenila proizvajalčev grozd, kar je omogočilo še hitrejše izvajanje poizvedb majhnega obsega.
»Redshift Serverless in skupna raba podatkov sta nam omogočila, da zagotovimo in povečamo zmogljivost našega podatkovnega skladišča, da zagotovimo hitro delovanje, visoko sočasnost in obvladujemo zahtevne delovne obremenitve ML z zelo minimalnim naporom.«
– Amir Souchami, Aura glavni arhitekt tehničnih sistemov.
Učenja
Aura's Data ekipa je zelo osredotočena na delo na stroškovno učinkovit način in je zato implementirala več kontrol stroškov v svojo končno točko Redshift Serverless:
- Omejite skupno porabo tako, da nastavite a največja omejitev porabe RPU-ur (na dan, teden, mesec) za delovno skupino. Aura je to omejitev konfigurirala tako, da bo Amazon Redshift, ko je dosežena, poslala opozorilo ustrezni skupini skrbnikov Amazon Redshift. Ta funkcija omogoča tudi pisanje vnosa v sistemsko tabelo in celo izklop uporabniških poizvedb.
- Uporaba največja konfiguracija RPU, ki določa zgornjo mejo računalniških virov, ki jih Redshift Serverless lahko uporablja kadar koli. Ko je največja omejitev RPU nastavljena za delovno skupino, Redshift Serverless skalira znotraj te omejitve, da nadaljuje z izvajanjem delovne obremenitve.
- Izvajati pravila za spremljanje poizvedb ki preprečujejo potratno uporabo virov in nenadne stroške, ki jih povzročijo slabo napisane poizvedbe.
zaključek
Podatkovno skladišče je ključni del vsakega sodobnega podatkovno vodenega podjetja, ki vam omogoča, da odgovorite na zapletena poslovna vprašanja in zagotovite vpogled. Razvoj Amazon Redshift je Auri omogočil hitro prilagoditev poslovnim zahtevam s kombiniranjem izmenjave podatkov med oskrbovanimi in Redshift Serverless podatkovnimi skladišči. Aurino potovanje z Redshift Serverless poudarja ogromen potencial strateške tehnološke integracije pri spodbujanju učinkovitosti in operativne odličnosti.
Če je Aurino potovanje vzbudilo vaše zanimanje in razmišljate o uvedbi podobne rešitve v svoji organizaciji, je tukaj nekaj strateških korakov, ki jih morate upoštevati:
- Začnite tako, da temeljito razumete potrebe vaše organizacije po podatkih in kako jih lahko taka rešitev obravnava.
- Obrnite se na strokovnjake AWS, ki vam lahko zagotovijo navodila na podlagi lastnih izkušenj. Razmislite o sodelovanju na seminarjih, delavnicah ali spletnih forumih, ki razpravljajo o teh tehnologijah. Za začetek priporočamo naslednje vire:
- Pomemben del tega potovanja bi bila izvedba dokaza koncepta. Takšne praktične izkušnje bodo zagotovile dragocene vpoglede, preden se premaknete v proizvodnjo.
Izboljšajte svoje strokovno znanje Redshift. Že uživate v moči Amazon Redshift? Izboljšajte svoje podatkovno potovanje z najnovejše funkcije in strokovnim vodstvom. Obrnite se na svojo namensko ekipo za račun AWS za prilagojeno podporo, odkrijte vrhunske zmogljivosti in odklenite še večjo vrednost svojih podatkov z Amazonov rdeči premik.
O avtorjih
Amir Souchami, glavni arhitekt Aura iz podjetja Unity, ki se osredotoča na ustvarjanje prožnih in zmogljivih sistemov v oblaku in mobilnih aplikacij v velikem obsegu.
Fabian Szenkier je arhitekt ML in Big Data pri Aura by Unity, dela na gradnji sodobnih rešitev AI/ML in najsodobnejših cevovodov za podatkovni inženiring v velikem obsegu.
Liat Tzur je višji tehnični vodja računa pri Amazon Web Services. Služi kot zagovornica strank in pomaga svojim strankam pri doseganju operativne odličnosti v oblaku v skladu z njihovimi poslovnimi cilji.
Adi Jabkowski je višji specialist za Redshift v EMEA, del Svetovne specialistične organizacije (WWSO) pri AWS.
Yonatan Dolan je glavni strokovnjak za analitiko pri Amazon Web Services. Nahaja se v Izraelu in strankam pomaga izkoristiti analitične storitve AWS za izkoriščanje podatkov, pridobivanje vpogledov in ustvarjanje vrednosti.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/how-aura-from-unity-revolutionized-their-big-data-pipeline-with-amazon-redshift-serverless/
- :ima
- : je
- $GOR
- 100
- 11
- 16
- 2%
- 24
- 8
- a
- dostop
- Dostop do podatkov
- Po
- Račun
- računi
- doseganju
- čez
- Ad
- prilagodijo
- dodajanje
- Naslov
- uprava
- Sprejetje
- oglas
- zagovornik
- agregati
- AI
- AI usposabljanje
- AI / ML
- Opozorite
- poravnava
- dovoljene
- omogoča
- že
- Prav tako
- vedno
- Amazon
- Amazon Web Services
- an
- Analitično
- analitika
- analizirati
- in
- Še ena
- odgovor
- kaj
- aplikacije
- Arhitektura
- SE
- Umetnost
- AS
- pomaga
- At
- Aura
- avto
- Samodejno
- samodejno
- Izogibanje
- stran
- AWS
- baza
- temeljijo
- BE
- pred
- Začetek
- spodaj
- BEST
- med
- Ponudba
- Big
- Big Podatki
- zaračunano
- Building
- poslovni
- Poslovna inteligenca
- by
- Akcija
- Kampanje
- CAN
- Zmogljivosti
- kapaciteta
- povzročilo
- izzivi
- izziv
- šef
- izbral
- Cloud
- Grozd
- Koda
- združevanje
- podjetje
- dokončanje
- kompleksna
- Sestavljeno
- Izračunajte
- Koncept
- sočasno
- Ravnanje
- konfiguracija
- konfigurirano
- Razmislite
- upoštevamo
- dosledno
- porabi
- Potrošnik
- naprej
- Nadzor
- kopije
- strošek
- stroškovno učinkovito
- stroški
- skupaj
- Ustvarjanje
- ključnega pomena
- Stranke, ki so
- vrhunsko
- datum
- izmenjavo podatkov
- podatkovno skladišče
- skladišča podatkov
- Podatkov usmerjenih
- baze podatkov
- dan
- odločil
- namenjen
- Določa
- poda
- zahtevno
- drift
- opisati
- naprava
- diagram
- drugačen
- digitalni
- Digitalni Transformation
- neposredno
- odkriti
- razpravlja
- opravljeno
- vožnjo
- trajanje
- vsak
- enostaven za uporabo
- urednik
- učinkovitosti
- prizadevanje
- EMEA
- omogočena
- omogoča
- omogočanje
- Končna točka
- sodelovati
- angažiran
- Inženiring
- okrepi
- uživajte
- uživanje
- Vpis
- okolje
- Eter (ETH)
- ocenili
- ocenjevanje
- Tudi
- evolucija
- Odličnost
- Ekskluzivno
- obstoječih
- izkušnje
- Doživetja
- strokovnjak
- strokovno znanje
- Strokovnjaki
- raziskuje
- ekstrakt
- seznanjeni
- FAST
- hitreje
- Priljubljeni
- Feature
- Lastnosti
- Filtri
- osredotočena
- osredotoča
- sledili
- po
- za
- prej
- forumi
- iz
- Gain
- pridobivanje
- dana
- Cilji
- postopoma
- zrnat
- več
- zrasla
- Navodila
- ročaj
- hands-on
- se zgodi
- plezalni pas
- he
- močno
- pomagal
- Pomaga
- jo
- tukaj
- visoka
- visokozmogljivo
- zelo
- URE
- Kako
- HTTPS
- sto
- Stotine
- ponazarja
- izvajati
- izvajali
- izvajanja
- Pomembno
- Izboljšanje
- in
- vključeno
- Vključno
- Podatki
- začetna
- Iniciatorji
- vpogledi
- instant
- integrirana
- integracija
- Intelligence
- obresti
- Predstavitev
- Izrael
- IT
- Job
- Delovna mesta
- Potovanje
- jpg
- samo
- Ključne
- znano
- jezera
- obsežne
- nazadnje
- Led
- najem
- Vzvod
- LIMIT
- v živo
- obremenitev
- nahaja
- Logika
- si
- spuščen
- Glavne
- velika
- IZDELA
- Izdelava
- upravljanje
- upravitelj
- Način
- Tržna
- največja
- ukrepe
- Spomin
- minimalna
- ML
- Mobilni
- mobile-aplikacije
- Model
- sodobna
- spremljanje
- mesec
- Poleg tega
- Najbolj
- premikanje
- Gibanje
- premikanje
- več
- nujnost
- Nimate
- potrebna
- potrebe
- Novo
- nova rešitev
- št
- Številka
- of
- off
- on
- ONE
- na spletu
- samo
- Delovanje
- operativno
- operacije
- operaterji
- Optimizirajte
- optimizirana
- možnosti
- or
- Organizacija
- Ostalo
- naši
- ven
- izhodi
- zunaj
- Splošni
- lastne
- del
- Plačajte
- za
- performance
- Prilagojene
- Pionir
- plinovod
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Prispevek
- potencial
- moč
- močan
- Priprava
- priprava
- preprečiti
- , ravnateljica
- Postopek
- obdelani
- obravnavati
- Proizvajalec
- proizvodnja
- spodbujanje
- dokazilo
- dokaz koncepta
- zagotavljajo
- zagotavlja
- zagotavljanje
- poizvedbe
- poizvedba
- vprašanja
- Hitri
- hitro
- RAM
- območje
- Surovi
- surovi podatki
- dosežejo
- dosegel
- priporočeno
- zmanjša
- Zmanjšana
- Zmanjšanje
- regije
- pomembno
- predstavljajo
- obvezna
- Zahteve
- zahteva
- prebiva
- odporno
- vir
- viri
- povzroči
- Rezultati
- ohranijo
- revolucionirala
- prepisovanje
- Rich
- Pravica
- Run
- tek
- deluje
- runtime
- Enako
- shranjena
- Lestvica
- luske
- skaliranje
- sekund
- glej
- pošljite
- višji
- serijska
- Brez strežnika
- služi
- Storitev
- Storitve
- nastavite
- nastavitev
- nastavitev
- več
- delitev
- je
- bistveno
- Podoben
- Enostavno
- sam
- So
- Rešitev
- rešitve
- SOLVE
- nekaj
- iskala
- specialist
- specifična
- preživeti
- SQL
- standardna
- Začetek
- začel
- Država
- Koraki
- Še vedno
- trgovina
- trgovine
- naravnost
- Strateško
- strukturirano
- kasneje
- uspešno
- taka
- podpora
- Preverite
- SWIFT
- Preklop
- sistem
- sistemi
- miza
- ciljna
- skupina
- tech
- tehnični
- tehnološki
- Tehnologije
- da
- O
- njihove
- Njih
- POTEM
- zato
- te
- jih
- ta
- temeljito
- Prag
- čas
- krat
- do
- orodje
- temo
- proti
- usposabljanje
- Transform
- Preoblikovanje
- sprožilo
- Obračalni
- dva
- poudarja
- razumevanje
- enote
- enotnosti
- odklepanje
- nepredvidljivo
- up-to-date
- posodobljeno
- us
- Uporaba
- uporaba
- uporabnik
- uporablja
- uporabo
- uporaba
- uporablja
- dragocene
- vrednost
- raznolikost
- različnih
- Popravljeno
- zelo
- Čakam
- Skladišče
- je
- načini
- we
- web
- spletne storitve
- teden
- so bili
- Kaj
- kdaj
- ki
- medtem
- WHO
- zakaj
- bo
- z
- v
- brez
- Delovna skupina
- deluje
- deluje
- Delavnice
- po vsem svetu
- bi
- pisanje
- pisni
- jo
- Vaša rutina za
- zefirnet
- nič