Amazon RedShift je hitro, razširljivo, varno in popolnoma upravljano skladišče podatkov, ki vam omogoča enostavno in stroškovno učinkovito analizo vseh vaših podatkov s standardnim SQL. Amazonov rdeči premik Skupna raba podatkov strankam omogoča varno skupno rabo živih, transakcijsko skladnih podatkov v eni gruči Amazon Redshift z drugo gruči Amazon Redshift med računi in regijami, ne da bi bilo treba kopirati ali premikati podatke iz ene gruče v drugo.
Amazon Redshift Data Sharing je bil prvotno predstavljen leta marec 2021in dodana podpora za skupno rabo podatkov med računi avgust 2021. Medregionalna podpora je postala splošno dostopna v februar 2022. To zagotavlja popolno prilagodljivost in agilnost za skupno rabo podatkov med gručami Redshift v istem računu AWS, različnih računih ali različnih regijah.
Skupna raba podatkov Amazon Redshift se uporablja za temeljno redefiniranje arhitektur uvedbe Amazon Redshift v model podatkovne mreže z napero, da bi bolje izpolnjeval pogodbe o ravni zmogljivosti, zagotavljal izolacijo delovne obremenitve, izvajal analitiko med skupinami, enostavno vključil nove primere uporabe in, kar je najpomembnejše, izvajal vse to brez zapletenosti prenosa podatkov in kopij podatkov. Nekatera najpogostejša vprašanja, zastavljena med uvajanjem skupne rabe podatkov, so: »Kako veliki naj bodo moji potrošniški in proizvajalski grozdi?« In »Kako naj dosežem najboljšo cenovno zmogljivost za izolacijo delovne obremenitve?«. Ker lahko značilnosti delovne obremenitve, kot so velikost podatkov, stopnja vnosa, vzorec poizvedb in vzdrževalne dejavnosti, vplivajo na uspešnost skupne rabe podatkov, je treba uvesti stalno strategijo za določanje velikosti gruče potrošnikov in proizvajalcev, da bi povečali učinkovitost in zmanjšali stroške. V tej objavi ponujamo pristop po korakih, ki vam pomaga določiti velikost grozdov proizvajalcev in potrošnikov za najboljšo cenovno zmogljivost glede na vašo specifično delovno obremenitev.
Splošna navodila za določanje velikosti za potrošnike
Naslednji koraki prikazujejo generično strategijo za velikost vaših proizvajalskih in potrošniških grozdov. Lahko ga uporabite kot izhodišče in ga ustrezno spremenite, da bo ustrezal vašemu specifičnemu scenariju uporabe.
Velikost grozda proizvajalcev
Vedno poskrbite, da boste pravilno določili velikost gruče proizvajalcev, da boste dosegli zmogljivost, ki jo potrebujete za izpolnjevanje pogodbe o ravni storitev. Izkoristite lahko kalkulator velikosti iz konzole Amazon Redshift, da dobite priporočilo za gručo proizvajalcev na podlagi velikosti vaših podatkov in značilnosti poizvedbe. Iskati Pomagaj mi izbrati na konzoli v regijah AWS, ki podpirajo vrste vozlišč RA3, da uporabite ta kalkulator velikosti. Upoštevajte, da je to le začetno priporočilo za začetek, zato morate preizkusiti izvajanje celotne delovne obremenitve na gruči začetne velikosti in ustrezno prilagoditi velikost gruče navzgor in navzdol, da dobite najboljšo cenovno zmogljivost.
Velikost in nastavitev začetne gruče potrošnikov
Velikost gruče potrošnikov morate vedno določiti glede na vaše računalniške potrebe. Eden od načinov za začetek je, da sledite splošnemu vodniku za določanje velikosti gruče, ki je podoben zgornjemu grozdu proizvajalcev.
Nastavite skupno rabo podatkov Amazon Redshift
Nastavite skupno rabo podatkov od proizvajalca do potrošnika, ko imate nastavljeno gručo proizvajalca in potrošnika. Sklicujte se na to objava za navodila o tem, kako nastaviti skupno rabo podatkov.
Preizkusite samo delovno obremenitev potrošnikov na začetni gruči potrošnikov
Preizkusite delovno obremenitev samo za potrošnike na novi začetni gruči potrošnikov. To lahko storite tako, da usmerite potrošniške aplikacije, na primer orodja ETL, aplikacije BI in odjemalce SQL, na novo potrošniško gručo in ponovno zaženete delovno obremenitev, da ocenite zmogljivost glede na vaše zahteve.
Preizkusite samo delovno obremenitev potrošnikov na različnih konfiguracijah gruče potrošnikov
Če začetna velikost porabniške gruče ustreza ali presega vaše zahteve glede zmogljivosti delovne obremenitve, lahko bodisi nadaljujete z uporabo te konfiguracije gruče ali pa preizkusite na manjših konfiguracijah, da vidite, ali lahko dodatno zmanjšate stroške in še vedno dosežete zmogljivost, ki jo potrebujete.
Po drugi strani pa, če porabniška gruča začetne velikosti ne izpolnjuje vaših zahtev glede zmogljivosti delovne obremenitve, lahko dodatno preizkusite večje konfiguracije, da dobite konfiguracijo, ki ustreza vašemu SLA.
Praviloma porabniško gručo postopoma povečajte za 2-kratno začetno konfiguracijo gruče, dokler ne izpolni vaših zahtev glede delovne obremenitve.
Ko načrtujete, katero konfiguracijo želite preizkusiti, uporabite elastično spreminjanje velikosti, da spremenite velikost začetne gruče v konfiguracijo ciljne gruče. Ko je elastična sprememba velikosti končana, izvedite isti preizkus delovne obremenitve in ocenite zmogljivost glede na vaš SLA. Izberite konfiguracijo, ki ustreza vaši ciljni ceni.
Delovna obremenitev samo preizkusnega proizvajalca na različnih konfiguracijah gruče proizvajalcev
Ko svojo potrošniško delovno obremenitev premaknete v potrošniško gručo z optimalno cenovno zmogljivostjo, lahko pride do priložnosti za zmanjšanje računalniških virov proizvajalca in tako prihranite pri stroških.
Če želite to doseči, lahko znova zaženete samo delovno obremenitev proizvajalca na 1/2x prvotne velikosti proizvajalca in ocenite zmogljivost delovne obremenitve. Ustrezno spreminjanje velikosti gruče navzgor in navzdol je odvisno od rezultata, nato pa izberete minimalno konfiguracijo proizvajalca, ki ustreza vašim zahtevam glede zmogljivosti delovne obremenitve.
Ponovno ocenite po polni delovni obremenitvi skozi čas
Ker se Amazon Redshift še naprej razvija in obstajajo stalne izdaje za izboljšanje zmogljivosti in razširljivosti, se bo zmogljivost deljenja podatkov še naprej izboljševala. Poleg tega lahko številne spremenljivke vplivajo na učinkovitost poizvedb za skupno rabo podatkov. Sledi le nekaj primerov:
- Hitrost vnosa in količina podatkov se spremenita
- Poizvedbeni vzorec in značilnost
- Spremembe delovne obremenitve
- Konkurenca
- Vzdrževalne dejavnosti, na primer vakuum, analiza in ATO
Zato morate občasno znova oceniti velikost gruče proizvajalcev in potrošnikov z uporabo zgornje strategije, zlasti po uvedbi polne delovne obremenitve, da pridobite novo najboljšo cenovno zmogljivost iz konfiguracije vaše gruče.
Avtomatizirane rešitve velikosti
Če je vaše okolje vključevalo bolj zapleteno arhitekturo, na primer z več orodji ali aplikacijami (BI, zaužitje ali pretakanje, ETL, podatkovna znanost), potem morda ne bo mogoče uporabiti ročne metode iz zgornjih splošnih navodil. Namesto tega lahko izkoristite rešitve v tem razdelku za samodejno ponovno predvajanje delovne obremenitve iz vaše produkcijske gruče na preskusnih porabniških in proizvajalskih gručah, da ocenite zmogljivost.
Preprost pripomoček za ponovno predvajanje bo uporabljen kot avtomatizirana rešitev, ki vas bo vodila skozi proces pridobivanja prave velikosti grozdov proizvajalcev in potrošnikov za najboljšo cenovno učinkovitost.
Simple Replay je orodje za izvajanje analize kaj če in ocenjevanje delovanja vaše delovne obremenitve v različnih scenarijih. Z orodjem lahko na primer primerjate svojo dejansko delovno obremenitev na novi vrsti primerka, kot je RA3, ocenite novo funkcijo ali ocenite različne konfiguracije gruče. Vključuje tudi izboljšano podporo za ponovno predvajanje cevovodov za vnos podatkov in izvoz s stavkoma COPY in UNLOAD. Če želite začeti in znova predvajati svoje delovne obremenitve, prenesite orodje iz Repozitorij Amazon Redshift GitHub.
Tukaj se popeljemo skozi korake za ekstrahiranje vaših dnevnikov delovne obremenitve iz izvorne proizvodne gruče in njihovo ponovno predvajanje v izoliranem okolju. To vam omogoča, da brezhibno izvedete neposredno primerjavo med temi gruči Amazon Redshift in izberete konfiguracijo gruč, ki najbolje ustreza vaši ciljni cenovni uspešnosti.
Naslednji diagram prikazuje arhitekturo rešitve.
Rešitev za rešitev
Sledite tem korakom, če želite iti skozi rešitev za velikost svojih gruče potrošnikov in proizvajalcev.
Povečajte svoj proizvodni grozd
Vedno poskrbite za pravilno velikost obstoječe produkcijske gruče, da zagotovite zmogljivost, ki jo potrebujete za izpolnjevanje zahtev glede delovne obremenitve. Izkoristite lahko kalkulator velikosti iz konzole Amazon Redshift, da dobite priporočilo o proizvodnem grozdu na podlagi velikosti vaših podatkov in značilnosti poizvedbe. Iskati Pomagaj mi izbrati na konzoli v regijah AWS, ki podpirajo vrste vozlišč RA3, da uporabite ta kalkulator velikosti. Upoštevajte, da je to le prvo priporočilo za začetek. Preizkusite izvajanje celotne delovne obremenitve na gruči začetne velikosti in ustrezno prilagodite velikost gruče gor in dol, da dobite najboljšo cenovno zmogljivost.
Določite delovno obremenitev, ki bo izolirana
Morda imate različne delovne obremenitve, ki se izvajajo v vaši izvirni gruči, vendar je prvi korak identificirati najbolj kritično delovno obremenitev za podjetje, ki jo želimo izolirati. To je zato, ker se želimo prepričati, da lahko nova arhitektura izpolnjuje vaše zahteve glede delovne obremenitve. to objava je dobra referenca o primeru uporabe izolacije delovne obremenitve pri skupni rabi podatkov, ki vam lahko pomaga pri odločitvi, katero delovno obremenitev je mogoče izolirati.
Nastavitev Simple Replay
Ko spoznate svojo kritično delovno obremenitev, morate omogoči revizijsko beleženje v vaši produkcijski gruči, kjer se izvaja zgoraj opredeljena kritična delovna obremenitev za zajemanje poizvedbenih dejavnosti in shranjevanje Storitev Amazon Simple Storage (Amazon S3). Upoštevajte, da lahko traja do tri ure, da se revizijski dnevniki dostavijo Amazonu S3. Ko je revizijski dnevnik na voljo, nadaljujte z nastavitev Simple Replay in nato ekstrakt kritično delovno obremenitev iz revizijskega dnevnika. Upoštevajte, da lahko start_time in end_time uporabite kot parametra za filtriranje kritične delovne obremenitve, če se te delovne obremenitve izvajajo v določenih časovnih obdobjih, na primer od 9 do 11. V nasprotnem primeru bo izvlekel vse zabeležene dejavnosti.
Osnovna delovna obremenitev
Z obnovitvijo iz produkcijskega posnetka ustvarite osnovno gručo z enako konfiguracijo kot proizvajalska gruča. Namen začetka z isto konfiguracijo je izhodišče zmogljivosti z izoliranim okoljem.
Ko je osnovna gruča na voljo, Replay ekstrahirano delovno obremenitev v osnovni gruči. Rezultat tega predvajanja bo osnova, uporabljena za primerjavo z naslednjimi ponovitvami na različnih konfiguracijah potrošnikov.
Nastavite začetne preskusne gruče proizvajalca in potrošnika
Ustvarite gručo proizvajalcev z isto konfiguracijo produkcijske gruče z obnovitvijo iz posnetka proizvodnje. Ustvarite skupino potrošnikov s priporočeno začetno velikostjo potrošnikov iz prejšnjih navodil. Poleg tega nastavite izmenjavo podatkov med proizvajalcem in potrošnikom.
Ponovno predvajanje delovne obremenitve začetnega proizvajalca in potrošnika
Ponovi samo delovna obremenitev proizvajalca na gruči proizvajalcev začetne velikosti. To lahko dosežete s parametrom filtra »Izključi«, da izključite poizvedbe potrošnikov, na primer uporabnika, ki izvaja poizvedbe potrošnikov.
Ponovi delovna obremenitev samo potrošnika na gruči potrošnikov začetne velikosti. To lahko dosežete s parametrom filtra »Vključi«, da izključite poizvedbe potrošnikov, na primer uporabnika, ki izvaja poizvedbe potrošnikov.
Ocenite zmogljivost teh ponovnih predvajanj glede na osnovne zahteve in zahteve glede zmogljivosti delovne obremenitve.
Ponovno predvajajte delovno obremenitev potrošnikov na različnih konfiguracijah
Če začetna velikost porabniške gruče ustreza ali presega vaše zahteve glede zmogljivosti delovne obremenitve, potem lahko uporabite to konfiguracijo gruče ali pa sledite tem korakom za testiranje na manjših konfiguracijah, da vidite, ali lahko dodatno zmanjšate stroške in še vedno dosežete zmogljivost, ki jo potrebujete.
Primerjajte začetne rezultate učinkovitosti potrošnikov z zahtevami glede delovne obremenitve:
- Če rezultat presega vaše zahteve glede zmogljivosti delovne obremenitve, potem lahko postopoma zmanjšate velikost gruče potrošnikov, začenši z 1/2x, znova poskusite ponoviti in ocenite zmogljivost, nato povečate ali zmanjšate ustrezno velikost glede na rezultat, dokler ne doseže vaše delovne obremenitve. zahteve. Namen je pridobiti ugodno točko, kjer ste zadovoljni z zahtevami glede zmogljivosti, in dobiti najnižjo možno ceno.
- Če rezultat ne izpolnjuje vaših zahtev glede zmogljivosti delovne obremenitve, lahko postopoma povečate velikost gruče, začenši z 2-kratno prvotno velikostjo, znova poskusite ponoviti in ocenite zmogljivost, dokler ne izpolni vaših zahtev glede zmogljivosti delovne obremenitve.
Ponovno predvajajte delovno obremenitev proizvajalca v različnih konfiguracijah
Ko svoje delovne obremenitve razdelite na porabniške gruče, je treba obremenitev proizvajalske gruče zmanjšati in oceniti morate zmogljivost delovne obremenitve svoje proizvajalske gruče, da poiščete priložnost za zmanjšanje in prihranek pri stroških.
Koraki so podobni ponovnemu predvajanju potrošnikov. Elastično spreminjajte velikost gruče proizvajalcev postopoma, začenši z 1/2x prvotne velikosti, ponovno predvajajte samo delovno obremenitev proizvajalca in ocenite zmogljivost, nato pa dodatno spreminjajte velikost navzgor ali navzdol, dokler ne izpolni vaših zahtev glede zmogljivosti delovne obremenitve. Namen je pridobiti ugodno točko, kjer ste zadovoljni z zahtevami glede zmogljivosti delovne obremenitve, in dobiti najnižjo možno ceno. Ko imate želeno konfiguracijo gruče proizvajalcev, poskusite znova predvajati porabniške delovne obremenitve na gruči potrošnikov, da se prepričate, da spremembe konfiguracije gruče proizvajalcev niso vplivale na delovanje. Končno bi morali sočasno predvajati delovne obremenitve proizvajalca in potrošnika, da zagotovite, da je zmogljivost dosežena v scenariju polne delovne obremenitve.
Ponovno ocenite po polni delovni obremenitvi skozi čas
Podobno kot pri splošnih smernicah bi morali občasno ponovno oceniti velikost grozdov proizvajalcev in potrošnikov z uporabo prejšnje strategije, zlasti po uvedbi polne delovne obremenitve, da pridobite novo najboljšo cenovno zmogljivost iz konfiguracije gruče.
Čiščenje
Izvajanje teh testov določanja velikosti v vašem računu AWS ima lahko nekaj stroškovnih posledic, ker zagotavlja nove gruče Amazon Redshift, ki se lahko zaračunajo kot primerki na zahtevo, če nimate rezerviranih primerkov. Ko dokončate ocene, priporočamo, da izbrišete gruče Amazon Redshift, da prihranite stroške. Priporočamo tudi, da začasno ustavite svoje gruče, ko niso v uporabi.
Uporaba Amazon Redshift in najboljših praks za skupno rabo podatkov
Ustrezna velikost vaših proizvajalskih in potrošniških grozdov vam bo dala dober začetek za doseganje najboljše cenovne uspešnosti vaše uvedbe Amazon Redshift. Vendar velikost ni edini dejavnik, ki lahko poveča vašo učinkovitost. V tem primeru sta razumevanje in upoštevanje najboljših praks enako pomembna.
Splošne najboljše prakse za uravnavanje zmogljivosti Amazon Redshift veljajo za uvedbo skupne rabe podatkov. Prepričajte se, da vaša uvedba sledi tem najboljše prakse.
Obstajajo številne posebne najboljše prakse za skupno rabo podatkov, ki jih morate upoštevati, da boste zagotovili največjo učinkovitost. Sklicujte se na to objava Za več podrobnosti.
Povzetek
Ni priporočila, ki bi ustrezalo vsem, glede velikosti grozdov proizvajalcev in potrošnikov. Razlikuje se glede na delovne obremenitve in vašo zmogljivost SLA. Namen te objave je zagotoviti smernice za to, kako lahko ocenite svojo specifično zmogljivost delovne obremenitve skupne rabe podatkov, da določite tako velikost gruče potrošnikov kot proizvajalcev, da dosežete najboljšo cenovno zmogljivost. Razmislite o testiranju svojih delovnih obremenitev na proizvajalcu in potrošniku z uporabo preprostega predvajanja, preden ga sprejmete v proizvodnji, da dobite najboljšo cenovno zmogljivost.
O avtorjih
BP Yau je Sr Product Manager pri AWS. Strastno želi pomagati strankam pri načrtovanju rešitev za velike količine podatkov za obdelavo podatkov v velikem obsegu. Pred AWS je pomagal Amazon.com Supply Chain Optimization Technologies preseliti svoje podatkovno skladišče Oracle v Amazon Redshift in zgraditi svojo naslednjo generacijo platforme za analitiko velikih podatkov z uporabo tehnologij AWS.
Sidhanth Muralidhar je glavni tehnični vodja računa pri AWS. Dela z velikimi podjetniškimi strankami, ki svoje delovne obremenitve izvajajo na AWS. Navdušen je nad delom s strankami in jim pomaga načrtovati delovne obremenitve za stroške, zanesljivost, zmogljivost in operativno odličnost v velikem obsegu na njihovem potovanju v oblak. Zelo ga zanima tudi podatkovna analitika.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/how-to-get-best-price-performance-from-your-amazon-redshift-data-sharing-deployment/
- 100
- a
- O meni
- nad
- ustrezno
- Račun
- računi
- Doseči
- doseže
- čez
- dejavnosti
- dodano
- Sprejem
- po
- proti
- vsi
- omogoča
- vedno
- Amazon
- Amazon.com
- znesek
- Analiza
- analitika
- analizirati
- in
- Še ena
- primerno
- aplikacije
- pristop
- Arhitektura
- Revizija
- Avtomatizirano
- samodejno
- Na voljo
- AWS
- temeljijo
- Izhodišče
- ker
- pred
- merilo
- BEST
- najboljše prakse
- Boljše
- med
- Big
- Big Podatki
- izgradnjo
- poslovni
- zajemanje
- primeru
- primeri
- nekatere
- verige
- Spremembe
- Značilnost
- lastnosti
- zaračuna
- stranke
- Cloud
- Grozd
- COM
- udobna
- Skupno
- primerjate
- Primerjava
- dokončanje
- Končana
- kompleksna
- kompleksnost
- Izračunajte
- vodenje
- konfiguracija
- Razmislite
- dosledno
- Konzole
- Potrošnik
- naprej
- se nadaljuje
- neprekinjeno
- strošek
- stroški
- bi
- ustvarjajo
- kritično
- Stranke, ki so
- datum
- Podatkovna analiza
- znanost o podatkih
- izmenjavo podatkov
- dostavi
- odvisno
- uvajanje
- Podrobnosti
- Ugotovite,
- drugačen
- neposredna
- dont
- navzdol
- prenesi
- med
- enostavno
- bodisi
- omogoča
- okrepljeno
- Podjetje
- okolje
- enako
- zlasti
- Eter (ETH)
- oceniti
- vrednotenja
- razvija
- Primer
- Primeri
- presega
- Odličnost
- obstoječih
- izvoz
- ekstrakt
- ne uspe
- FAST
- izvedljivo
- Feature
- filter
- končno
- prva
- prilagodljivost
- sledi
- po
- sledi
- iz
- polno
- v osnovi
- nadalje
- Poleg tega
- Gain
- splošno
- generacija
- dobili
- pridobivanje
- GitHub
- Daj
- Go
- dobro
- vodi
- pomoč
- pomagal
- pomoč
- URE
- Kako
- Kako
- Vendar
- HTTPS
- identificirati
- identificirati
- vpliv
- prizadeti
- izvajali
- posledice
- Pomembno
- Izboljšanje
- izboljšanju
- in
- vključuje
- Povečajte
- začetna
- na začetku
- primer
- Namesto
- obresti
- vključeni
- izolirani
- izolacija
- IT
- Potovanje
- Keen
- Vedite
- velika
- večja
- začela
- Lets
- Vzvod
- v živo
- obremenitev
- Poglej
- vzdrževanje
- Znamka
- upravitelj
- Navodilo
- Povečajte
- Srečati
- ustreza
- Metoda
- morda
- selitev
- minimalna
- Model
- več
- Najbolj
- premikanje
- Gibanje
- več
- Nimate
- potrebujejo
- potrebe
- Novo
- Naslednja
- Vozel
- številne
- priložnost
- Na krovu
- ONE
- operativno
- Priložnost
- optimizacija
- Optimalno
- Oracle
- izvirno
- Ostalo
- drugače
- parameter
- parametri
- strastno
- Vzorec
- opravlja
- performance
- opravlja
- obdobja
- Načrt
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- mogoče
- Prispevek
- vaje
- prejšnja
- Cena
- , ravnateljica
- Postopek
- Proizvajalec
- Izdelek
- produktni vodja
- proizvodnja
- pravilno
- zagotavljajo
- zagotavlja
- Namen
- vprašanja
- Oceniti
- Priporočamo
- Priporočilo
- priporočeno
- zmanjša
- Zmanjšana
- regije
- Izpusti
- zanesljivost
- Zahteve
- pridržane
- vir
- obnavljanje
- povzroči
- Rezultati
- Pravilo
- Run
- tek
- Enako
- Shrani
- Prilagodljivost
- razširljive
- Lestvica
- scenariji
- Znanost
- brez težav
- Oddelek
- zavarovanje
- Varno
- Seek
- Storitev
- nastavitev
- Delite s prijatelji, znanci, družino in partnerji :-)
- delitev
- shouldnt
- Prikaži
- Razstave
- Podoben
- Enostavno
- Velikosti
- velikosti
- manj
- Posnetek
- Rešitev
- rešitve
- nekaj
- vir
- specifična
- po delih
- Komercialni
- standardna
- Začetek
- začel
- Začetek
- Izjave
- Korak
- Koraki
- Še vedno
- shranjevanje
- trgovina
- Strategija
- pretakanje
- kasneje
- dobavi
- dobavne verige
- Optimizacija dobavne verige
- podpora
- sladka
- Bodite
- ciljna
- tehnični
- Tehnologije
- Test
- Testiranje
- testi
- O
- Vir
- njihove
- 3
- skozi
- čas
- do
- orodje
- orodja
- Vrste
- razumevanje
- uporaba
- primeru uporabe
- uporabnik
- Vakuumska
- Kaj
- ki
- WHO
- bo
- brez
- deluje
- deluje
- Vaša rutina za
- zefirnet