Amazoni punane nihe on kiire, skaleeritav, turvaline ja täielikult hallatav andmeladu, mis võimaldab teil standardset SQL-i kasutades kõiki oma andmeid lihtsalt ja kulutõhusalt analüüsida. Amazoni punanihe Andmete jagamine võimaldab klientidel turvaliselt jagada reaalajas, tehinguliselt järjepidevaid andmeid ühes Amazon Redshifti klastris teise Amazon Redshifti klastriga kontode ja piirkondade vahel, ilma et oleks vaja andmeid ühest klastrist teise kopeerida või teisaldada.
Amazon Redshift Data Sharing käivitati algselt aastal märtsil 2021ja lisati kontoülese andmete jagamise tugi august 2021. Regioonideülene toetus muutus üldiselt kättesaadavaks aastal veebruar 2022. See pakub täielikku paindlikkust ja paindlikkust andmete jagamiseks Redshifti klastrite vahel samal AWS-i kontol, erinevatel kontodel või erinevates piirkondades.
Amazon Redshifti andmejagamist kasutatakse Amazon Redshifti juurutusarhitektuuride põhimõtteliseks ümberdefineerimiseks jaoturiga andmevõrgu mudeliks, et paremini täita jõudluse SLA-sid, tagada töökoormuse isoleerimine, teostada rühmadevahelist analüüsi, hõlpsasti kaasata uusi kasutusjuhtumeid ja, mis kõige tähtsam, teha kõike. seda ilma andmete liikumise ja andmete koopiate keerukuseta. Mõned kõige levinumad andmete jagamise juurutamise ajal küsitavad küsimused on järgmised: "Kui suured peaksid olema minu tarbijaklastrid ja tootjaklastrid?" ja "Kuidas töökoormuse eraldamiseks parimat hinda saada?". Kuna töökoormuse omadused, nagu andmemaht, sisestusmäär, päringumustrid ja hooldustoimingud, võivad mõjutada andmete jagamise jõudlust, tuleks rakendada pidevat strateegiat nii tarbija- kui ka tootjaklastrite suuruse suurendamiseks, et maksimeerida jõudlust ja minimeerida kulusid. Selles postituses pakume samm-sammult lähenemisviisi, mis aitab teil kindlaks määrata oma tootja- ja tarbijaklastrite suurused parima hinnataseme saavutamiseks, võttes aluseks teie konkreetse töökoormuse.
Üldine tarbija suuruse määramise juhend
Järgmised sammud näitavad üldist strateegiat teie tootja- ja tarbijaklastrite suuruse määramiseks. Saate seda kasutada lähtepunktina ja muuta vastavalt oma konkreetsele kasutusjuhtumile.
Määrake oma tootjaklastri suurus
Peaksite alati veenduma, et suurendate oma tootjaklastrit õigesti, et saavutada SLA-le vastamiseks vajalik jõudlus. Saate kasutada Amazon Redshifti konsooli suurusekalkulaatorit, et saada soovitusi tootjaklastri jaoks, mis põhineb teie andmete suurusel ja päringu karakteristikul. Otsi Aidake mul valida RA3 sõlmetüüpe toetavate AWS-piirkondade konsoolil, et seda suurusekalkulaatorit kasutada. Pange tähele, et see on vaid esialgne soovitus alustamiseks. Parima hinna toimivuse saavutamiseks peaksite katsetama kogu töökoormust esialgse suuruse klastris ning muutma klastri suurust vastavalt elastselt üles ja alla.
Algse tarbijaklastri suurus ja seadistamine
Tarbijaklastri suurust tuleks alati määrata vastavalt oma arvutusvajadustele. Üks viis alustamiseks on järgida üldist klastri suuruse määramise juhendit, mis sarnaneb ülaltoodud tootjaklastriga.
Seadistage Amazon Redshift andmete jagamine
Seadistage andmete jagamine tootjalt tarbijale, kui olete seadistanud nii tootja kui ka tarbijaklastri. Vaadake seda pärast juhiste saamiseks andmete jagamise seadistamise kohta.
Testige ainult tarbija töökoormust esialgses tarbijaklastris
Testige ainult tarbijate töökoormust uues esialgses tarbijaklastris. Seda saab teha, suunates tarbijarakendused, näiteks ETL-i tööriistad, BI-rakendused ja SQL-i kliendid, uuele tarbijaklastrile ja käivitades töökoormuse uuesti, et hinnata toimivust vastavalt teie nõuetele.
Testige ainult tarbija töökoormust erinevates tarbijaklastri konfiguratsioonides
Kui algse suurusega tarbijaklaster vastab teie töökoormuse jõudlusnõuetele või ületab selle, võite jätkata selle klastri konfiguratsiooni kasutamist või testida väiksemate konfiguratsioonidega, et näha, kas saate kulusid veelgi vähendada ja saavutada vajalik jõudlus.
Teisest küljest, kui algse suurusega tarbijaklaster ei vasta teie töökoormuse jõudlusnõuetele, saate täiendavalt testida suuremaid konfiguratsioone, et saada konfiguratsioon, mis vastab teie SLA-le.
Rusikareeglina suurendage tarbijaklastri suurust järk-järgult 2 korda võrreldes algse klastri konfiguratsiooniga, kuni see vastab teie töökoormuse nõuetele.
Kui olete planeerinud, millist konfiguratsiooni soovite testida, kasutage elastset suuruse muutmist, et muuta algse klastri suurus sihtklastri konfiguratsiooniks. Kui elastne suuruse muutmine on lõpule viidud, viige läbi sama töökoormuse test ja hinnake toimivust oma SLA suhtes. Valige konfiguratsioon, mis vastab teie hinna toimivuse eesmärgile.
Testitootja töökoormus ainult erinevate tootjaklastri konfiguratsioonide puhul
Kui viite oma tarbija töökoormuse optimaalse hinnatasemega tarbijaklastrisse, võib tekkida võimalus vähendada tootja arvutusressurssi, et kulusid kokku hoida.
Selle saavutamiseks saate ainult tootja töökoormust uuesti käivitada 1/2x algsest tootja suurusest ja hinnata töökoormuse jõudlust. Klastri suuruse suurendamine ja vähendamine sõltub tulemusest ja seejärel valite minimaalse tootja konfiguratsiooni, mis vastab teie töökoormuse jõudlusnõuetele.
Hinnake uuesti pärast täielikku töökoormust aja jooksul
Kuna Amazon Redshift areneb edasi ning pidevalt ilmub jõudlust ja mastaapsust parandavaid väljaandeid, paraneb andmete jagamise jõudlus jätkuvalt. Lisaks võivad andmete jagamise päringute toimivust mõjutada arvukad muutujad. Järgmised on vaid mõned näited.
- Neelamiskiirus ja andmemaht muutuvad
- Päringu muster ja omadus
- Töökoormuse muutused
- Kooskõla
- Hooldustoimingud, näiteks vaakum, analüüs ja ATO
Seetõttu peate aeg-ajalt, eriti pärast täielikku töökoormuse kasutuselevõttu, tootja- ja tarbijaklastri suuruse ümber hindama, kasutades ülaltoodud strateegiat, et saada oma klastri konfiguratsioonist uusi parimaid hindu.
Automatiseeritud suuruslahendused
Kui teie keskkond hõlmas keerukamat arhitektuuri, näiteks mitme tööriista või rakendusega (BI, sisestus või voogesitus, ETL, andmeteadus), ei pruugi ülaltoodud üldiste juhiste käsitsi meetodit kasutada. Selle asemel saate kasutada selles jaotises olevaid lahendusi, et jõudluse hindamiseks oma tootmisklastri töökoormust automaatselt uuesti esitada testitavatel tarbija- ja tootjaklastritel.
Lihtne taasesituse utiliit Seda kasutatakse automaatse lahendusena, mis juhendab teid parima hinnataseme saavutamiseks sobiva tootja- ja tarbijaklastri suuruse leidmisel.
Simple Replay on tööriist mis-kui-analüüsi läbiviimiseks ja teie töökoormuse toimivuse hindamiseks erinevates stsenaariumides. Näiteks saate tööriista kasutada uue eksemplaritüübi (nt RA3) tegeliku töökoormuse võrdlemiseks, uue funktsiooni hindamiseks või erinevate klastri konfiguratsioonide hindamiseks. See sisaldab ka täiustatud tuge andmete sissevõtmise ja ekspordi konveierite taasesitamiseks koos käskudega COPY ja UNLOAD. Alustamiseks ja töökoormuse taasesitamiseks laadige tööriist alla saidilt Amazon Redshift GitHubi hoidla.
Siin käsitleme samme, kuidas eraldada töökoormuse logid lähtetootmisklastrist ja esitada need isoleeritud keskkonnas uuesti. See võimaldab teil neid Amazon Redshifti klastreid sujuvalt võrrelda ja valida klastrite konfiguratsiooni, mis vastab teie hinnaeesmärgile kõige paremini.
Järgmine diagramm näitab lahenduse arhitektuuri.
Lahenduse ülevaade
Järgige neid samme, et läbida lahendus oma tarbija- ja tootjaklastrite suuruse määramiseks.
Määrake oma tootmisklastri suurus
Töökoormuse nõuete täitmiseks vajaliku jõudluse saavutamiseks peaksite alati veenduma, et olemasoleva tootmisklastri suurus oleks õige. Saate kasutada Amazon Redshift konsooli suurusekalkulaatorit, et saada soovitusi tootmisklastri kohta andmete suuruse ja päringu karakteristiku põhjal. Otsi Aidake mul valida RA3 sõlmetüüpe toetavate AWS-piirkondade konsoolil, et seda suurusekalkulaatorit kasutada. Pange tähele, et see on vaid esialgne soovitus alustamiseks. Parima hinna toimivuse saavutamiseks peaksite katsetama kogu töökoormuse käitamist algse suurusega klastris ja muutma klastri suurust elastselt vastavalt üles ja alla.
Tehke kindlaks isoleeritav töökoormus
Teie algses klastris võib olla erinev töökoormus, kuid esimene samm on tuvastada ettevõtte jaoks kõige olulisem töökoormus, mida tahame eraldada. Seda seetõttu, et tahame olla kindlad, et uus arhitektuur vastab teie töökoormuse nõuetele. See pärast on hea viide andmete jagamise töökoormuse isoleerimise kasutusjuhtumi kohta, mis aitab teil otsustada, millist töökoormust saab isoleerida.
Lihtsa taasesituse seadistamine
Kui teate oma kriitilist töökoormust, peate seda tegema lubage auditi logimine tootmisklastris, kus päringutegevuste hõivamiseks ja salvestamiseks töötab ülaltoodud kriitiline töökoormus Amazon Simple Storage Service (Amazon S3). Pange tähele, et auditilogide Amazon S3-le edastamiseks võib kuluda kuni kolm tundi. Kui auditilogi on saadaval, jätkake seadistamine Lihtne taasesitus ja siis väljavõte kriitilist töökoormust auditilogist. Pange tähele, et algusaega ja lõppaega saab kasutada parameetritena kriitilise töökoormuse välja filtreerimiseks, kui need töökoormused töötavad teatud ajaperioodidel, näiteks kella 9–11. Vastasel juhul ekstraheerib see kõik logitud tegevused.
Algne töökoormus
Looge tootjaklastriga sama konfiguratsiooniga baasklaster, taastades selle tootmise hetktõmmisest. Sama konfiguratsiooniga alustamise eesmärk on jõudluse loomine isoleeritud keskkonnaga.
Kui lähtetaseme klaster on saadaval, kordus väljavõetud töökoormus baasklastris. Selle korduse väljund on lähtejoon, mida kasutatakse erinevate tarbijakonfiguratsioonide järgnevate korduste võrdlemiseks.
Seadistage algsed tootja- ja tarbijatestiklastrid
Looge sama tootmisklastri konfiguratsiooniga tootjaklaster, taastades tootmishetkest. Looge tarbijaklaster eelmises juhendis soovitatud esialgse tarbijasuurusega. Lisaks seadistage andmete jagamine tootja ja tarbija vahel.
Esialgse tootja ja tarbija töökoormus taasesitada
Replay tootja koormab ainult esialgse suurusega tootjaklastrit. Seda saab saavutada filtriparameetri „Välista” abil, et välistada tarbijapäringuid, näiteks kasutaja, kes esitab tarbijapäringuid.
Replay tarbijal on ainult algse suurusega tarbijaklastri töökoormus. Seda saab saavutada filtriparameetri „Kaasa” abil, et välistada tarbijapäringuid, näiteks tarbijapäringuid esitava kasutaja.
Hinnake nende korduste toimivust algtaseme ja töökoormuse jõudlusnõuete alusel.
Taasesitage tarbija töökoormust erinevates konfiguratsioonides
Kui algse suurusega tarbijaklaster vastab teie töökoormuse jõudlusnõuetele või ületab selle, võite kasutada seda klastri konfiguratsiooni või järgida neid samme, et testida väiksemates konfiguratsioonides, et näha, kas saate kulusid veelgi vähendada ja siiski saavutada vajalikku jõudlust.
Võrrelge tarbijate esialgseid tulemusi oma töökoormuse nõuetega:
- Kui tulemus ületab teie töökoormuse jõudlusnõudeid, saate tarbijaklastri suurust järk-järgult vähendada, alustades 1/2-kordsest, korrata uuesti ja hinnata jõudlust ning seejärel vastavalt tulemusele suurust suurendada või vähendada, kuni see vastab teie töökoormusele. nõuded. Eesmärk on leida meeldiv koht, kus olete jõudlusnõuetega rahul ja kus saate madalaima võimaliku hinna.
- Kui tulemus ei vasta teie töökoormuse jõudlusnõuetele, saate klastri suurust järk-järgult suurendada, alustades 2x algsest suurusest, proovida uuesti esitada ja hinnata jõudlust, kuni see vastab teie töökoormuse jõudlusnõuetele.
Taasesitage tootja töökoormust erinevates konfiguratsioonides
Kui jagate oma töökoormuse tarbijaklastritele, tuleks tootjaklastri koormust vähendada ja peaksite hindama oma tootjaklastri töökoormuse jõudlust, et otsida võimalust kulude kokkuhoiuks vähendada.
Toimingud on sarnased tarbijate taasesitusega. Elastne muudab tootjaklastri suurust järk-järgult, alustades 1/2-kordsest algsest suurusest, taasesitage ainult tootja töökoormust ja hinnake jõudlust ning seejärel suurendage või vähendage suurust veelgi, kuni see vastab teie töökoormuse jõudlusnõuetele. Eesmärk on leida meeldiv koht, kus olete töökoormuse täitmise nõuetega rahul, ja saada võimalikult madalat hinda. Kui teil on soovitud tootjaklastri konfiguratsioon, proovige tarbijate töökoormust tarbijaklastris uuesti esitada, et veenduda, et tootjaklastri konfiguratsiooni muudatused ei mõjutanud jõudlust. Lõpuks peaksite samaaegselt taasesitama nii tootja kui ka tarbija töökoormust, veendumaks, et jõudlus saavutatakse kogu töökoormuse stsenaariumi korral.
Hinnake uuesti pärast täielikku töökoormust aja jooksul
Sarnaselt üldistele juhistele peaksite aeg-ajalt uuesti hindama tootja- ja tarbijaklastrite suurust, kasutades eelmist strateegiat, eriti pärast täieliku töökoormuse juurutamist, et saada oma klastri konfiguratsioonist uus parim hinnajõudlus.
Koristage
Nende suurusetestide käitamine oma AWS-i kontol võib avaldada mõningaid mõjusid kuludele, kuna see loob uusi Amazon Redshifti klastreid, mille eest võidakse nõudmisel tasu võtta, kui teil pole reserveeritud eksemplare. Kui olete hindamise lõpetanud, soovitame kulude kokkuhoiuks kustutada Amazon Redshifti klastrid. Samuti soovitame klastrid peatada, kui neid ei kasutata.
Amazon Redshifti ja andmete jagamise parimate tavade rakendamine
Nii tootja- kui ka tarbijaklastrite õige suuruse määramine annab teile hea alguse Amazon Redshifti juurutamise parima hinnataseme saavutamiseks. Kuid suurus ei ole ainus tegur, mis võib teie jõudlust maksimeerida. Sel juhul on võrdselt oluline parimate tavade mõistmine ja järgimine.
Üldised Amazon Redshift jõudluse häälestamise parimad tavad kehtivad andmete jagamise juurutamisel. Veenduge, et teie juurutamine järgiks neid parimaid tavasid.
Andmete jagamisel on palju konkreetseid parimaid tavasid, mida peaksite toimivuse maksimeerimiseks järgima. Vaadake seda pärast rohkem üksikasju.
kokkuvõte
Tootjate ja tarbijate klastri suuruse kohta pole kõigile sobivat soovitust. See sõltub töökoormusest ja teie jõudluse SLA-st. Selle postituse eesmärk on anda teile juhiseid selle kohta, kuidas hinnata oma konkreetset andmete jagamise töökoormuse toimivust, et määrata parima hinna toimimise saavutamiseks nii tarbija- kui ka tootjaklastri suurus. Kaaluge oma töökoormuse testimist tootjal ja tarbijal lihtsa taasesituse abil enne selle kasutuselevõttu tootmises, et saada parimat hinnajõudlust.
Autoritest
BP Yau on AWS-i Sr tootejuht. Ta on kirglik aidata klientidel suuri andmelahendusi koostada, et andmeid mastaapselt töödelda. Enne AWS-i aitas ta ettevõttel Amazon.com Supply Chain Optimization Technologies viia oma Oracle'i andmelao üle Amazon Redshifti ja luua AWS-tehnoloogiate abil oma järgmise põlvkonna suurandmete analüüsiplatvormi.
Sidhanth Muralidhar on AWS-i peamine tehniline kontohaldur. Ta töötab suurettevõtete klientidega, kes kasutavad oma töökoormust AWS-is. Ta on kirglik töötama klientidega ja aidates neil oma pilve teekonnal kavandada töökoormust kulude, usaldusväärsuse, jõudluse ja tipptasemel toimimise osas. Ta tunneb suurt huvi ka andmeanalüüsi vastu.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/how-to-get-best-price-performance-from-your-amazon-redshift-data-sharing-deployment/
- 100
- a
- MEIST
- üle
- vastavalt
- konto
- Kontod
- Saavutada
- saavutada
- üle
- tegevus
- lisatud
- Vastuvõtmine
- pärast
- vastu
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- alati
- Amazon
- Amazon.com
- summa
- analüüs
- analytics
- analüüsima
- ja
- Teine
- kohaldatav
- rakendused
- lähenemine
- arhitektuur
- audit
- Automatiseeritud
- automaatselt
- saadaval
- AWS
- põhineb
- Baseline
- sest
- enne
- võrrelda
- BEST
- parimaid tavasid
- Parem
- vahel
- Suur
- Big andmed
- ehitama
- äri
- lüüa
- juhul
- juhtudel
- kindel
- kett
- Vaidluste lahendamine
- iseloomulik
- omadused
- laetud
- kliendid
- Cloud
- Cluster
- COM
- mugav
- ühine
- võrdlema
- võrdlus
- täitma
- Lõpetatud
- keeruline
- keerukus
- Arvutama
- Juhtimine
- konfiguratsioon
- Arvestama
- järjepidev
- konsool
- tarbija
- jätkama
- pidev
- pidev
- Maksma
- kulud
- võiks
- looma
- kriitiline
- Kliendid
- andmed
- Andmete analüüs
- andmeteadus
- andmete jagamine
- esitatud
- sõltub
- kasutuselevõtu
- detailid
- Määrama
- erinev
- otsene
- Ära
- alla
- lae alla
- ajal
- kergesti
- kumbki
- võimaldab
- tõhustatud
- ettevõte
- keskkond
- Võrdselt
- eriti
- Eeter (ETH)
- hindama
- hindamised
- areneb
- näide
- näited
- ületab
- Excellence
- olemasolevate
- eksport
- väljavõte
- ei
- KIIRE
- teostatav
- tunnusjoon
- filtreerida
- Lõpuks
- esimene
- Paindlikkus
- järgima
- Järel
- järgneb
- Alates
- täis
- põhimõtteliselt
- edasi
- Pealegi
- kasu
- üldiselt
- põlvkond
- saama
- saamine
- GitHub
- Andma
- Go
- hea
- suunata
- aitama
- aitas
- aidates
- Lahtiolekuajad
- Kuidas
- Kuidas
- aga
- HTTPS
- tuvastatud
- identifitseerima
- mõju
- mõjutatud
- rakendatud
- mõjud
- oluline
- paranemine
- Paranemist
- in
- hõlmab
- Suurendama
- esialgne
- esialgu
- Näiteks
- selle asemel
- huvi
- seotud
- isoleeritud
- isolatsioon
- IT
- teekond
- Keen
- Teadma
- suur
- suurem
- käivitatud
- Lets
- Finantsvõimendus
- elama
- koormus
- Vaata
- hooldus
- tegema
- juht
- käsiraamat
- Maksimeerima
- Vastama
- vastab
- meetod
- võib
- rännanud
- miinimum
- mudel
- rohkem
- kõige
- liikuma
- liikumine
- mitmekordne
- Vajadus
- vajav
- vajadustele
- Uus
- järgmine
- sõlme
- arvukad
- kord
- Pardal
- ONE
- töökorras
- Võimalus
- optimeerimine
- optimaalne
- oraakel
- originaal
- Muu
- muidu
- parameeter
- parameetrid
- kirglik
- Muster
- täitma
- jõudlus
- täidab
- perioodid
- kava
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- võimalik
- post
- tavad
- eelmine
- hind
- Peamine
- protsess
- tootja
- Toode
- tootejuht
- Produktsioon
- korralikult
- anda
- annab
- eesmärk
- Küsimused
- määr
- soovitama
- Soovitus
- soovitatav
- vähendama
- Lühendatud
- piirkondades
- Pressiteated
- usaldusväärsus
- Nõuded
- reserveeritud
- ressurss
- taastamine
- kaasa
- Tulemused
- Eeskiri
- jooks
- jooksmine
- sama
- Säästa
- Skaalautuvus
- skaalautuvia
- Skaala
- stsenaariumid
- teadus
- sujuvalt
- Osa
- kindlustama
- kindlalt
- otsima
- teenus
- seade
- Jaga
- jagamine
- peaks
- näitama
- Näitused
- sarnane
- lihtne
- SUURUS
- suurused
- väiksem
- Snapshot
- lahendus
- Lahendused
- mõned
- allikas
- konkreetse
- jagada
- Kaubandus-
- standard
- algus
- alustatud
- Käivitus
- avaldused
- Samm
- Sammud
- Veel
- ladustamine
- salvestada
- Strateegia
- streaming
- järgnev
- varustama
- tarneahelas
- Tarneahela optimeerimine
- toetama
- magus
- Võtma
- sihtmärk
- Tehniline
- Tehnoloogiad
- test
- Testimine
- testid
- .
- Allikas
- oma
- kolm
- Läbi
- aeg
- et
- tööriist
- töövahendid
- liigid
- mõistmine
- kasutama
- kasutage juhtumit
- Kasutaja
- vaakum
- M
- mis
- WHO
- will
- ilma
- töö
- töötab
- Sinu
- sephyrnet