Amazon RedShift je hitro, v celoti upravljano podatkovno skladišče velikosti petabajtov, ki zagotavlja prilagodljivost za uporabo omogočenega ali brezstrežniškega računanja za vaše analitične delovne obremenitve. z Amazon Redshift brez strežnika in Urejevalnik poizvedb v2, lahko naložite in poizvedujete po velikih naborih podatkov v le nekaj klikih in plačate samo za tisto, kar uporabite. Ločena arhitektura računalništva in shranjevanja Amazon Redshift vam omogoča gradnjo zelo razširljivih, prožnih in stroškovno učinkovitih delovnih obremenitev. Številne stranke svoje delovne obremenitve skladiščenja podatkov preselijo v Amazon Redshift in izkoristijo bogate zmogljivosti, ki jih ponuja, kot so naslednje:
- Amazon Redshift se brezhibno integrira s širšimi podatki, analitiko in AI ali strojnim učenjem (ML) storitev na AWS, kar vam omogoča, da izberete pravo orodje za pravo delo. Sodobna analitika je veliko širša od podatkovnega skladiščenja, ki temelji na SQL. Z Amazon Redshift lahko gradite arhitekture hiš ob jezeru in izvajati kakršno koli analitiko, kot npr interaktivna analitika, operativna analitika, obdelava velikih podatkov, priprava vizualnih podatkov, napovedna analitika, strojno učenje, In še več.
- Ni vam treba skrbeti za delovne obremenitve, kot so ETL (izvleček, pretvorba in nalaganje), nadzorne plošče, ad-hoc poizvedbe itd., ki se med seboj motijo. Delovne obremenitve lahko izolirate z uporabo skupne rabe podatkov, medtem ko uporabljate iste osnovne nize podatkov.
- Ko uporabniki izvedejo veliko poizvedb v času največje obremenitve, se izračun brezhibno poveča v nekaj sekundah, da zagotovi dosledno delovanje pri visoki sočasnosti. Za 1 ur uporabe prejmete 24 uro brezplačne zmogljivosti skaliranja sočasnosti. Ta brezplačni kredit zadosti hkratnemu povpraševanju 97 % baze strank Amazon Redshift.
- Amazon Redshift je enostaven za uporabo z zmožnostmi samonastavljanja in samooptimiziranja. Pridobite lahko hitrejše vpoglede, ne da bi porabili dragoceni čas za upravljanje svojega podatkovnega skladišča.
- Vgrajena je toleranca napak. Vsi podatki, zapisani v Amazon Redshift, se samodejno in nenehno podvajajo Preprosta storitev shranjevanja Amazon (Amazon S3). Vse okvare strojne opreme se samodejno nadomestijo.
- Amazon Redshift je preprost za interakcijo. Do podatkov lahko dostopate s tradicionalnimi spletnimi storitvami brez strežnika, ki izvirajo iz oblaka, ali z aplikacijami, ki temeljijo na dogodkih. Svoja najljubša orodja poslovne inteligence (BI) in SQL lahko uporabite tudi za dostop do podatkov, njihovo analizo in vizualizacijo v Amazon Redshift.
- Amazon Redshift ML podatkovnim znanstvenikom olajša ustvarjanje, usposabljanje in uvajanje modelov ML z uporabo znanega SQL. Predvidevanja lahko izvedete tudi z uporabo SQL.
- Amazon Redshift zagotavlja celovito varnost podatkov brez dodatnih stroškov. Nastavite lahko šifriranje podatkov od konca do konca, konfigurirate pravila požarnega zidu, definirate natančne varnostne kontrole občutljivih podatkov na ravni vrstic in stolpcev in drugo.
V tej objavi prikazujemo, kako preseliti podatkovno skladišče iz Microsoft Azure Synapse v Redshift Serverless z Orodje za pretvorbo sheme AWS (AWS SCT) in Agenti za pridobivanje podatkov AWS SCT. AWS SCT omogoča predvidljive migracije heterogenih baz podatkov s samodejno pretvorbo kode izvorne baze podatkov in objektov shranjevanja v format, združljiv s ciljno bazo podatkov. Vsi objekti, ki jih ni mogoče samodejno pretvoriti, so jasno označeni, tako da jih je mogoče ročno pretvoriti za dokončanje selitve. AWS SCT lahko tudi skenira kodo vaše aplikacije za vdelane stavke SQL in jih pretvori.
Pregled rešitev
AWS SCT uporablja račun storitve za povezavo z vašo storitvijo Azure Synapse Analytics. Najprej ustvarimo zbirko podatkov Redshift, v katero bodo preseljeni podatki Azure Synapse. Nato ustvarimo vedro S3. Nato uporabimo AWS SCT za pretvorbo shem Azure Synapse in njihovo uporabo v Amazon Redshift. Nazadnje, za selitev podatkov uporabljamo agente za pridobivanje podatkov AWS SCT, ki ekstrahirajo podatke iz Azure Synapse, jih naložijo v vedro S3 in kopirajo v Amazon Redshift.
Naslednji diagram ponazarja našo arhitekturo rešitev.
Ta potek zajema naslednje korake:
- Ustvarite skladišče podatkov Redshift Serverless.
- Ustvarite vedro in mapo S3.
- Pretvorite in uporabite shemo Azure Synapse v Amazon Redshift z uporabo AWS SCT:
- Povežite se z virom Azure Synapse.
- Povežite se s ciljem Amazon Redshift.
- Pretvorite shemo Azure Synapse v zbirko podatkov Redshift.
- Analizirajte ocenjevalno poročilo in obravnavajte ukrepe.
- Uporabite pretvorjeno shemo v ciljni bazi podatkov Redshift.
- Preselite podatke iz Azure Synapse v Amazon Redshift z uporabo agentov za ekstrakcijo podatkov AWS SCT:
- Ustvari zaupanje in shrambo ključev (ta korak ni obvezen).
- Namestite in konfigurirajte agenta za ekstrakcijo podatkov.
- Zaženite agenta za ekstrakcijo podatkov.
- Registrirajte agenta za ekstrakcijo podatkov.
- Dodajte navidezne particije za velike tabele (ta korak ni obvezen).
- Ustvarite lokalno nalogo selitve podatkov.
- Zaženite nalogo lokalne migracije podatkov.
- Oglejte si podatke v Amazon Redshift.
Predpogoji
Preden začnete s tem postopkom, morate imeti naslednje predpogoje:
- Delovna postaja z AWS SCT, Amazon Corretto 11in gonilniki Redshift.
- Uporabniški račun baze podatkov, ki ga lahko AWS SCT uporabi za povezavo z vašo izvorno bazo podatkov Azure Synapse Analytics.
- Dodelite VIEW DEFINITION in VIEW DATABASE STATE vsaki shemi, ki jo poskušate pretvoriti v uporabnika baze podatkov, uporabljenega za selitev.
Ustvarite skladišče podatkov Redshift Serverless
V tem koraku ustvarimo podatkovno skladišče Redshift Serverless z delovno skupino in imenskim prostorom. A Delovna skupina je zbirka računalniških virov in a imenski prostor je zbirka objektov baze podatkov in uporabnikov. Če želite izolirati delovne obremenitve in upravljati različne vire v Redshift Serverless, lahko ustvarite imenske prostore in delovne skupine ter ločeno upravljate vire za shranjevanje in računalništvo.
Sledite tem korakom, da ustvarite skladišče podatkov Redshift Serverless z delovno skupino in imenskim prostorom:
- Na konzoli Amazon Redshift izberite regijo AWS, ki jo želite uporabiti.
- V podoknu za krmarjenje izberite Redshift Brez strežnika.
- Izberite Ustvari delovno skupino.
- za Ime delovne skupine, vnesite ime, ki opisuje računalniške vire.
- Preverite, ali je VPC enak VPC kot primerek EC2 z AWS SCT.
- Izberite Naslednji.
- za Imenski prostor, vnesite ime, ki opisuje vaš nabor podatkov.
- v Ime baze podatkov in geslo izberite, izberite Prilagodite uporabniške poverilnice skrbnika.
- za Uporabniško ime skrbnika, vnesite uporabniško ime po vaši izbiri (npr.
awsuser
). - za Administratorsko uporabniško geslo, vnesite geslo po vaši izbiri (npr.
MyRedShiftPW2022
).
- Izberite Naslednji.
Upoštevajte, da so podatki v imenskem prostoru Redshift Serverless privzeto šifrirani.
- v Preglejte in ustvarite oddelek, izberite ustvarjanje.
Zdaj ustvarite AWS upravljanje identitete in dostopa (IAM) in jo nastavite kot privzeto v svojem imenskem prostoru. Upoštevajte, da je lahko samo ena privzeta vloga IAM.
- Na nadzorni plošči Redshift Serverless v Imenski prostori / Delovne skupine izberite imenski prostor, ki ste ga pravkar ustvarili.
- o Varnost in šifriranje jeziček, v Dovoljenja oddelek, izberite Upravljanje vlog IAM.
- Izberite Upravljanje vlog IAM In izberite Ustvari vlogo IAM.
- v Določite vedro Amazon S3 za dostop do vloge IAM izberite enega od naslednjih načinov:
- Izberite Brez dodatnega vedra Amazon S3 da omogočite ustvarjeni vlogi IAM dostop samo do veder S3 z imeni, ki vsebujejo besedo rdeči premik.
- Izberite Vsako vedro Amazon S3 da omogočite ustvarjeni vlogi IAM dostop do vseh veder S3.
- Izberite Posebna vedra Amazon S3 da določite eno ali več veder S3 za dostop do ustvarjene vloge IAM. Nato iz tabele izberite eno ali več veder S3.
- Izberite Ustvari vlogo IAM kot privzeto.
- Zajemite končno točko za delovno skupino Redshift Serverless, ki ste jo pravkar ustvarili.
- Na nadzorni plošči Redshift Serverless v Imenski prostori / Delovne skupine izberite delovno skupino, ki ste jo pravkar ustvarili.
- v Splošne informacije razdelek, kopirajte končno točko.
Ustvarite vedro in mapo S3
Med postopkom selitve podatkov AWS SCT uporablja Amazon S3 kot prizorišče za ekstrahirane podatke. Za ustvarjanje vedra S3 sledite tem korakom:
- Na konzoli Amazon S3 izberite Žlice v podoknu za krmarjenje.
- Izberite Ustvari vedro.
- za Ime vedra, vnesite edinstveno ime, skladno z DNS, za vašo vedro (na primer
uniquename-as-rs
).
Za več informacij o imenih veder glejte Pravila poimenovanja vedrov.
- za Regija AWS, izberite regijo, v kateri ste ustvarili delovno skupino Redshift Serverless.
- Izberite Ustvari vedro.
- Izberite Žlice v podoknu za krmarjenje in se pomaknite do vedra S3, ki ste ga pravkar ustvarili (
uniquename-as-rs
). - Izberite Ustvari mapo.
- za Ime mape, vnesite dohodni.
- Izberite Ustvari mapo.
Pretvorite in uporabite shemo Azure Synapse v Amazon Redshift z uporabo AWS SCT
Za pretvorbo sheme Azure Synapse v format Amazon Redshift uporabljamo AWS SCT. Začnite tako, da se prijavite v instanco EC2, ki ste jo ustvarili prej, in zaženite AWS SCT.
Povežite se z virom Azure Synapse
Izvedite naslednje korake za povezavo z virom Azure Synapse:
- o file izberite meni Ustvari nov projekt.
- Izberite lokacijo za shranjevanje projektnih datotek in podatkov.
- Navedite smiselno, a nepozabno ime za svoj projekt (na primer Azure Synapse v Amazon Redshift).
- Za povezavo z izvornim skladiščem podatkov Azure Synapse izberite Dodaj vir.
- Izberite Azurna sinapsa In izberite Naslednji.
- za Ime povezave, vnesite ime (npr.
olap-azure-synapse
).
AWS SCT prikaže to ime v drevesu predmetov v levem podoknu.
- za Ime strežnika, vnesite ime strežnika Azure Synapse.
- za Bazen SQL, vnesite ime bazena Azure Synapse.
- Vnesite uporabniško ime in geslo.
- Izberite Testna povezava da preverite, ali se AWS SCT lahko poveže z vašim izvornim projektom Azure Synapse.
- Ko je povezava uspešno potrjena, izberite Ok in Connect.
Povežite se s ciljem Amazon Redshift
Za povezavo z Amazon Redshift sledite tem korakom:
- V AWS SCT izberite Dodaj cilj.
- Izberite Amazon RedShift, nato izberite Naslednji.
- za Ime povezave, vnesite ime za opis povezave Amazon Redshift.
AWS SCT prikaže to ime v drevesu predmetov v desnem podoknu.
- za Ime strežnika, vnesite končno točko delovne skupine Redshift Serverless, ki ste jo zajeli prej.
- za Vrata strežnika, vnesite 5439.
- za Baze podatkov, vnesite razv.
- za uporabniško ime, vnesite uporabniško ime, ki ste ga izbrali pri ustvarjanju delovne skupine Redshift Serverless.
- za Geslo, vnesite geslo, ki ste ga izbrali pri ustvarjanju delovne skupine Redshift Serverless.
- Prekliči izbiro Uporabite lepilo AWS.
- Izberite Testna povezava da preverite, ali se AWS SCT lahko poveže z vašo ciljno delovno skupino Redshift.
- Ko je test uspešen, izberite OK.
- Izberite Connect za povezavo s ciljem Amazon Redshift.
Lahko pa uporabite vrednosti povezave, ki so shranjene v Upravitelj skrivnosti AWS.
Pretvorite shemo Azure Synapse v podatkovno skladišče Redshift
Ko ustvarite izvorno in ciljno povezavo, boste v levem podoknu videli izvorno drevo predmetov Azure Synapse in v desnem podoknu ciljno drevo predmetov Amazon Redshift. Nato ustvarimo pravila preslikave, da opišemo izvorni ciljni par za selitev Azure Synapse v Amazon Redshift.
Za pretvorbo nabora podatkov Azure Synapse v format Amazon Redshift sledite tem korakom:
- V levem podoknu izberite (z desnim klikom) shemo, ki jo želite pretvoriti.
- Izberite Pretvori shemo.
- V pogovornem oknu izberite Da.
Ko je pretvorba končana, boste videli novo shemo, ustvarjeno v podoknu Amazon Redshift (desno podokno) z istim imenom kot vaša shema Azure Synapse.
Vzorčna shema, ki smo jo uporabili, ima tri tabele; te predmete lahko vidite v formatu Amazon Redshift v desnem podoknu. AWS SCT pretvori vso kodo in podatkovne objekte Azure Synapse v format Amazon Redshift. AWS SCT lahko uporabite tudi za pretvorbo zunanjih skriptov SQL, kode aplikacije ali dodatnih datotek z vdelanim SQL.
Analizirajte ocenjevalno poročilo in obravnavajte ukrepe
AWS SCT ustvari ocenjevalno poročilo za oceno kompleksnosti migracije. AWS SCT lahko pretvori večino kode in objektov zbirke podatkov, vendar bo za nekatere objekte morda potrebna ročna pretvorba. AWS SCT poudari te objekte z modro barvo v diagramu statističnih podatkov o konverzijah in ustvari elemente dejanja, ki jim je priložena kompleksnost.
Če si želite ogledati poročilo o oceni, preklopite iz Glavni pogled do Pogled poročila o oceni kot je prikazano na naslednjem posnetku zaslona.
O Povzetek zavihek prikazuje predmete, ki so bili samodejno pretvorjeni, in predmete, ki niso bili samodejno pretvorjeni. Zelena predstavlja samodejno pretvorjene predmete ali predmete s preprostimi dejanji. Modra predstavlja srednje in zapletene akcijske elemente, ki zahtevajo ročno posredovanje.
O Akcijski predmeti prikazuje priporočena dejanja za vsako težavo s konverzijo. Če s seznama izberete element dejanja, AWS SCT označi predmet, na katerega se element dejanja nanaša.
Poročilo vsebuje tudi priporočila za ročno pretvorbo elementa sheme. Na primer, po zagonu ocene vam podrobna poročila za bazo podatkov in shemo pokažejo trud, ki je potreben za načrtovanje in izvajanje priporočil za pretvorbo elementov dejanja. Za več informacij o odločanju o ravnanju z ročnimi pretvorbami glejte Upravljanje z ročnimi pretvorbami v AWS SCT. AWS SCT med pretvorbo sheme v Amazon Redshift samodejno dokonča nekatera dejanja; objekti s takimi dejanji so označeni z rdečim opozorilnim znakom.
Posamezen objekt DDL lahko ocenite in pregledate tako, da ga izberete v desnem podoknu, lahko pa ga tudi po potrebi uredite. V naslednjem primeru AWS SCT spremeni podatkovni tip stolpca ID iz decimal(3,0) v Azure Synapse v podatkovni tip smallint v Amazon Redshift.
Uporabite pretvorjeno shemo za ciljno podatkovno skladišče Redshift
Če želite uporabiti pretvorjeno shemo za Amazon Redshift, izberite pretvorjeno shemo v desnem podoknu, kliknite z desno tipko miške in izberite Prijavite se v bazo podatkov.
Preseli podatke iz Azure Synapse v Amazon Redshift z uporabo agentov za ekstrakcijo podatkov AWS SCT
Agenti za ekstrakcijo AWS SCT ekstrahirajo podatke iz vaše izvorne baze podatkov in jih preselijo v oblak AWS. V tem razdelku konfiguriramo ekstrakcijske agente AWS SCT za pridobivanje podatkov iz Azure Synapse in selitev v Amazon Redshift. Za to objavo namestimo agenta za ekstrakcijo AWS SCT na isti primerek sistema Windows, v katerem je nameščen AWS SCT. Za boljšo zmogljivost priporočamo, da uporabite ločen primerek Linuxa za namestitev agentov za ekstrakcijo, če je to mogoče. Za zelo velike nabore podatkov AWS SCT podpira uporabo več agentov za ekstrakcijo podatkov, ki se izvajajo na več instancah, da se poveča prepustnost in poveča hitrost selitve podatkov.
Ustvari zaupanje in shrambo ključev (neobvezno)
Uporabite lahko šifrirano komunikacijo Secure Socket Layer (SSL) z ekstraktorji podatkov AWS SCT. Ko uporabljate SSL, vsi podatki, ki se prenašajo med aplikacijami, ostanejo zasebni in celoviti. Če želite uporabljati komunikacijo SSL, morate ustvariti zaupanje in shrambe ključev z uporabo AWS SCT. Ta korak lahko preskočite, če ne želite uporabljati SSL. Priporočamo uporabo SSL za produkcijske delovne obremenitve.
Za ustvarjanje zaupanja in shramb ključev sledite tem korakom:
- V AWS SCT izberite Nastavitve, Globalne nastavitvein Varnost.
- Izberite Ustvarite zaupanje in shrambo ključev.
- Vnesite ime in geslo za shrambo zaupanja in ključev.
- Vnesite lokacijo za njihovo shranjevanje.
- Izberite Ustvarjajo, nato izberite OK.
Namestite in konfigurirajte agenta za ekstrakcijo podatkov
V namestitvenem paketu za AWS SCT lahko najdete podmapo z imenom agenti (aws-schema-conversion-tool-1.0.latest.zipagents
). Poiščite in namestite izvršljivo datoteko z imenom, kot je aws-schema-conversion-tool-extractor-xxxxxxxx.msi
.
V postopku namestitve sledite tem korakom za konfiguracijo AWS SCT Data Extractor:
- za Servisna vrata, vnesite številko vrat, na katerih posrednik posluša. Privzeto je 8192.
- za Delovna mapa, vnesite pot, kamor bo agent za ekstrakcijo podatkov AWS SCT shranil ekstrahirane podatke.
Delovna mapa je lahko v drugem računalniku kot agent, eno samo delovno mapo pa lahko deli več agentov v različnih računalnikih.
- za Vnesite datoteko ali datoteke gonilnika Redshift JDBC, vnesite lokacijo, kamor ste prenesli gonilnike Redshift JDBC.
- za Dodajte gonilnik Amazon Redshift, vnesite
YES
. - za Omogoči komunikacijo SSL, vnesite
yes
. VnesiteNo
tukaj, če ne želite uporabljati SSL. - Izberite Naslednji.
- za Pot do trgovine zaupanja, vnesite lokacijo shranjevanja, ki ste jo določili pri ustvarjanju zaupanja in shrambe ključev.
- za Geslo za zaupanja vredno trgovino, vnesite geslo za zaupanja vredno shrambo.
- za Omogoči avtentikacijo SSL odjemalca, vnesite
yes
. - za Ključna pot do trgovine, vnesite lokacijo shranjevanja, ki ste jo določili pri ustvarjanju zaupanja in shrambe ključev.
- za Geslo za shranjevanje ključev, vnesite geslo za shrambo ključev.
- Izberite Naslednji.
Zaženite agenta za ekstrakcijo podatkov
Za zagon ekstrakcijskih sredstev uporabite naslednji postopek. Ta postopek ponovite na vsakem računalniku, v katerem je nameščeno sredstvo za ekstrakcijo.
Ekstrakcijski agenti delujejo kot poslušalci. Ko zaženete agenta s tem postopkom, agent začne poslušati navodila. Agentom pošljete navodila za ekstrahiranje podatkov iz vašega podatkovnega skladišča v poznejšem razdelku.
Če želite zagnati agenta za ekstrakcijo, se pomaknite do imenika AWS SCT Data Extractor Agent. Na primer, v sistemu Microsoft Windows uporabite C:Program FilesAWS SCT Data Extractor AgentStartAgent.bat
.
V računalniku, v katerem je nameščen agent za ekstrakcijo, iz ukaznega poziva ali terminalskega okna zaženite ukaz, ki je naveden za vaš operacijski sistem. Če želite ustaviti agenta, zaženite isti ukaz, vendar zamenjajte začetek s stop. Če želite znova zagnati agenta, zaženite isto datoteko RestartAgent.bat.
Upoštevajte, da morate imeti skrbniški dostop za izvajanje teh ukazov.
Registrirajte agenta za ekstrakcijo podatkov
Za registracijo agenta za ekstrakcijo podatkov sledite tem korakom:
- V AWS SCT spremenite pogled v Pogled selitve podatkov izberite Registracija.
- Izberite Podatkovni agent Redshift, nato izberite OK.
- za Opis, vnesite ime za identifikacijo agenta.
- za Ime gostitelja, če ste agenta za ekstrakcijo namestili na isto delovno postajo kot AWS SCT, vnesite 0.0.0.0, da označite lokalnega gostitelja. V nasprotnem primeru vnesite ime gostitelja stroja, na katerem je nameščen ekstrakcijski agent AWS SCT. Za boljše delovanje je priporočljivo namestiti sredstva za ekstrakcijo v Linux.
- za port, vnesite številko, ki ste jo uporabili za vrata za poslušanje (privzeto 8192) pri namestitvi agenta za ekstrakcijo AWS SCT.
- Izberite Uporabite SSL za šifriranje povezave AWS SCT z agentom za ekstrakcijo podatkov.
- Če uporabljate SSL, se pomaknite do SSL tab.
- za Trgovina zaupanja, izberite shrambo zaupanja, ki ste jo ustvarili prej.
- za Shramba ključev, izberite shrambo ključev, ki ste jo ustvarili prej.
- Izberite Testna povezava.
- Ko je povezava uspešno potrjena, izberite OK in Registracija.
Ustvarite lokalno nalogo selitve podatkov
Če želite preseliti podatke iz Azure Synapse Analytics v Amazon Redshift, ustvarite, zaženite in spremljajte nalogo lokalne migracije iz AWS SCT. Ta korak uporablja agenta za ekstrakcijo podatkov za selitev podatkov z ustvarjanjem naloge.
Sledite tem korakom, da ustvarite nalogo lokalne selitve podatkov:
- V AWS SCT pod imenom sheme v levem podoknu izberite (z desnim klikom) tabelo, ki jo želite preseliti (za to objavo uporabljamo tabelo
tbl_currency
). - Izberite Ustvarite lokalno nalogo.
- Izbirajte med naslednjimi načini selitve:
- Ekstrahirajte izvorne podatke in jih shranite v lokalni osebni računalnik ali virtualni stroj, kjer se izvaja agent.
- Ekstrahirajte podatke in jih naložite v vedro S3.
- Ekstrahirajte podatke, jih naložite v Amazon S3 in kopirajte v Amazon Redshift. (To možnost izberemo za to objavo.)
- o Napredno podajte nastavitve ekstrakcije in kopiranja.
- o Izvorni strežnik preverite, ali uporabljate trenutne lastnosti povezave.
- o Nastavitve Amazon S3 zavihek, za Mapa vedra Amazon S3, podajte imena vedra in map za vedro S3, ki ste ga ustvarili prej.
Agent za ekstrakcijo podatkov AWS SCT naloži podatke v ta vedra in mape S3, preden jih kopira v Amazon Redshift.
- Izberite Testna naloga.
- Ko je opravilo uspešno potrjeno, izberite OK, nato izberite ustvarjanje.
Zaženite nalogo lokalne migracije podatkov
Za začetek naloge izberite Začetek or Restart o Naloge tab.
Najprej agent za ekstrakcijo podatkov ekstrahira podatke iz Azure Synapse. Nato agent naloži podatke v Amazon S3 in sproži ukaz za kopiranje, da premakne podatke v Amazon Redshift.
Na tej točki je AWS SCT uspešno preselil podatke iz izvorne tabele Azure Synapse v tabelo Redshift.
Oglejte si podatke v Amazon Redshift
Ko je naloga selitve podatkov končana, se lahko povežete z Amazon Redshift in potrdite podatke. Izvedite naslednje korake:
- Na konzoli Amazon Redshift se pomaknite do urejevalnika poizvedb v2.
- Odprite delovno skupino Redshift Serverless, ki ste jo ustvarili.
- Izberite Podatki poizvedbe.
- za Baze podatkov, vnesite ime za svojo zbirko podatkov.
- za Preverjanje pristnostitako, da izberete Zvezni uporabnik
- Izberite Ustvarite povezavo.
- Odprite nov urejevalnik z izbiro znaka plus.
- V urejevalniku napišite poizvedbo, da izberete ime sheme in ime tabele ali pogleda, ki ga želite preveriti.
Podatke lahko raziskujete, izvajate ad hoc poizvedbe in ustvarjate vizualizacije, grafikone in poglede.
Naslednji posnetek zaslona je pogled na izvorni nabor podatkov Azure Synapse, ki smo ga uporabili v tej objavi.
Čiščenje
Sledite korakom v tem razdelku, da počistite vse vire AWS, ki ste jih ustvarili v okviru te objave.
Ustavite primerek EC2
Za zaustavitev primerka EC2 sledite tem korakom:
- Na konzoli Amazon EC2 v navigacijskem podoknu izberite Primeri.
- Izberite primerek, ki ste ga ustvarili.
- Izberite Stanje primerka, nato izberite Prekini primerek.
- Izberite Prekinite ob pozivu za potrditev.
Izbrišite delovno skupino Redshift Serverless in imenski prostor
Če želite izbrisati delovno skupino Redshift Serverless in imenski prostor, sledite tem korakom:
- Na nadzorni plošči Redshift Serverless v Imenski prostori / Delovne skupine izberite delovni prostor, ki ste ga ustvarili
- o Proces izberite meni Izbriši delovno skupino.
- Izberite Izbrišite povezani imenski prostor.
- Prekliči izbiro Ustvari končni posnetek.
- V potrditveno besedilno polje vnesite delete in izberite Brisanje.
Izbrišite vedro S3
Sledite tem korakom, da izbrišete vedro S3:
- Na konzoli Amazon S3 izberite Žlice v podoknu za krmarjenje.
- Izberite vedro, ki ste ga ustvarili.
- Izberite Brisanje.
- Za potrditev brisanja vnesite ime vedra.
- Izberite Izbriši vedro.
zaključek
Migracija podatkovnega skladišča je lahko zahteven, kompleksen in hkrati nagrajujoč projekt. AWS SCT zmanjša kompleksnost migracij podatkovnih skladišč. Ta objava je razpravljala o tem, kako naloga selitve podatkov ekstrahira, prenese in preseli podatke iz Azure Synapse v Amazon Redshift. Rešitev, ki smo jo predstavili, izvaja enkratno selitev objektov baze podatkov in podatkov. Spremembe podatkov, narejene v Azure Synapse, ko je selitev v teku, ne bodo prikazane v Amazon Redshift. Ko je selitev podatkov v teku, zadržite opravila ETL v Azure Synapse ali znova zaženite opravila ETL tako, da po selitvi pokažete na Amazon Redshift. Razmislite o uporabi najboljše prakse za AWS SCT.
Če želite začeti, prenesite in namestite AWS SCT, prijavite se v Konzola za upravljanje AWS, preverite Redshift Serverless in začnite seliti!
O avtorjih
Ahmed Šehata je višji arhitekt za rešitve strokovnjaka za analitiko pri AWS s sedežem v Torontu. Ima več kot dve desetletji izkušenj s pomočjo strankam pri posodobitvi njihovih podatkovnih platform. Ahmed strastno pomaga strankam zgraditi učinkovite, zmogljive in razširljive analitične rešitve.
Jagadish Kumar je višji arhitekt za rešitve strokovnjaka za analitiko pri AWS, osredotočen na Amazon Redshift. Zelo je navdušen nad podatkovno arhitekturo in strankam pomaga graditi analitične rešitve v velikem obsegu na AWS.
Anusha Challa je višji arhitekt za rešitve strokovnjaka za analitiko pri AWS, osredotočen na Amazon Redshift. Številnim strankam je pomagala zgraditi obsežne rešitve za skladiščenje podatkov v oblaku in v prostorih. Anusha je navdušena nad podatkovno analitiko in podatkovno znanostjo ter omogoča strankam, da dosežejo uspeh z njihovimi obsežnimi podatkovnimi projekti.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/migrate-microsoft-azure-synapse-analytics-to-amazon-redshift-using-aws-sct/
- :ima
- : je
- :ne
- :kje
- $GOR
- 1
- 100
- 11
- 1100
- 12
- 13
- 24
- 7
- 8
- 970
- a
- O meni
- dostop
- Račun
- Doseči
- Zakon
- Ukrep
- dejavnosti
- Dodatne
- Naslov
- admin
- po
- Agent
- agenti
- ahmed
- AI
- vsi
- omogočajo
- Prav tako
- Amazon
- Amazon EC2
- Amazon Web Services
- an
- Analitični
- Analitično
- analitika
- analizirati
- in
- kaj
- uporaba
- aplikacije
- velja
- Uporabi
- Arhitektura
- SE
- OBMOČJE
- AS
- oceniti
- ocenjevanje
- povezan
- At
- priložen
- samodejno
- AWS
- Azure
- baza
- temeljijo
- BAT
- BE
- pred
- koristi
- Boljše
- med
- Modra
- Pasovi
- širši
- izgradnjo
- zgrajena
- poslovni
- Poslovna inteligenca
- vendar
- by
- se imenuje
- CAN
- Lahko dobiš
- Zmogljivosti
- kapaciteta
- Zajeto
- izziv
- spremenite
- Spremembe
- Charts
- preveriti
- izbira
- Izberite
- izbiri
- izbral
- jasno
- stranke
- Cloud
- Koda
- zbirka
- Stolpec
- Komunikacija
- združljiv
- dokončanje
- Zaključi
- kompleksna
- kompleksnost
- celovito
- Izračunajte
- računalnik
- računalniki
- Potrdi
- Potrditev
- Connect
- povezava
- povezave
- Razmislite
- dosledno
- Konzole
- Vsebuje
- stalno
- Nadzor
- Pretvorba
- konverzije
- pretvorbo
- pretvori
- pretvorbo
- kopiranje
- strošek
- stroškovno učinkovito
- prevleke
- ustvarjajo
- ustvaril
- ustvari
- Ustvarjanje
- kredit
- Trenutna
- stranka
- Stranke, ki so
- Armaturna plošča
- nadzorne plošče
- datum
- Podatkovna analiza
- znanost o podatkih
- Varovanje podatkov
- izmenjavo podatkov
- podatkovno skladišče
- Baze podatkov
- nabor podatkov
- desetletja
- Odločanje
- nevezana
- privzeto
- opredeliti
- opredelitev
- Povpraševanje
- razporedi
- opisati
- Oblikovanje
- podrobno
- dev
- Dialog
- drugačen
- razpravljali
- prikazovalniki
- dont
- prenosov
- voznik
- vozniki
- vsak
- prej
- urednik
- učinkovite
- prizadevanje
- vgrajeni
- omogoča
- omogočanje
- šifriran
- šifriranje
- konec koncev
- Končna točka
- Vnesite
- Eter (ETH)
- oceniti
- Primer
- izkušnje
- raziskuje
- zunanja
- dodatna
- ekstrakt
- pridobivanje
- Izvlečki
- seznanjeni
- FAST
- hitreje
- Priljubljeni
- Nekaj
- file
- datoteke
- končna
- končno
- Najdi
- požarni zid
- prva
- prilagodljivost
- osredotočena
- sledi
- po
- za
- format
- brezplačno
- iz
- v celoti
- ustvarjajo
- dobili
- Zelen
- ročaj
- strojna oprema
- Imajo
- he
- pomagal
- pomoč
- Pomaga
- tukaj
- visoka
- Poudarki
- zelo
- držite
- gostitelj
- uro
- URE
- Hiša
- Kako
- Kako
- HTML
- http
- HTTPS
- IAM
- ID
- identificirati
- identiteta
- if
- ponazarja
- izvajati
- in
- Dohodni
- Povečajte
- Navedite
- individualna
- Podatki
- vpogledi
- namestitev
- namestitev
- nameščen
- Namestitev
- primer
- primerov
- Navodila
- integral
- Integrira
- Intelligence
- interakcijo
- motenje
- intervencije
- v
- vprašanje
- IT
- Izdelkov
- Job
- Delovna mesta
- jpg
- samo
- Ključne
- Otrok
- velika
- obsežne
- pozneje
- Zadnji
- kosilo
- izstrelki
- plast
- učenje
- levo
- kot
- linux
- Seznam
- Navedeno
- Poslušanje
- posluša
- obremenitev
- lokalna
- kraj aktivnosti
- sečnja
- stroj
- strojno učenje
- je
- Večina
- Znamka
- IZDELA
- upravljanje
- upravlja
- upravljanje
- upravljanje
- Navodilo
- ročno
- več
- kartiranje
- označeno
- Povečajte
- Maj ..
- smiselna
- srednje
- ustreza
- nepozabno
- Meni
- Metode
- Microsoft
- Microsoft Azure
- Microsoft Windows
- selitev
- migriral
- migracije
- ML
- modeli
- sodobna
- posodobiti
- načini
- monitor
- več
- premikanje
- veliko
- več
- morajo
- Ime
- Imena
- poimenovanje
- Krmarjenje
- ostalo
- Nimate
- potrebna
- Novo
- Naslednja
- št
- Upoštevajte
- Številka
- predmet
- predmeti
- of
- Ponudbe
- on
- ONE
- samo
- deluje
- operacijski sistem
- Možnost
- or
- Ostalo
- drugače
- naši
- ven
- paket
- par
- podokno
- del
- opravil
- strastno
- Geslo
- pot
- Plačajte
- PC
- Peak
- opravlja
- performance
- opravlja
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- plus
- Točka
- bazen
- mogoče
- Prispevek
- vaje
- Predvidljivo
- Napovedi
- predpogoji
- predstavljeni
- prej
- zasebna
- postopek
- Postopek
- proizvodnja
- Program
- Napredek
- Projekt
- projekti
- Lastnosti
- zagotavljajo
- zagotavlja
- dal
- poizvedbe
- Priporočamo
- Priporočila
- priporočeno
- Rdeča
- zmanjšuje
- glejte
- odsevalo
- okolica
- Registracija
- ostanki
- ponovite
- zamenjajte
- nadomesti
- podvojeno
- poročilo
- Poročila
- predstavlja
- zahteva
- obvezna
- odporno
- viri
- nagrajevanje
- Rich
- Pravica
- Z desno tipko miške kliknite
- vloga
- pravila
- Run
- tek
- deluje
- Enako
- razširljive
- Lestvica
- luske
- skaliranje
- skeniranje
- Znanost
- Znanstveniki
- skripte
- brez težav
- sekund
- skrivnosti
- Oddelek
- zavarovanje
- varnost
- glej
- izbiranje
- pošljite
- višji
- občutljiva
- ločena
- ločeno
- strežnik
- Brez strežnika
- Storitev
- Storitve
- nastavite
- nastavitve
- več
- deli
- delitev
- je
- shouldnt
- Prikaži
- pokazale
- Razstave
- podpisati
- Enostavno
- sam
- So
- Rešitev
- rešitve
- nekaj
- vir
- specialist
- določeno
- hitrost
- Poraba
- SQL
- SSL
- uprizoritev
- Začetek
- začel
- Začetek
- začne
- Država
- Izjave
- Statistika
- Korak
- Koraki
- stop
- shranjevanje
- trgovina
- shranjeni
- trgovine
- naravnost
- uspeh
- uspešno
- Uspešno
- taka
- Podpira
- Preverite
- Preklop
- Synapse
- sistem
- miza
- ciljna
- Naloga
- terminal
- Test
- besedilo
- kot
- da
- O
- Vir
- njihove
- Njih
- POTEM
- Tukaj.
- te
- jih
- ta
- tisti,
- 3
- pretočnost
- čas
- krat
- do
- toleranca
- orodje
- orodja
- toronto
- tradicionalna
- Vlak
- Transform
- Drevo
- Zaupajte
- poskuša
- dva
- tip
- pod
- osnovni
- edinstven
- Uporaba
- uporaba
- Rabljeni
- uporabnik
- Uporabniki
- uporablja
- uporabo
- POTRDI
- potrjeno
- dragocene
- Vrednote
- preverjanje
- zelo
- Poglej
- ogledov
- Virtual
- virtualni stroj
- vizualizirati
- walkthrough
- želeli
- Skladišče
- skladiščenje
- opozorilo
- we
- web
- spletne storitve
- so bili
- Kaj
- kdaj
- ki
- medtem
- širše
- bo
- okno
- okna
- z
- v
- brez
- beseda
- Delovna skupina
- deluje
- delovno mesto
- skrbi
- pisati
- pisni
- še
- jo
- Vaša rutina za
- zefirnet