Amazon RedShift este cel mai utilizat depozit de date din cloud, cel mai potrivit pentru analizarea exaocteților de date și pentru a rula interogări analitice complexe. Amazon QuickSight este un serviciu rapid de analiză de afaceri pentru a crea vizualizări, a efectua analize ad-hoc și a obține rapid informații despre afaceri din datele dvs. QuickSight oferă o integrare ușoară cu Amazon Redshift, oferind acces nativ la toate datele dvs. și permițând organizațiilor să își extindă capabilitățile de analiză de afaceri la sute de mii de utilizatori. QuickSight oferă performanță de interogare rapidă și receptivă prin utilizarea unui motor robust în memorie (SPICE).
În calitate de administrator QuickSight, puteți utiliza Formarea AWS Cloud șabloane pentru a migra activele între medii distincte de la dezvoltare, la testare, la producție. AWS CloudFormation vă ajută să modelați și să configurați resursele dvs. AWS, astfel încât să puteți petrece mai puțin timp gestionând aceste resurse și mai mult timp concentrându-vă pe aplicațiile dvs. care rulează în AWS. Nu mai trebuie să creați surse de date sau analize manual. Creați un șablon care descrie toate resursele AWS pe care le doriți, iar AWS CloudFormation se ocupă de furnizarea și configurarea acestor resurse pentru dvs. În plus, cu versiunea, aveți activele dumneavoastră anterioare, ceea ce vă oferă flexibilitatea de a anula implementările dacă este nevoie. Pentru mai multe detalii, consultați Referință pentru tipul de resursă Amazon QuickSight.
În această postare, arătăm cum să automatizăm implementarea unei analize QuickSight care se conectează la un depozit de date Amazon Redshift cu un șablon CloudFormation.
Prezentare generală a soluțiilor
Soluția noastră constă în următorii pași:
- Creați o analiză QuickSight folosind o sursă de date Amazon Redshift.
- Creați un șablon QuickSight pentru analiza dvs.
- Creați un șablon CloudFormation pentru analiza dvs. folosind Interfața liniei de comandă AWS (CLI AWS).
- Utilizați șablonul CloudFormation generat pentru a implementa o analiză QuickSight într-un mediu țintă.
Următoarea diagramă arată arhitectura modului în care puteți avea mai multe conturi AWS, fiecare cu propriul mediu QuickSight conectat la propria sursă de date Amazon Redshift. În această postare, descriem pașii implicați în migrarea activelor QuickSight din contul de dezvoltare în contul de produs. Pentru această postare, folosim Amazon Redshift ca sursă de date și creăm o vizualizare QuickSight utilizând baza de date eșantion TICKIT Amazon Redshift.
Următoarea diagramă ilustrează fluxul pașilor de nivel înalt.
Cerințe preliminare
Înainte de a configura stivele CloudFormation, trebuie să aveți un cont AWS și un Gestionarea identității și accesului AWS (IAM) utilizator cu suficiente permisiuni pentru a interacționa cu Consola de administrare AWS și serviciile enumerate în arhitectură.
Migrarea necesită următoarele cerințe preliminare:
Creați o analiză QuickSight în mediul dumneavoastră de dezvoltare
În această secțiune, parcurgem pașii pentru a configura analiza QuickSight folosind o sursă de date Amazon Redshift.
Creați o sursă de date Amazon Redshift
Pentru a vă conecta la depozitul dvs. de date Amazon Redshift, trebuie să creați o sursă de date în QuickSight. După cum se arată în următoarea captură de ecran, aveți două opțiuni:
- Descoperit automat
- Conectare manuală
QuickSight descoperi automat clustere Amazon Redshift care sunt asociate cu contul dvs. AWS. Aceste resurse trebuie să fie situate în aceeași regiune cu contul dvs. QuickSight.
Pentru mai multe detalii, consultați Autorizarea conexiunilor de la Amazon QuickSight la clusterele Amazon Redshift.
De asemenea, vă puteți conecta manual și crea o sursă de date.
Creați un set de date Amazon Redshift
Următorul pas este să creați un set de date QuickSight, care identifică datele specifice dintr-o sursă de date pe care doriți să o utilizați.
Pentru această postare, folosim baza de date TICKIT creată într-un depozit de date Amazon Redshift, care constă din șapte tabele: două tabele de fapte și cinci dimensiuni, așa cum se arată în figura următoare.
Acest exemplu de aplicație de bază de date îi ajută pe analiști să urmărească activitatea de vânzări pentru site-ul fictiv TICKIT, unde utilizatorii cumpără și vând bilete online pentru evenimente sportive, spectacole și concerte.
- Pe Datasets pagina, alege Set de date nou.
- Alegeți sursa de date pe care ați creat-o la pasul anterior.
- Alege Utilizați SQL personalizat.
- Introduceți SQL-ul personalizat, așa cum se arată în următoarea captură de ecran.
Următoarea captură de ecran arată sursa noastră de date finalizată.
Creați o analiză QuickSight
Următorul pas este crearea unei analize care utilizează acest set de date. În QuickSight, analizați și vizualizați datele în analize. Când ați terminat, vă puteți publica analiza ca tablou de bord pentru a le partaja altora din organizația dvs.
- Pe Toate analizele din pagina de pornire QuickSight, alegeți Noua analiză.
Datasets pagina se deschide.
- Alegeți un set de date, apoi alegeți Utilizare în analiză.
- Creați un vizual. Pentru mai multe informații despre crearea elementelor vizuale, consultați Adăugarea de elemente vizuale la analizele Amazon QuickSight.
Creați un șablon QuickSight din analiza dvs
Un șablon QuickSight este un obiect numit din contul dvs. AWS care conține definiția analizei dvs. și referințe la seturile de date utilizate. Puteți crea un șablon folosind API-ul QuickSight furnizând detaliile analizei sursei printr-un fișier de parametri. Puteți utiliza șabloane pentru a crea cu ușurință o nouă analiză.
Puteți utiliza AWS Cloud9 din consolă pentru a rula comenzi AWS CLI.
Următoarea comandă AWS CLI demonstrează cum să creați un șablon QuickSight pe baza analizei vânzărilor pe care ați creat-o (furnizați ID-ul contului dvs. AWS pentru contul dvs. de dezvoltare):
parameter.json
fișierul conține următoarele detalii (furnizați ARN-ul utilizatorului QuickSight sursă, ARN-ul de analiză și ARN-ul setului de date):
Puteți utiliza AWS CLI descrie-utilizator, descrie_analiza, și descrie_setul de date comenzi pentru a obține ARN-urile necesare.
Pentru a încărca actualizarea parameter.json
fișier în AWS Cloud9, alegeți Fișier din bara de instrumente și alegeți Încărcați fișierul local.
Șablonul QuickSight este creat în fundal. Șabloanele QuickSight nu sunt vizibile în interfața de utilizare QuickSight; sunt un activ gestionat de dezvoltator sau administrat de administrator, care este accesibil numai prin intermediul AWS CLI sau API-uri.
Pentru a verifica starea șablonului, rulați describe-template
comanda:
Următorul cod arată rezultatul comenzii:
Copiați șablonul ARN; avem nevoie de el mai târziu pentru a crea un șablon în contul de producție.
Permisiunile șablonului QuickSight din contul de dezvoltare trebuie să fie actualizate pentru a oferi acces la contul de produs. Rulați următoarea comandă pentru a actualiza șablonul QuickSight. Aceasta oferă privilegiul de descriere contului țintă pentru a extrage detaliile șablonului din contul sursă:
Fișierul TemplatePermission.json
conține următoarele detalii (furnizați ID-ul contului dvs. AWS țintă):
Pentru a încărca actualizarea TemplatePermission.json
fișier în AWS Cloud9, alegeți Fișier meniul din bara de instrumente și alegeți Încărcați fișierul local.
Creați un șablon CloudFormation
În această secțiune, creăm un șablon CloudFormation care conține activele noastre QuickSight. În acest exemplu, folosim un șablon formatat YAML salvat pe mașina noastră locală. Actualizăm următoarele secțiuni diferite ale șablonului:
- AWS::QuickSight::DataSource
- AWS::QuickSight::DataSet
- AWS::QuickSight::Șablon
- AWS::QuickSight::Analiză
Unele dintre informațiile necesare pentru a completa șablonul CloudFormation pot fi adunate din contul sursă QuickSight prin intermediul describe
Comenzile AWS CLI și unele informații trebuie actualizate pentru contul țintă.
Creați o sursă de date Amazon Redshift în AWS CloudFormation
În acest pas, adăugăm AWS::QuickSight::DataSource secțiunea șablonului CloudFormation.
Adunați următoarele informații despre clusterul Amazon Redshift în contul AWS țintă (mediul de producție):
- ARN conexiune VPC
- Gazdă
- Port
- Baza de date
- Utilizator
- Parolă
- ID-ul clusterului
Aveți opțiunea de a crea o personalizare DataSourceID
. Acest ID este unic pentru fiecare regiune pentru fiecare cont AWS.
Adăugați următoarele informații la șablon:
Creați un set de date Amazon Redshift în AWS CloudFormation
În acest pas, adăugăm AWS::QuickSight::DataSet secțiunea din șablonul CloudFormation pentru a se potrivi cu definiția setului de date din contul sursă.
Adunați detaliile setului de date și rulați list-data-sets
comandă pentru a obține toate seturile de date din contul sursă (furnizați ID-ul contului de dezvoltator sursă):
Următorul cod este ieșirea:
Pornește describe-data-set
comandă, specificând ID-ul setului de date din răspunsul comenzii anterioare:
Următorul cod arată rezultatul parțial:
Pe baza descrierii setului de date, adăugați AWS::Quicksight::DataSet
resursă în șablonul CloudFormation, așa cum se arată în codul următor. Rețineți că puteți crea și o personalizare DataSetID
. Acest ID este unic pentru fiecare regiune pentru fiecare cont AWS.
Puteți specifica ImportMode
a alege între Direct_Query
or Spice
.
Creați un șablon QuickSight în AWS CloudFormation
În acest pas, adăugăm AWS::QuickSight::Șablon secțiunea din șablonul CloudFormation, reprezentând șablonul de analiză.
Utilizați șablonul sursă ARN pe care l-ați creat mai devreme și adăugați AWS::Quicksight::Template
resursă în șablonul CloudFormation:
Creați o analiză QuickSight
În acest ultim pas, adăugăm AWS::QuickSight::Analiză secțiunea din șablonul CloudFormation. Analiza este legată de șablonul creat în contul țintă.
Adauga AWS::Quicksight::Analysis
resursă în șablonul CloudFormation, așa cum se arată în următorul cod:
Implementați șablonul CloudFormation în contul de producție
Pentru a crea o nouă stivă CloudFormation care utilizează șablonul precedent prin consola AWS CloudFormation, parcurgeți următorii pași:
- În consola AWS CloudFormation, alegeți Creați Stack.
- În meniul derulant, alegeți cu resurse noi (standard).
- Pentru Pregătiți șablonul, Selectați Șablonul este gata.
- Pentru Specificați șablonul, alege Încărcați un fișier șablon.
- Salvați șablonul CloudFormation furnizat într-un fișier .yaml și încărcați-l.
- Alege Pagina Următoare →.
- Introduceți un nume pentru stiva. Pentru această postare, folosim
QS-RS-CF-Stack
. - Alege Pagina Următoare →.
- Alege Pagina Următoare → din nou.
- Alege Creați Stack.
Starea stivei se schimbă în CREATE_IN_PROGRESS
, apoi la CREATE_COMPLETE
.
Verificați că obiectele QuickSight din tabelul următor au fost create în mediul de producție.
Tip obiect QuickSight | Nume obiect (Dev) | Nume obiect (Prod) |
Sursă de date | RS-Vânzări-DW | RS-Vânzări-DW |
Setul de date | Vânzări | Vânzări |
Format | QS-RS-Vânzări-Temp | QS-RS-SalesAnalysis-Temp |
Analiză | Analiza vânzărilor | Analiza vânzărilor |
Următorul exemplu arată că Sales Analysis
a fost creat în contul țintă.
Concluzie
Această postare a demonstrat o abordare pentru migrarea unei analize QuickSight cu o sursă de date Amazon Redshift de la un cont QuickSight la altul cu un șablon CloudFormation.
Pentru mai multe informații despre automatizarea implementării tabloului de bord, personalizarea accesului la consola QuickSight, configurarea pentru colaborarea în echipă și implementarea multi-chiriei și segregarea utilizatorilor clienți, consultați videoclipurile Atelier de administrare virtuală: Lucrul cu API-urile Amazon QuickSight și Atelier virtual de creștere a nivelului de administrator, V2 pe Youtube.
Despre autor
Sandeep Bajwa este un specialist senior în analiză cu sediul în Virginia de Nord, specializat în proiectarea și implementarea soluțiilor de analiză și lac de date.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/automate-deployment-of-an-amazon-quicksight-analysis-connecting-to-an-amazon-redshift-data-warehouse-with-an-aws-cloudformation-template/
- 1
- 10
- 100
- 7
- a
- Despre Noi
- acces
- accesibil
- Cont
- Conturi
- acțiuni
- activitate
- Ad
- plus
- admin
- TOATE
- Amazon
- Amazon QuickSight
- analiză
- analiști
- Analitic
- Google Analytics
- analiza
- analiza
- și
- O alta
- api
- API-uri
- aplicație
- aplicatii
- abordare
- arhitectură
- activ
- Bunuri
- asociate
- automatizarea
- automatizarea
- AWS
- AWS Cloud9
- Formarea AWS Cloud
- înapoi
- fundal
- bar
- bazat
- CEL MAI BUN
- între
- construi
- afaceri
- cumpăra
- capacități
- pasă
- Modificări
- verifica
- Alege
- Oraș
- client
- Cloud
- Cloud9
- Grup
- cod
- colaborare
- Coloane
- Completă
- Terminat
- complex
- concerte
- Conectați
- legat
- Conectarea
- conexiune
- Conexiuni
- Consoleze
- conține
- crea
- a creat
- Crearea
- scrisori de acreditare
- personalizat
- tablou de bord
- de date
- Lacul de date
- depozit de date
- Baza de date
- seturi de date
- Data
- Oferă
- demonstrat
- demonstrează
- implementa
- desfășurarea
- implementări
- descrie
- descriere
- Amenajări
- detalii
- dev
- Dezvoltare
- diferit
- Dimensiuni
- distinct
- fiecare
- Mai devreme
- cu ușurință
- permițând
- Motor
- Mediu inconjurator
- medii
- Eter (ETH)
- evenimente
- exemplu
- extrage
- FAST
- fictiv
- Figura
- Fișier
- Flexibilitate
- debit
- concentrându-se
- următor
- din
- generată
- obține
- Da
- grup
- ajută
- la nivel înalt
- gazdă
- Cum
- Cum Pentru a
- HTML
- HTTPS
- sute
- IAM
- identifică
- Identitate
- implementarea
- Punere în aplicare a
- in
- informații
- inițială
- perspective
- integrare
- interacţiona
- implicat
- IT
- lac
- Nume
- LIMITĂ
- Linie
- legate de
- listat
- local
- situat
- mai lung
- maşină
- administrare
- de conducere
- manual
- Meci
- Meniu
- migra
- migrațiune
- model
- mai mult
- cele mai multe
- multiplu
- nume
- Numit
- nativ
- Nevoie
- nevoilor
- Nou
- următor
- obiect
- obiecte
- ONE
- on-line
- deschide
- Opțiune
- Opţiuni
- comandă
- organizație
- organizații
- Altele
- schiță
- propriu
- parametru
- Parolă
- efectua
- performanță
- permisiuni
- Plato
- Informații despre date Platon
- PlatoData
- Post
- premise
- precedent
- Principal
- producere
- proprietăţi
- furniza
- prevăzut
- furnizează
- furnizarea
- publica
- repede
- referințe
- regiune
- reprezentând
- necesar
- Necesită
- resursă
- Resurse
- răspuns
- sensibil
- robust
- sul
- Alerga
- funcţionare
- de vânzări
- acelaşi
- Scară
- Secțiune
- secțiuni
- vinde
- serviciu
- Servicii
- set
- instalare
- Șapte
- Distribuie
- Arăta
- indicat
- Emisiuni
- So
- soluţie
- soluţii
- unele
- Sursă
- Surse
- specialist
- de specialitate
- specific
- petrece
- condiment
- SQL
- stivui
- Stive
- standard
- Începe
- Stare
- Pas
- paşi
- suficient
- tabel
- ia
- Ţintă
- echipă
- șablon
- şabloane
- test
- informațiile
- Sursa
- lor
- mii
- Prin
- bilete
- timp
- la
- instrument
- urmări
- ui
- unic
- Actualizează
- actualizat
- utilizare
- Utilizator
- utilizatorii
- utilizează
- versiune
- de
- Video
- Virginia
- Virtual
- vizibil
- vizualizare
- imagina
- Depozit
- website
- care
- pe larg
- în
- de lucru
- atelier
- yaml
- an
- Ta
- youtube
- zephyrnet