Amazon RedShift é o data warehouse mais usado na nuvem, mais adequado para analisar exabytes de dados e executar consultas analíticas complexas. AmazonQuickSight é um serviço rápido de análise de negócios para criar visualizações, realizar análises ad hoc e obter rapidamente insights de negócios de seus dados. O QuickSight fornece integração fácil com o Amazon Redshift, fornecendo acesso nativo a todos os seus dados e permitindo que as organizações dimensionem seus recursos de análise de negócios para centenas de milhares de usuários. O QuickSight oferece desempenho de consulta rápido e responsivo usando um robusto mecanismo de memória (SPICE).
Como administrador do QuickSight, você pode usar Formação da Nuvem AWS modelos para migrar ativos entre ambientes distintos de desenvolvimento, teste e produção. O AWS CloudFormation ajuda você a modelar e configurar seus recursos da AWS para que você gaste menos tempo gerenciando esses recursos e mais tempo se concentrando em seus aplicativos executados na AWS. Você não precisa mais criar fontes de dados ou análises manualmente. Você cria um modelo que descreve todos os recursos da AWS que deseja, e o AWS CloudFormation cuida do provisionamento e da configuração desses recursos para você. Além disso, com o controle de versão, você tem seus ativos anteriores, o que oferece flexibilidade para reverter implantações, se necessário. Para mais detalhes, consulte Referência de tipo de recurso do Amazon QuickSight.
Nesta postagem, mostramos como automatizar a implantação de uma análise QuickSight conectando-se a um data warehouse do Amazon Redshift com um modelo CloudFormation.
Visão geral da solução
Nossa solução consiste nas seguintes etapas:
- Crie uma análise do QuickSight usando uma fonte de dados do Amazon Redshift.
- Crie um modelo do QuickSight para sua análise.
- Crie um modelo do CloudFormation para sua análise usando o Interface de linha de comando da AWS (AWSCL).
- Use o modelo CloudFormation gerado para implantar uma análise QuickSight em um ambiente de destino.
O diagrama a seguir mostra a arquitetura de como você pode ter várias contas da AWS, cada uma com seu próprio ambiente do QuickSight conectado à sua própria fonte de dados do Amazon Redshift. Nesta postagem, descrevemos as etapas envolvidas na migração de ativos QuickSight na conta dev para a conta prod. Para esta postagem, usamos o Amazon Redshift como fonte de dados e criamos uma visualização do QuickSight usando o banco de dados TICKIT de exemplo do Amazon Redshift.
O diagrama a seguir ilustra o fluxo das etapas de alto nível.
Pré-requisitos
Antes de configurar as pilhas CloudFormation, você deve ter uma conta AWS e um Gerenciamento de acesso e identidade da AWS (IAM) usuário com permissões suficientes para interagir com o Console de gerenciamento da AWS e os serviços listados na arquitetura.
A migração requer os seguintes pré-requisitos:
Crie uma análise do QuickSight em seu ambiente de desenvolvimento
Nesta seção, percorremos as etapas para configurar sua análise do QuickSight usando uma fonte de dados do Amazon Redshift.
Criar uma fonte de dados do Amazon Redshift
Para se conectar ao data warehouse do Amazon Redshift, você precisa criar uma fonte de dados no QuickSight. Conforme mostrado na captura de tela a seguir, você tem duas opções:
- Descoberto automaticamente
- Conexão manual
Descobertas automáticas do QuickSight Clusters do Amazon Redshift associados à sua conta da AWS. Esses recursos devem estar localizados na mesma região que sua conta do QuickSight.
Para mais detalhes, consulte Autorização de conexões do Amazon QuickSight para clusters do Amazon Redshift.
Você também pode conectar e criar manualmente uma fonte de dados.
Criar um conjunto de dados do Amazon Redshift
A próxima etapa é criar um conjunto de dados QuickSight, que identifica os dados específicos em uma fonte de dados que você deseja usar.
Para este post, utilizamos o banco de dados TICKIT criado em um data warehouse do Amazon Redshift, que é composto por sete tabelas: duas tabelas de fatos e cinco dimensões, conforme a figura a seguir.
Este aplicativo de banco de dados de amostra ajuda os analistas a rastrear a atividade de vendas do site fictício TICKIT, onde os usuários compram e vendem ingressos on-line para eventos esportivos, shows e concertos.
- No Conjuntos de dados página, escolha Novo conjunto de dados.
- Escolha a fonte de dados que você criou na etapa anterior.
- Escolha Use SQL personalizado.
- Insira o SQL personalizado conforme mostrado na captura de tela a seguir.
A captura de tela a seguir mostra nossa fonte de dados concluída.
Criar uma análise do QuickSight
A próxima etapa é criar uma análise que utilize esse conjunto de dados. No QuickSight, você analisa e visualiza seus dados em análises. Quando terminar, você pode publicar sua análise como um painel para compartilhar com outras pessoas em sua organização.
- No Todas as análises guia da página inicial do QuickSight, escolha Nova análise.
A Conjuntos de dados a página abre.
- Escolha um conjunto de dados e escolha Usar na análise.
- Crie um visual. Para obter mais informações sobre como criar visuais, consulte Adicionar visuais às análises do Amazon QuickSight.
Crie um modelo QuickSight a partir de sua análise
Um modelo do QuickSight é um objeto nomeado em sua conta da AWS que contém a definição de sua análise e referências aos conjuntos de dados usados. Você pode criar um modelo usando a API do QuickSight fornecendo os detalhes da análise de origem por meio de um arquivo de parâmetro. Você pode usar modelos para criar facilmente uma nova análise.
Você pode usar o AWS Cloud9 no console para executar comandos da AWS CLI.
O comando da AWS CLI a seguir demonstra como criar um modelo do QuickSight com base na análise de vendas que você criou (forneça o ID da sua conta da AWS para sua conta de desenvolvimento):
A parameter.json
O arquivo contém os seguintes detalhes (forneça o ARN do usuário QuickSight de origem, o ARN de análise e o ARN do conjunto de dados):
Você pode usar a AWS CLI descreva-usuário, descreva_analise e descrever_dataset comandos para obter os ARNs necessários.
Para carregar o atualizado parameter.json
arquivo para AWS Cloud9, escolha Envie o na barra de ferramentas e escolha Carregar arquivo local.
O modelo QuickSight é criado em segundo plano. Os modelos do QuickSight não são visíveis na IU do QuickSight; eles são um ativo gerenciado pelo desenvolvedor ou gerenciado pelo administrador que só pode ser acessado por meio da AWS CLI ou APIs.
Para verificar o status do modelo, execute o describe-template
comando:
O código a seguir mostra a saída do comando:
Copie o modelo ARN; precisamos dele mais tarde para criar um modelo na conta de produção.
As permissões do modelo QuickSight na conta dev precisam ser atualizadas para dar acesso à conta prod. Execute o seguinte comando para atualizar o modelo QuickSight. Isso fornece o privilégio de descrição para a conta de destino para extrair detalhes do modelo da conta de origem:
O arquivo TemplatePermission.json
contém os seguintes detalhes (forneça seu ID de conta da AWS de destino):
Para carregar o atualizado TemplatePermission.json
arquivo para AWS Cloud9, escolha o Envie o menu na barra de ferramentas e escolha Carregar arquivo local.
Criar um modelo do CloudFormation
Nesta seção, criamos um modelo CloudFormation contendo nossos ativos QuickSight. Neste exemplo, usamos um modelo formatado em YAML salvo em nossa máquina local. Atualizamos as seguintes seções diferentes do modelo:
- AWS::QuickSight::DataSource
- AWS::QuickSight::DataSet
- AWS::QuickSight::Template
- AWS::QuickSight::Análise
Algumas das informações necessárias para preencher o modelo do CloudFormation podem ser coletadas da conta QuickSight de origem por meio do describe
Comandos da AWS CLI e algumas informações precisam ser atualizadas para a conta de destino.
Crie uma fonte de dados do Amazon Redshift no AWS CloudFormation
Nesta etapa, adicionamos o AWS::QuickSight::DataSource seção do modelo CloudFormation.
Reúna as seguintes informações sobre o cluster do Amazon Redshift na conta de destino da AWS (ambiente de produção):
- ARN da conexão VPC
- Proprietário
- Porta
- banco de dados
- Utilizador
- Senha
- ID de cluster
Você tem a opção de criar um personalizado DataSourceID
. Esse ID é exclusivo por região para cada conta da AWS.
Adicione as seguintes informações ao modelo:
Crie um conjunto de dados do Amazon Redshift no AWS CloudFormation
Nesta etapa, adicionamos o AWS::QuickSight::DataSet seção no modelo CloudFormation para corresponder à definição do conjunto de dados da conta de origem.
Reúna os detalhes do conjunto de dados e execute o list-data-sets
comando para obter todos os conjuntos de dados da conta de origem (forneça o ID da conta de desenvolvimento de origem):
O seguinte código é a saída:
execute o describe-data-set
comando, especificando o ID do conjunto de dados da resposta do comando anterior:
O código a seguir mostra a saída parcial:
Com base na descrição do conjunto de dados, adicione o AWS::Quicksight::DataSet
resource no modelo CloudFormation, conforme mostrado no código a seguir. Observe que você também pode criar um arquivo personalizado DataSetID
. Esse ID é exclusivo por região para cada conta da AWS.
Você pode especificar ImportMode
escolher entre Direct_Query
or Spice
.
Crie um modelo do QuickSight no AWS CloudFormation
Nesta etapa, adicionamos o AWS::QuickSight::Template seção no modelo CloudFormation, representando o modelo de análise.
Use o ARN do modelo de origem que você criou anteriormente e adicione o AWS::Quicksight::Template
recurso no modelo CloudFormation:
Criar uma análise do QuickSight
Nesta última etapa, adicionamos o AWS::QuickSight::Análise seção no modelo CloudFormation. A análise está vinculada ao modelo criado na conta de destino.
Adicionar o AWS::Quicksight::Analysis
recurso no modelo CloudFormation, conforme mostrado no código a seguir:
Implante o modelo CloudFormation na conta de produção
Para criar uma nova pilha do CloudFormation que usa o modelo anterior por meio do console do AWS CloudFormation, conclua as seguintes etapas:
- No console do AWS CloudFormation, escolha Criar Pilha.
- No menu suspenso, escolha com novos recursos (padrão).
- Escolha Preparar modelo, selecione O modelo está pronto.
- Escolha Especificar modelo, escolha Faça upload de um arquivo de modelo.
- Salve o modelo CloudFormation fornecido em um arquivo .yaml e faça upload dele.
- Escolha Próximo.
- Insira um nome para a pilha. Para esta postagem, usamos
QS-RS-CF-Stack
. - Escolha Próximo.
- Escolha Próximo novamente.
- Escolha Criar Pilha.
O status da pilha muda para CREATE_IN_PROGRESS
, então, para CREATE_COMPLETE
.
Verifique se os objetos do QuickSight na tabela a seguir foram criados no ambiente de produção.
Tipo de Objeto QuickSight | Nome do Objeto (Dev) | Nome do Objeto (Prod) |
Fonte de dados | RS-Vendas-DW | RS-Vendas-DW |
Conjunto de dados | Vendas | Vendas |
Modelo | QS-RS-Tempo de Vendas | QS-RS-SalesAnalysis-Temp |
Análise | Análise de vendas | Análise de vendas |
O exemplo a seguir mostra que Sales Analysis
foi criado na conta de destino.
Conclusão
Esta postagem demonstrou uma abordagem para migrar uma análise QuickSight com uma fonte de dados Amazon Redshift de uma conta QuickSight para outra com um modelo CloudFormation.
Para obter mais informações sobre como automatizar a implantação do painel, personalizar o acesso ao console do QuickSight, configurar a colaboração em equipe e implementar multilocação e segregação de usuários clientes, confira os vídeos Workshop de administração virtual: trabalhando com APIs do Amazon QuickSight e Workshop virtual de nível de administrador, V2 no YouTube.
Sobre o autor
Sandeep Bajwa é um Especialista Sênior em Análise baseado no norte da Virgínia, especializado no design e implementação de soluções analíticas e de data lake.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/automate-deployment-of-an-amazon-quicksight-analysis-connecting-to-an-amazon-redshift-data-warehouse-with-an-aws-cloudformation-template/
- 1
- 10
- 100
- 7
- a
- Sobre
- Acesso
- acessível
- Conta
- Contas
- ações
- atividade
- Ad
- Adição
- admin
- Todos os Produtos
- Amazon
- AmazonQuickSight
- análise
- Analistas
- Análises
- analítica
- analisar
- análise
- e
- Outro
- api
- APIs
- Aplicação
- aplicações
- abordagem
- arquitetura
- ativo
- Ativos
- associado
- automatizar
- automatizando
- AWS
- Nuvem AWS9
- Formação da Nuvem AWS
- em caminho duplo
- fundo
- Barra
- baseado
- MELHOR
- entre
- construir
- negócio
- comprar
- capacidades
- Cuidado
- Alterações
- verificar
- Escolha
- Cidades
- cliente
- Na nuvem
- Cloud9
- Agrupar
- código
- colaboração
- colunas
- completar
- Efetuado
- integrações
- concertos
- Contato
- conectado
- Conexão de
- da conexão
- Coneções
- cônsul
- contém
- crio
- criado
- Criar
- Credenciais
- personalizadas
- painel de instrumentos
- dados,
- lago data
- data warehouse
- banco de dados
- conjuntos de dados
- Data
- entrega
- demonstraram
- demonstra
- implantar
- desenvolvimento
- Implantações
- descreve
- descrição
- Design
- detalhes
- Dev
- Desenvolvimento
- diferente
- dimensões
- distinto
- cada
- Mais cedo
- facilmente
- permitindo
- Motor
- Meio Ambiente
- ambientes
- Éter (ETH)
- eventos
- exemplo
- extrato
- RÁPIDO
- fictício
- Figura
- Envie o
- Flexibilidade
- fluxo
- focando
- seguinte
- da
- gerado
- ter
- OFERTE
- Grupo
- ajuda
- de alto nível
- hospedeiro
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- HTTPS
- Centenas
- IAM
- identifica
- Dados de identificação:
- implementação
- implementação
- in
- INFORMAÇÕES
- do estado inicial,
- insights
- integração
- interagir
- envolvido
- IT
- lago
- Sobrenome
- LIMITE
- Line
- ligado
- Listado
- local
- localizado
- mais
- máquina
- de grupos
- gestão
- manualmente
- Match
- Menu
- migrado
- migração
- modelo
- mais
- a maioria
- múltiplo
- nome
- Nomeado
- nativo
- você merece...
- Cria
- Novo
- Próximo
- objeto
- objetos
- ONE
- online
- abre
- Opção
- Opções
- ordem
- organização
- organizações
- Outros
- esboço
- próprio
- parâmetro
- Senha
- realizar
- atuação
- permissões
- platão
- Inteligência de Dados Platão
- PlatãoData
- Publique
- pré-requisitos
- anterior
- Diretor
- Produção
- Propriedades
- fornecer
- fornecido
- fornece
- fornecendo
- publicar
- rapidamente
- referências
- região
- representando
- requeridos
- exige
- recurso
- Recursos
- resposta
- responsivo
- uma conta de despesas robusta
- Rolo
- Execute
- corrida
- vendas
- mesmo
- Escala
- Seção
- seções
- vender
- serviço
- Serviços
- conjunto
- contexto
- Sete
- Partilhar
- mostrar
- mostrando
- Shows
- So
- solução
- Soluções
- alguns
- fonte
- Fontes
- especialista
- especializado
- específico
- gastar
- tempero
- SQL
- pilha
- Pilhas
- padrão
- começo
- Status
- Passo
- Passos
- suficiente
- mesa
- toma
- Target
- Profissionais
- modelo
- modelos
- teste
- A
- as informações
- A fonte
- deles
- milhares
- Através da
- bilhetes
- tempo
- para
- ferramenta
- pista
- ui
- único
- Atualizar
- Atualizada
- usar
- Utilizador
- usuários
- utiliza
- versão
- via
- VÍDEOS
- Virgínia
- Virtual
- visível
- visualização
- visualizar
- Armazém
- Site
- qual
- largamente
- dentro
- trabalhar
- oficina
- yaml
- ano
- investimentos
- Youtube
- zefirnet