Amazzone Atena è un servizio di query interattivo che semplifica l'analisi dei dati in formato a lago dati utilizzando SQL standard. Uno degli elementi chiave di Athena è che paghi solo per le query che esegui. Questa è una funzionalità interessante perché non è necessario configurare, gestire o mantenere alcun hardware.
Puoi interrogare Athena con SQL o utilizzando strumenti di visualizzazione dei dati come Amazon QuickSight, Microsoft Power BI, Tableau o altre opzioni di terze parti. QuickSight è un servizio di business intelligence (BI) nativo del cloud che puoi utilizzare per analizzare visivamente i dati e condividere dashboard interattivi con tutti gli utenti della tua organizzazione. QuickSight è completamente gestito e serverless, non richiede download di client per la creazione del dashboard e dispone di un modello di prezzi con pagamento per sessione che ti consente di pagare per il consumo del dashboard con una tariffa massima di $ 5.00 per lettore al mese. La combinazione di QuickSight e Athena ti consente di distribuire rapidamente dashboard e BI a decine di migliaia di utenti, pagando solo per l'utilizzo effettivo e senza preoccuparti della distribuzione o della gestione del server.
Microsoft Power BI ti consente di analizzare i tuoi dati in modo simile. In precedenza, la creazione di dashboard con Microsoft Power BI e Athena richiedeva il download di tutti i dati localmente sul computer. Questa operazione richiede tempo e può non riuscire a causa di limiti di memoria o di larghezza di banda della rete.
Ora puoi creare dashboard di Microsoft Power BI e sfruttare la potenza di Athena tramite il nostro connettore pronto all'uso per Power BI. Il connettore è più scalabile in quanto supporta Power BI DirectQuery modalità in cui i set completi di dati grezzi non vengono scaricati sulla workstation. Mentre crei o interagisci con una visualizzazione, Microsoft Power BI collabora con Athena per eseguire query dinamiche sull'origine dati sottostante in modo da visualizzare sempre i dati correnti.
Questo post fornisce indicazioni dettagliate su come utilizzare il connettore Athena per Power BI per eseguire query, visualizzare e condividere dati con Power BI.
Panoramica della soluzione
Per creare dashboard di Microsoft Power BI utilizzando Athena come origine dati, si inizia progettando un dashboard in Desktop Microsoft Power BI con l'aiuto del connettore dell'origine dati Athena per Power BI e Driver ODBC Athena. Una volta terminata la creazione del dashboard, lo pubblichi nel servizio Microsoft Power BI. Per visualizzare i tuoi dati sul servizio Microsoft Power BI, devi installare il gateway dati locale di Microsoft Power BI nel tuo account AWS: funziona come un ponte tra il servizio Microsoft Power BI e Athena. Infine, configuri Athena come nuova origine dati nel servizio Microsoft Power BI.
Per autenticarti con Athena, utilizzi un ruolo del profilo dell'istanza perché è più semplice eseguire tutta la configurazione oppure puoi utilizzare uno qualsiasi dei diverse opzioni di autenticazione fornito dal driver ODBC Athena.
Il diagramma seguente illustra l'architettura della soluzione.
Panoramica della procedura dettagliata
Per questo post, esamineremo un caso d'uso utilizzando i dati di Set di dati sui record dei taxi di New York City dal 2015. I dati sono già archiviati in formato Apache Parquet e sono partizionati. Per ulteriori informazioni sull'ottimizzazione delle query Athena, vedere I 10 migliori consigli per l'ottimizzazione delle prestazioni per Amazon Athena.
Distribuisci un file AWS CloudFormazione impilare con tutta l'infrastruttura necessaria per distribuirne due Cloud di calcolo elastico di Amazon (Amazon EC2) istanze in una sottorete privata in an Cloud privato virtuale di Amazon (Amazon VPC): un'istanza viene utilizzata per Microsoft Power BI Desktop e l'altra viene utilizzata per il gateway dati locale di Microsoft Power BI. Questo stack utilizza istanze t3.2xlarge perché hanno il requisiti hardware minimi consigliati. Puoi aumentare o diminuire il tipo di istanza EC2 a seconda del prestazioni del gateway.
Inoltre, il modello CloudFormation crea un Colla AWS tabella che ti dà accesso al set di dati. Crea un AWS Lambda fungere da risorsa personalizzata AWS CloudFormation che aggiorna tutte le partizioni nella tabella AWS Glue.
Quindi, usi Gestore di sistemi AWS Gestore della sessione (vedi Avvio di una sessione (console di Systems Manager) e qualsiasi client desktop remoto per configurare le istanze e creare la dashboard seguendo questi passaggi:
- Distribuisci lo stack CloudFormation scegliendo Pila di lancio:
- Nell'istanza Amazon EC2 con il tag
PowerBiDesktop
, installa e configura il driver ODBC di Simba Athena e Microsoft Power BI Desktop. - Crea il tuo dashboard su Microsoft Power BI Desktop e pubblicalo.
- Nell'istanza Amazon EC2 con il tag
PowerBiGateway
, installare e configurare il driver ODBC Simba Athena e il gateway dati locale di Microsoft Power BI. - Apri Microsoft Power BI e configura la tua origine dati Athena.
Prerequisiti
Per questa procedura dettagliata, è necessario disporre dei seguenti prerequisiti:
- An Account AWS.
- Un creato in precedenza coppia di chiavi in Amazon EC2.
- Il Estensione CLI del gestore di sistema installato (versione 1.1.26.0 o più recente).
- L'ultima versione di Interfaccia della riga di comando di AWS (AWS CLI) (2.0 o più recente). Non dimenticartelo configuralo.
- Una licenza Microsoft Power BI Pro.
Accesso alla tua istanza Microsoft Power BI Desktop
Per ridurre la superficie di attacco di a host bastione, l'onere operativo per gestire gli host bastioni e i costi aggiuntivi sostenuti, Session Manager ti consente di connetterti in modo sicuro alle tue istanze EC2 senza la necessità di eseguire e gestire i tuoi bastion host o eseguire SSH sul tuo EC2 istanze. Per ulteriori informazioni, vedere Novità: port forwarding tramite AWS System Manager Session Manager.
Connettersi all'istanza di Microsoft Power BI Desktop con Session Manager. È necessario eseguire i seguenti comandi a seconda del sistema operativo del computer locale. Potrebbero essere necessari alcuni minuti dopo la distribuzione affinché l'istanza sia disponibile.
Per Linux e Mac OS, inserisci il seguente codice:
Per Windows, inserisci il seguente codice:
Apri l'applicazione desktop remoto e connettiti all'istanza EC2 di Microsoft Power BI Desktop. Sono necessarie le seguenti informazioni:
- IP -
localhost:8889
- Utente -
Administrator
- Password – La password della tua istanza EC2. Per recuperare la password, vedere Come posso recuperare la password dell'amministratore di Windows dopo aver avviato un'istanza?
Installazione e configurazione di Microsoft Power BI Desktop
Per installare e configurare Microsoft Power BI Desktop, completare i passaggi seguenti:
- Scarica e installa l'ultimo Driver ODBC Athena per Windows a 64 bit.
- Scegli lo script ps1 situato sul desktop (tasto destro) e scegli Esegui con Powershell.
Questo crea una nuova origine dati su Windows chiamata taxiconnection
.
- Scarica e installa Microsoft Power BI Desktop.
- Aprire l'applicazione Microsoft Power BI Desktop.
Creazione di una connessione Athena su Microsoft Power BI Desktop
Per creare la tua connessione Athena, completa i seguenti passaggi:
- Apri Microsoft Power BI Desktop.
- Scegli Ottieni dati ed Più.
- Cerca e seleziona Amazzone Atena.
- Nel Nome origine dati (DSN), accedere
taxiconnection
. - Scegli DirectQuery.
Se scegli la modalità di importazione, non puoi creare il dashboard perché Microsoft Power BI Desktop tenta di scaricare tutti i dati localmente nel computer e il set di dati non termina mai il caricamento.
- Scegli OK.
- Scegli Utilizza la configurazione dell'origine dati.
- Scegli Connettiti.
- Nel
AwsDataCatalog
cartella, accedere alla cartellanyctaxi
cartella. - Scegli i record.
- Scegli Caricare.
Creare la tua dashboard su Microsoft Power BI Desktop e pubblicarla
Puoi creare una dashboard per mostrare il numero di transazioni per mese e digitarle in ordine decrescente. È quindi possibile pubblicare la struttura di questo report per renderlo disponibile in Microsoft Power BI.
- Nel Visualizzazioni nel riquadro, scegli il file Grafico a barre in pila
- Nel campi riquadro, trascinare il mese campo al Axis sezione in Visualizzazioni
- Trascinare il Digitare campo al Leggenda sezione in Visualizzazioni
- Trascinare il data_ora di ritiro campo al Valore sezione in Visualizzazioni
Lo screenshot seguente mostra la tua visualizzazione.
- Scegli Pubblica.
Poiché si tratta di un nuovo report, ti verrà richiesto di salvarlo prima di poterlo pubblicare.
- Dai un nome alla tua segnalazione (ad esempio
taxireport
) e scegli Risparmi. - Accedi per poter pubblicare il tuo report.
- Scegli una destinazione (es Il mio spazio di lavoro).
- Nel Storie Di finestra, scegliere Fatto.
Dopo quest'ultimo passaggio, la struttura del report viene pubblicata su Microsoft Power BI. Tuttavia, se provi a visualizzare il report, non sono presenti dati perché i dati non vengono pubblicati con il report. È necessario installare il gateway dati locale di Microsoft Power BI per poter estrarre i dati.
Accesso all'istanza del gateway dati locale di Microsoft Power BI
Come hai fatto con Microsoft Power BI Desktop, accedi all'istanza di Microsoft Power BI Gateway utilizzando i tag per ottenere i relativi ID e una porta locale diversa.
Per Linux e Mac OS, inserisci il seguente codice:
Per Windows, inserisci il seguente codice:
Apri l'applicazione desktop remoto e connettiti all'istanza Amazon EC2 di Microsoft Power BI Gateway con le seguenti informazioni:
- IP -
localhost:8899
- Utente -
Administrator
- Password – La password della tua istanza EC2. Per recuperare la password, vedere Come posso recuperare la password dell'amministratore di Windows dopo aver avviato un'istanza?
Installazione e configurazione del gateway dati locale di Microsoft Power BI
Per configurare il gateway dati locale, completa i seguenti passaggi:
- Scarica e installa l'ultimo Driver ODBC Athena per Windows a 64 bit.
- Scegliere il
CongigureODBC.ps1
script situato sul desktop (tasto destro del mouse) e scegli Esegui con Powershell.
Questo crea una nuova origine dati su Windows chiamata taxiconnection
.
- Scarica la modalità standard del gateway dati locale di Microsoft Power BI e avvia il programma di installazione. Potrebbe essere necessario eseguire l'aggiornamento all'ultima versione .NET disponibile prima di avviare l'installazione.
- Per il tuo gateway, scegli Gateway dati locale (consigliato).
- Accetta i valori predefiniti e scegli Installa.
- Quando il programma di installazione ti chiede di accedere, inserisci l'indirizzo e-mail associato all'account amministratore per il tenant di Microsoft Power BI Pro.
- Scegli Accedi.
- Se ti viene chiesto di registrare un nuovo gateway o migrare, ripristinare o rilevare un gateway esistente, scegli Registra un nuovo gateway.
- Assegna un nome al gateway e fornisci una chiave di ripristino.
- Scegli Configurazione.
Dovresti vedere un segno di spunta verde che indica che il gateway è online e pronto per essere utilizzato.
Apertura di Microsoft Power BI e configurazione dell'origine dati Athena
Per configurare l'origine dati, completa i seguenti passaggi:
- Apri Microsoft Power BI nel tuo browser.
- Scegliere il Impostazioni profilo icona.
- Scegli Gestire i gateway.
- Trova il cluster gateway che hai appena creato.
- Passa il mouse sul nome del gateway e scegli l'icona ....
- Scegli Apri il menu.
- Scegli Aggiungi origine dati.
- Per il nome dell'origine dati, immettere
taxiconnection
. - Per il tipo di origine dati, scegli Amazon Athena.
- Per il secondo nome dell'origine dati, immettere
taxiconnection
. - Nel Metodo di autenticazione, scegli Anonimo, Quindi scegliere Aggiungi.
Visualizzazione del report su Microsoft Power BI
Per visualizzare il tuo rapporto, completa i seguenti passaggi:
- Scegli l'area di lavoro in cui hai salvato il rapporto.
- Sulla Scheda Set di dati + flussi di dati, individuare il set di dati, individuare il set di dati con lo stesso nome del report (ad esempio,
taxireport
) e scegli il file ... icona. - Scegli Impostazioni profilo.
- Scegli Scopri le origini dati.
- espandere la Connessione gateway
- Scegli il tuo portale.
- Nel Mappe perscegli
taxiconnection
. - Scegli APPLICA.
- Torna all'area di lavoro in cui hai salvato il rapporto.
- Sulla Contenuti scheda, scegli il tuo rapporto (
taxireport
).
Ora puoi vedere il tuo rapporto online utilizzando i dati più recenti.
Pulire
Per evitare di incorrere in addebiti futuri, elimina lo stack CloudFormation e il bucket S3 che hai distribuito come parte di questo post.
Conclusione
Questo post illustra come connettersi ad Athena da Microsoft Power BI utilizzando il connettore di origine dati predefinito e importare dati utilizzando la modalità DirectQuery. La prima parte del post descrive i componenti dell'architettura e come creare con successo una dashboard utilizzando il set di dati dei taxi di New York. Lo stack distribuito utilizza solo un'istanza EC2 per il gateway dati locale di Microsoft Power BI, ma in produzione dovresti prendere in considerazione la creazione di un cluster ad alta disponibilità di installazioni gateway, idealmente in diverse zone di disponibilità. La seconda parte di questo post ha distribuito un ambiente demo e ti ha guidato attraverso i passaggi per configurare Microsoft Power BI con Athena per condividere le tue informazioni. Per l'accesso nativo ai tuoi dati in AWS senza download o server, assicurati di controllare anche Amazon QuickSight.
Informazioni sugli autori
Armando Segnini è un Data Architect presso AWS Professional Services. Dedica il suo tempo a creare soluzioni scalabili di Big Data e analisi per i clienti AWS Enterprise e Strategic. Armando ama anche viaggiare con la sua famiglia in giro per il mondo e fotografare i luoghi che visita.
Xavier Naunay è un architetto dei dati presso AWS Professional Services. Fa parte del team AWS ProServe e aiuta i clienti aziendali a risolvere problemi complessi utilizzando i servizi AWS. Nel tempo libero viaggia o impara a conoscere la tecnologia e altre culture.
- "
- 100
- 107
- accesso
- Il mio account
- aggiuntivo
- Admin
- Tutti
- Amazon
- Amazon EC2
- analitica
- Apache
- Applicazioni
- architettura
- in giro
- Autenticazione
- disponibilità
- AWS
- sistema
- BRIDGE
- del browser
- Costruzione
- affari
- business intelligence
- carica
- oneri
- Città
- codice
- Calcolare
- consumo
- Costi
- Creazione
- Corrente
- Clienti
- cruscotto
- dati
- visualizzazione dati
- DID
- autista
- Impresa
- clienti aziendali
- Ambiente
- famiglia
- caratteristica
- Infine
- Nome
- formato
- Gratis
- function
- futuro
- Green
- Hardware
- Come
- Tutorial
- HTTPS
- Aumento
- informazioni
- Infrastruttura
- intuizioni
- Intelligence
- interattivo
- IT
- Le
- con i più recenti
- lanciare
- apprendimento
- Leva
- Licenza
- linea
- linux
- locale
- a livello locale
- Mac
- gestione
- Microsoft
- modello
- rete
- Rete
- NYC
- online
- Opzioni
- minimo
- Altro
- Password
- Paga le
- performance
- energia
- Power BI
- prezzi
- un bagno
- Pro
- Produzione
- Profilo
- pubblicare
- editoriale
- Crudo
- dati grezzi
- Lettore
- record
- recupero
- ridurre
- rapporto
- Requisiti
- risorsa
- Correre
- running
- serverless
- Servizi
- set
- Condividi
- So
- Soluzioni
- RISOLVERE
- SQL
- inizia a
- Regione / Stato
- Strategico
- supporti
- superficie
- sistema
- SISTEMI DI TRATTAMENTO
- Quadro
- Tecnologia
- tempo
- suggerimenti
- Le transazioni
- viaggiare
- Aggiornanento
- Aggiornamenti
- utenti
- Visualizza
- virtuale
- visualizzazione
- finestre
- lavori
- mondo