Det här är ett gästinlägg av Valdiney Gomes, Hélio Leal och Flávia Lima från Dafiti.
Data och dess olika användningsområden blir allt tydligare i företag, och varje professionell har sina preferenser om vilken teknik som ska användas för att visualisera data, vilket inte nödvändigtvis är i linje med ett företags tekniska behov och infrastruktur. På Dafiti, en brasiliansk e-handelsbutik för mode och stil, var det inte annorlunda. Fem verktyg användes av olika sektorer av företaget, vilket orsakade felanpassning och ledningskostnader, vilket spred våra resurser tunt för att stödja dem. Vi letade efter ett verktyg som skulle göra det möjligt för oss att demokratisera vår data Amazon QuickSight, en molnbaserad, serverlös business intelligence (BI)-tjänst som driver interaktiva instrumentpaneler som låter oss fatta bättre datadrivna beslut, som en företagslösning för datavisualisering.
I det här inlägget diskuterar vi varför vi valde QuickSight och hur vi implementerade det.
Varför vi valde QuickSight
Vi hade specifika krav på vår BI-lösning och tittade på många olika alternativ. Följande faktorer styrde vårt beslut:
- Verktyg nära data – Det var viktigt att ha datavisualiseringsverktyget så nära data som möjligt. På Dafiti är hela infrastrukturen på AWS, och vi använder Amazon RedShift som vårt datalager. QuickSight, vid användning KRYDDA (Supersnabb, Parallell, In-Memory Calculation Engine), extraherar data från Amazon Redshift så effektivt som möjligt med hjälp av LASTA AV, som optimerar användningen av Amazon Redshift.
- Mycket tillgänglig och lättillgänglig lösning – Vi ville kunna komma åt verktyget via webb- eller mobilgränssnitt, förutom att kunna göra nästan vad som helst genom API-anrop.
- Serverlös lösning – Alla andra datavisualiseringslösningar som användes på Dafiti fanns i lokaler, vilket skapade onödiga kostnader och ansträngningar för att underhålla dessa tjänster och tog bort fokus från det som var viktigast för oss: data.
- Flexibel prismodell – Vi behövde en prismodell som skulle ge oss tillgång till alla i företaget och till ett pris som definieras av användning och inte av licens. Tack vare AWS pay-as-you-go-prissättning, med mer än dubbelt så många användare som vi hade på vår tidigare huvudsakliga datavisualiseringslösning, är vår kostnad med QuickSight cirka 10 gånger lägre.
- Robust dokumentation – Materialet från AWS visade sig vara användbart, vilket gjorde att vårt team kunde sätta projektet i produktion.
Att förena vår lösning
Vi använde tidigare Qlikview, Sisense, Tableau, SAP och Excel för att analysera vår data i olika team. Vi använde redan andra AWS-tjänster och lärde oss om QuickSight när vi var värd för en Data Battle med AWS, ett hybridevenemang för mer än 230 Dafiti-anställda. Detta evenemang hade ett praktiskt tillvägagångssätt med en workshop följt av en trevlig QuickSight-tävling. Deltagarna var tvungna att få information i sin egen instrumentpanel för att svara rätt. Detta 5-timmarsevenemang flög förbi, påskyndade inlärningsvägen för tekniska och affärsteam och bevisade att QuickSight var rätt verktyg för oss.
QuickSight har samlat alla våra team i ett verktyg, samtidigt som vi har sänkt kostnaderna med 80 % och gjort det möjligt för oss att göra så mycket mer tillsammans. För närvarande använder över 400 anställda, inklusive vår VD, i nio olika affärsenheter QuickSight som sin enda källa till sanning på daglig basis. Detta inkluderar personal, revision och kundservice, som tidigare haft sina analyser utspridda på flera källor.
Datademokratisering
Datademokratisering är ett av Dafitis huvudmål. Vi tror att genom att tillåta alla att analysera data, enligt brasiliansk, argentinsk och colombiansk integritetslagar, frigörs potentialen för att förbättra beslutsprocesser genom att extrahera värde från data som genereras av företaget. Demokratiseringen av data kommer dock med en ansvarsfull resursanvändning. Ja, vi vill att alla användare ska kunna komma åt och extrahera värde från datan, men kostnaden kan aldrig bli större än det värde som detta genererar.
Hur vi organiserade projektet
Datademokratisering driver Dafitis strategi. När man implementerar QuickSight, besattheten av att bli ett ännu mer datadrivet företag (vi pratar om detta på AWS Summit SP 2022) och att ha data allt mer tillgänglig var det som styrde projektet.
Vi organiserade QuickSight efter mappar, som kan ses i följande figur, och varje mapp representerar ett affärsområde. Detta gör det lättare att bevilja åtkomst och säkerställer att alla personer från samma område har tillgång till exakt samma uppsättning data och rapporter.
I den här modellen kan personer från företagsdataområdet visa och redigera valfri resurs från vilket område som helst, medan kundtjänstanvändare kan visa och redigera resurser endast för kundtjänst.
Om man utökar modellen lite kan de rapporter som skapats av ett område delas med andra, vilket kan ses i följande figur, där SAC-rapporten delades med Support, vilket skapar vad vi kallar en rapporteringsportfölj.
På detta sätt kommer alla användare som går med i någon av grupperna att ha exakt samma vy som någon av sina kamrater, vilket eliminerar privilegier för åtkomst till data. Dessutom berikas portföljen varje dag med rapporter som skapas och underhålls av andra områden, men som kan vara av intresse för andra områden än den som ansvarar för att skapa den.
För att detta ska fungera korrekt krävs en viss stelhet i förhållande till de få namn- och dokumentationsstandarder som har definierats. Å andra sidan har designers full frihet att definiera egenskaperna för sina rapporter.
En annan höjdpunkt i denna modell är att ingen rapport kan delas direkt med en specifik användare; denna begränsning definierades med hjälp av anpassade behörigheter i QuickSight. Därför delas rapporterna alltid endast via mapparna. Vi vill trots allt att uppgifterna ska vara tillgängliga lika för alla i företaget.
Tekniska konfigurationer
QuickSight erbjuder ett heltäckande API, och alla aktiviteter vi utför dagligen sker genom dessa API:er. Bland dessa aktiviteter lyfter vi fram tillståndsgivning och övervakning av olika aspekter av verktyget.
QuickSights visuella gränssnitt gör att de flesta av verktygets underhållsaktiviteter kan utföras och integrering med Active Directory eller användning av AWS identitets- och åtkomsthantering (IAM)-användare är möjligt, men vi förstår att det inte skulle vara det perfekta valet att bevilja åtkomst. Därför definierade vi ett åtkomstbeviljandeflöde för användare och grupper baserat på QuickSight API, som kan ses i följande figur. I den här modellen skapas och tas bort användare genom en JSON-fil med följande struktur:
Närhelst en användare behöver läggas till eller ändras, redigeras filen och en pull-begäran skickas till GitHub. Om begäran godkänns utlöses en åtgärd för att skicka filen till en Amazon enkel lagringstjänst (Amazon S3) hink. Från detta, an AWS Lambda funktion utlöses som utför två aktiviteter: den första är underhåll av användare och grupper, och den andra är att skicka en inbjudan via Amazons enkla e -posttjänst (Amazon SES) för användare att gå med i QuickSight. I vårt fall valde vi en personlig inbjudningsmodell som skulle betona det datademokratiseringsinitiativ som bedrivs.
För att övervaka verktyget implementerade vi arkitekturen som visas i följande figur, där vi använde AWS CloudTrail för att dra ut QuickSight-loggarna och QuickSight API för att extrahera information från verktygets resurser, såsom rapporter, användare, datauppsättningar, datakällor och mer. All denna data bearbetas av Glove, vårt dataintegrationsverktyg, som lagras i Amazon Redshift och analyseras i QuickSight själv. Detta gör att vi kan förstå våra användares beteende och koncentrera insatserna på de mest använda resurserna, förutom att tillåta optimal kostnadskontroll och användning av SPICE.
För att uppdatera datamängderna använder vi inte QuickSights interna schemaläggare, på grund av den stora datamängden och komplexiteten hos DAG:erna. Vi föredrar att uppdatera datamängderna inom vårt ETL (extrahera, transformera och ladda) och ELT processorkestreringsflöde. För detta ändamål använder vi Hanger, vårt orkestreringsverktyg. Detta tillvägagångssätt tillåter att datamängderna endast uppdateras när datakällan ändras och datakvalitetsprocesserna exekveras. Denna modell representeras av följande figur.
Slutsats
Att välja ett datavisualiseringsverktyg är inte en enkel uppgift. Det innebär många överväganden och flera aspekter måste analyseras för att valet ska passa företagets egenskaper och stämma överens med företagsanvändarnas profil.
För Dafiti var QuickSight ett naturligt val från det ögonblick vi lärde oss om dess funktioner. Vi behövde en tjänst som fanns i samma moln som våra huvudsakliga datakällor, extremt snabb med SPICE och löste underhålls- och kostnadsproblemet för lokala applikationer. När det gäller funktioner som är nödvändiga för vår verksamhet, mötte det våra behov perfekt.
Vill du veta mer om vad vi gör inom dataområdet här på Dafiti? Kolla in följande videor:
Om författarna
Valdiney Gomes är Data Engineering Coordinator på Dafiti. Han arbetade i många år inom mjukvaruteknik, migrerade till datateknik och leder för närvarande ett fantastiskt team som ansvarar för dataplattformen för Dafiti i Latinamerika.
Hélio Leal är en Data Engineering Specialist på Dafiti, ansvarig för att underhålla och utveckla hela dataplattformen på Dafiti med hjälp av AWS-lösningar.
Flávia Lima är en dataingenjör på Dafiti, ansvarig för att underhålla dataplattformen och tillhandahålla data från många källor till interna kunder.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoAiStream. Web3 Data Intelligence. Kunskap förstärkt. Tillgång här.
- Minting the Future med Adryenn Ashley. Tillgång här.
- Källa: https://aws.amazon.com/blogs/big-data/how-dafiti-made-amazon-quicksight-its-primary-data-visualization-tool/
- : har
- :är
- :inte
- 1
- 10
- 100
- a
- Able
- Om Oss
- accelererad
- tillgång
- tillgänglig
- åtkomst
- tvärs
- Handling
- aktiv
- Active Directory
- aktiviteter
- lagt till
- Dessutom
- Efter
- Alla
- tillåta
- tillåter
- redan
- alltid
- fantastiska
- amason
- Amazon QuickSight
- amerika
- bland
- an
- analysera
- och
- och infrastruktur
- svara
- vilken som helst
- api
- API: er
- tillämpningar
- tillvägagångssätt
- godkänd
- arkitektur
- ÄR
- OMRÅDE
- områden
- AS
- aspekter
- At
- revision
- tillgänglig
- AWS
- baserat
- grund
- Slaget
- BE
- passande
- varit
- Där vi får lov att vara utan att konstant prestera,
- tro
- Bättre
- Bit
- Brazilian
- fört
- företag
- business intelligence
- men
- by
- Ring
- Samtal
- KAN
- bära
- Vid
- orsakas
- VD
- vissa
- egenskaper
- ta
- val
- valde
- Stäng
- cloud
- COM
- Företag
- företag
- konkurrens
- fullborda
- Komplexiteten
- omfattande
- koncentrera
- genomfördes
- överväganden
- konsekvent
- kontroll
- Samordnare
- Företag
- korrekt
- Pris
- Kostar
- skapas
- Skapa
- skapande
- För närvarande
- kund
- Kundservice
- Kunder
- dagligen
- instrumentbräda
- datum
- dataingenjör
- dataintegration
- Dataplattform
- Datakvalitet
- datavisualisering
- datalagret
- data driven
- datauppsättningar
- dag
- Beslutet
- Beslutsfattande
- beslut
- Standard
- definierade
- demokratisering
- DEMOKRATISERA
- konstruktörer
- olika
- direkt
- diskutera
- do
- dokumentation
- gör
- inte
- dubbla
- e-handel
- varje
- lättare
- effektivt
- ansträngning
- ansträngningar
- eliminera
- betona
- anställda
- möjliggöra
- möjliggör
- Motor
- ingenjör
- Teknik
- berikad
- säkerställer
- Hela
- lika
- Eter (ETH)
- Även
- händelse
- Varje
- varje dag
- alla
- utvecklas
- exakt
- excel
- expansionen
- extrahera
- extrakt
- extremt
- faktorer
- Mode
- SNABB
- Funktioner
- få
- Figur
- Fil
- Förnamn
- passa
- flöda
- Fokus
- följt
- efter
- För
- Frihet
- vänliga
- från
- fungera
- funktionaliteter
- genereras
- genererar
- skaffa sig
- GitHub
- bevilja
- beviljande
- större
- Gruppens
- Gäst
- gäst inlägg
- sidan
- praktisk
- Har
- har
- he
- hjälp
- här.
- Markera
- värd
- Hur ser din drömresa ut
- Men
- html
- http
- HTTPS
- humant
- Human Resources
- Hybrid
- hybridhändelse
- IAM
- idealisk
- Identitet
- genomföras
- genomföra
- med Esport
- förbättra
- in
- innefattar
- Inklusive
- alltmer
- informationen
- Infrastruktur
- Initiativ
- integrering
- Intelligens
- interaktiva
- intresse
- Gränssnitt
- inre
- in
- inbjudan
- innebär
- IT
- DESS
- sig
- delta
- jpg
- json
- Vet
- Large
- latin
- latinamerika
- Lagar
- Leads
- lärt
- inlärning
- Lets
- Licens
- linje
- läsa in
- såg
- du letar
- sänkning
- gjord
- Huvudsida
- bibehålla
- underhåll
- göra
- GÖR
- ledning
- många
- Materialet
- Maj..
- Mobil
- modell
- ögonblick
- Övervaka
- övervakning
- mer
- mest
- namngivning
- Natural
- nödvändigtvis
- nödvändigt för
- behövs
- behov
- antal
- mål
- of
- Erbjudanden
- on
- ONE
- endast
- optimala
- optimerar
- Tillbehör
- or
- orkestrering
- beställa
- Organiserad
- Övriga
- Övrigt
- vår
- över
- egen
- Parallell
- deltagare
- bana
- Personer
- utför
- tillstånd
- personlig
- Plats
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- portfölj
- möjlig
- Inlägg
- potentiell
- befogenheter
- föredra
- preferenser
- föregående
- tidigare
- pris
- prissättning
- prissättningsmodell
- primär
- privatpolicy
- sekretesslagar
- privilegier
- Problem
- process
- processer
- Produktion
- professionell
- Profil
- projektet
- visat
- ge
- förutsatt
- tillhandahålla
- Syftet
- sätta
- kvalitet
- förhållande
- avlägsnande
- rapport
- Rapportering
- Rapport
- representerade
- representerar
- begära
- Krav
- resurs
- Resurser
- ansvarig
- begränsning
- återförsäljare
- s
- Samma
- SAP
- Andra
- Sektorer
- sett
- skicka
- Server
- service
- Tjänster
- in
- flera
- delas
- visas
- Enkelt
- So
- Mjukvara
- mjukvaruutveckling
- lösning
- Lösningar
- Källa
- Källor
- specialist
- specifik
- krydda
- spridning
- Spridning
- standarder
- förvaring
- lagras
- Strategi
- struktur
- stil
- lämnats
- sådana
- Summit
- stödja
- Tableau
- Ta
- tar
- Diskussion
- uppgift
- grupp
- lag
- Teknisk
- teknisk
- Tekniken
- villkor
- än
- tack
- den där
- Smakämnen
- deras
- Dem
- därför
- Dessa
- detta
- Genom
- gånger
- till
- tillsammans
- verktyg
- verktyg
- Förvandla
- triggas
- sann
- sanningen
- förstå
- enheter
- låser upp
- Uppdatering
- uppdaterad
- uppdatering
- us
- Användning
- användning
- Begagnade
- Användare
- användare
- med hjälp av
- värde
- olika
- version
- Video
- utsikt
- visualisering
- visualisera
- volym
- ville
- Warehouse
- var
- Sätt..
- we
- webb
- były
- Vad
- när
- som
- medan
- VEM
- varför
- kommer
- med
- inom
- Arbete
- arbetade
- verkstad
- skulle
- år
- dig
- Youtube
- zephyrnet