Amazoni punane nihe on kiire, täielikult hallatav, petabaitide ulatusega andmelaoteenus, mis muudab kõigi teie andmete tõhusa ja turvalise analüüsimise lihtsaks ja kuluefektiivseks. Kasutajad, nagu andmeanalüütikud, andmebaaside arendajad ja andmeteadlased, kasutavad SQL-i, et analüüsida oma andmeid Amazon Redshifti andmeladudes. Amazon Redshift pakub veebipõhist Päringuredaktor V2 lisaks ühenduvuse toetamisele ODBC/JDBC või Amazon Redshift Data API kaudu.
Amazon Redshift Query Editor V2 muudab andmete esitamise SQL-i abil lihtsaks ja ülevaate saamiseks, visualiseerides tulemusi mõne klõpsuga diagrammide ja graafikute abil. Päringuredaktori V2 abil saate teha koostööd meeskonnaliikmetega, jagades salvestatud päringuid, tulemusi ja analüüse hõlpsalt turvalisel viisil.
Analüütikud, kes teevad oma tööruumis ad hoc analüüse, peavad laadima Amazon Redshiftis näidisandmed, luues tabeli ja laadima andmed töölaualt. Nad soovivad ühendada need andmed oma andmelaos olevate kureeritud andmetega. Andmeinseneridel ja andmeteadlastel on katseandmed ja nad soovivad laadida andmeid Amazon Redshiftisse oma masinõppe (ML) või analüütika kasutusjuhtumite jaoks.
Selles postituses tutvustame päringuredaktori V2 uut funktsiooni, mille abil saate hõlpsalt laadida andmefaile kas kohalikult töölaualt või Amazoni lihtne salvestusteenus (Amazon S3).
Eeldused
Täitke järgmised eeltingimusetapid:
-
- Looge Amazoni punanihe ette nähtud klaster or Serverita lõpp-punkt.
- Andke oma lõppkasutajatele juurdepääs päringuredaktori V2-le. To võimaldage kasutajatel IAM-i abil juurde pääseda päringuredaktori V2-le, saate administraatorina lisada rakendusele ühe järgmistest AWS-i hallatavatest poliitikatest AWS-i identiteedi- ja juurdepääsuhaldus (IAM) kasutaja või roll loa andmiseks:
- AmazonRedshiftQueryEditorV2FullAccess – Annab täieliku juurdepääsu päringuredaktori V2 toimingutele ja ressurssidele.
- AmazonRedshiftQueryEditorV2NoSharing – Annab võimaluse töötada päringuredaktori V2-ga ilma ressursse jagamata.
- AmazonRedshiftQueryEditorV2ReadSharing – Annab võimaluse töötada päringuredaktori V2-ga piiratud ressursside jagamisega. Antud käsundiandja saab lugeda oma meeskonnaga jagatud ressursse, kuid ei saa neid värskendada.
- AmazonRedshiftQueryEditorV2ReadWriteSharing – Annab võimaluse töötada päringuredaktori V2-ga ressursside jagamisel. Antud käsundiandja saab lugeda ja värskendada oma meeskonnaga jagatud ressursse.
- Andke kohalikust töölauafailist andmete laadimiseks juurdepääs S3 ämbrile.
- Et võimaldada kasutajatel laadida andmeid kohalikult töölaualt päringuredaktori V2 abil, peate administraatorina määrama ühise S3 ämbri ja kasutajakonto peab olema konfigureeritud õigete lubadega. Saate oma IAM-i kasutaja või rolli konfigureerimiseks kasutada näitena järgmist IAM-poliitikat.
- Andmefailide laadimisel kohalikult töölaualt on soovitatav andmejuurdepääs korralikult eraldada. Võite kasutada järgmist S3 ämbripoliitika Näitena andmetele juurdepääsu eraldamiseks teie konfigureeritud etapisalga kasutajate vahel:
Seadistage oma AWS-konto jaoks päringuredaktori V2
Administraatorina peate esmalt konfigureerima päringuredaktori V2, enne kui annate oma lõppkasutajatele juurdepääsu. Amazon Redshift konsoolil valige Päringuredaktor v2 navigeerimispaanil.
Kui kasutate päringuredaktori versiooni 2 esimest korda, peate oma konto konfigureerima AWS-i võtmehaldusteenus (AWS KMS) krüptimine ja valikuliselt S3 ämber.
Vaikimisi kasutatakse ressursside krüptimiseks AWS-ile kuuluvat võtit. Soovi korral saate luua a sümmeetriline kliendi hallatav võti päringuredaktori V2 ressursside, näiteks salvestatud päringute ja päringutulemuste krüptimiseks, kasutades AWS KMS-i konsooli või AWS KMS API toiminguid.
S3 ämbri URI on vajalik andmete laadimisel kohalikult töölaualt. Eeltingimusena saate esitada sama ämbri S3 URI, mille varem konfigureerisite.
Kui olete päringuredaktori V2 varem konfigureerinud ainult AWS KMS-i krüptimisega, saate valida Konto seaded pärast liidese käivitamist, et värskendada S3 URI-d, et toetada laadimist teie kohalikult töölaualt.
Laadige andmed kohalikult töölaualt
Kasutajad, nagu andmeanalüütikud, andmebaaside arendajad ja andmeteadlased, saavad nüüd laadida Amazon Redshift tabelitesse päringuredaktorist V5 kohalikke faile suurusega kuni 2 MB, ilma käsku COPY kasutamata. Toetatud andmevormingud on CSV, JSON, DELIMITER, FIXEDWIDTH, SHAPEFILE, AVRO, PARQUET ja ORC. Tehke järgmised sammud.
-
-
- Navigeerige Amazon Redshift konsoolis päringuredaktori V2 juurde.
- Klõpsake Andmete laadimine.
- Vali Laadige kohalikust failist ja Sirvi kohaliku faili valimiseks. Saate alla laadida õpilase_info.csv faili, mida näitena kasutada.
- Kui teie faili esimeses reas on veerupäised, säilitage vaikevalik Ignoreeri päise ridu as
1
esimese rea ignoreerimiseks. - Kui teie failis on kuupäeva veerud, valige Andmete teisendamise parameetrid.
- valima Kuupäevavorming, seadke see
auto
Ja vali järgmine. - Vali Laadige uus tabel failiskeemi automaatseks järeldamiseks.
- Määrake väärtused Klaster või töörühm, andmebaas, Skeemja Tabel (näiteks,
Student_info
) andmete laadimiseks. - Vali Loo tabel.
-
Ilmub eduteade, et tabel on loodud. Nüüd saate laadida andmeid vastloodud tabelisse kohalikust failist.
Ilmub teade, et andmete laadimine õnnestus.
Laadige andmeid Amazon S3-st
Saate hõlpsasti laadida andmeid Amazon S3-st Amazon Redshifti tabelisse, kasutades päringuredaktori V2. Tehke järgmised sammud.
-
-
- Käivitage Amazon Redshift konsoolis Query Editor V2 ja looge ühendus oma klastriga.
- Sirvige andmebaasi nime (näiteks
dev
)public
skeemi ja laiendada Tabelid. - Saate automaatselt järeldada sarnase S3-faili skeemi Laadige kohalikust failist Kuid selle demo puhul näitame teile ka, kuidas laadida andmeid olemasolevasse tabelisse. Käivitage järgmine
create table
skripti näidistabeli loomiseks (selle näite jaokspublic.customer
):
-
-
-
- Vali Andmete laadimine.
- Vali Laadige S3 ämbrist.
- Selle postituse jaoks laadime andmed saidilt TPCH Näidisandmete GitHubi repo, nii et S3 URI, sisenema
s3://redshift-downloads/TPC-H/2.18/10GB/customer.tbl
. - eest S3 faili asukoht, vali
us-east-1
. - eest failivorming, vali
Delimiter
. - eest Piiraja märk, sisenema
|
. - Vali Andmete teisendamise parameetrid, Seejärel valige Aja formaat ja Kuupäevavorming as
auto
. - Vali tagasi.
- Vali Andmete laadimine.
-
Viitama Andmete teisendamise parameetrid rohkem üksikasju.
-
-
- Vali Laadimistoimingud.
- valima Tihenduskodeeringu automaatne värskendus.
- valima Peatage laadimine, kui maksimaalne vigade arv on ületatud ja määrake väärtus (näiteks
100
). - valima Statistika värskendus ja ON, siis vali järgmine.
-
Viitama Andmete laadimise toimingud rohkem üksikasju.
Päringuredaktor V2 genereerib käsu COPY ja käivitab selle Amazon Redshift klastris. Käsu COPY tulemused kuvatakse ekraanil Tulemus osa pärast valmimist.
Järeldus
Selles postituses näitasime, kuidas Amazon Redshift Query Editor V2 on lihtsustanud Amazon S3-st või teie kohalikust töölauast andmete Amazon Redshiftisse laadimise protsessi, kiirendades seeläbi andmete analüüsi. See on lihtsalt kasutatav funktsioon, mida teie meeskonnad saavad hakata kasutama andmekogumite laadimiseks ja päringute tegemiseks. Kui teil on küsimusi või ettepanekuid, jätke kommentaar.
Autoritest
Raks Khare on Pennsylvanias asuva AWS-i Analyticsi lahenduste spetsialist. Ta aitab klientidel AWS-i platvormil ulatuslikke andmeanalüütikalahendusi välja töötada.
Tahir Aziz on AWS-i analüüsilahenduste arhitekt. Ta on andmeladude ja suurandmete lahenduste ehitamisega töötanud üle 13 aasta. Talle meeldib aidata klientidel AWS-is terviklikke analüüsilahendusi kavandada. Väljaspool tööd naudib ta reisimist ja kokkamist.
Erol Murtezaoglu, AWS-i tehniline tootejuht, on uudishimulik ja entusiastlik mõtleja, kes soovib ennast täiendada ja õppida. Tal on tugev ja end tõestanud tehniline taust tarkvaraarenduse ja arhitektuuri alal, mida tasakaalustab soov pakkuda äriliselt edukaid tooteid. Erol hindab kõrgelt klientide vajaduste ja probleemide mõistmise protsessi, et pakkuda ootusi ületavaid lahendusi.
Sapna Maheshwari on Amazon Web Services'i lahenduste arhitekt. Tal on üle 18-aastane kogemus andmete ja analüütika vallas. Ta on kirglik andmetega lugude jutustamise vastu ja naudib köitvate visuaalide loomist, et avastada toimivaid teadmisi.
Karthik Ramanathan on tarkvarainsener ettevõttes Amazon Redshift ja asub San Franciscos. Ta toob ligi kahe aastakümne pikkuse arenduskogemuse võrgunduse, andmesalvestuse ja asjade interneti vertikaalide vallas. Kui ta ei tööta, on ta ka kirjanik ja talle meeldib vees olla.
Albert Harkema on AWS-i tarkvaraarenduse insener. Ta on tuntud oma uudishimu ja sügavalt juurdunud soovi poolest mõista keeruliste süsteemide sisemist tööd. Tema uudishimulik loomus sunnib teda arendama tarkvaralahendusi, mis muudavad teiste elu lihtsamaks. Alberti lähenemine probleemide lahendamisele rõhutab tõhusust, usaldusväärsust ja pikaajalist stabiilsust, tagades, et tema tööl on käegakatsutav mõju. Oma ametialaste kogemuste kaudu on ta avastanud tehnoloogia potentsiaali igapäevaelu paremaks muutmisel.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
- Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/data-load-made-easy-and-secure-in-amazon-redshift-using-query-editor-v2/
- :on
- :on
- :mitte
- $ UP
- 10
- 100
- 11
- 12
- 13
- 202
- a
- võime
- MEIST
- üle
- kiirendades
- juurdepääs
- Ligipääs
- konto
- üle
- tegevus
- Ad
- lisamine
- admin
- pärast
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- Ka
- Amazon
- Amazon Web Services
- an
- analüüs
- Analüütikud
- analytics
- analüüsima
- ja
- mistahes
- API
- lähenemine
- arhitektuur
- OLEME
- AS
- At
- kinnitage
- automaatselt
- AWS
- tagapõhi
- põhineb
- BE
- olnud
- enne
- vahel
- Suur
- Big andmed
- Toob
- Ehitus
- kuid
- by
- CAN
- juhtudel
- Äritegevus
- Vali
- lähedal
- Cluster
- Teevad koostööd
- Veerg
- Veerud
- kommentaar
- kaubanduslikult
- ühine
- täitma
- lõpetamist
- keeruline
- Võta meiega ühendust
- Side
- konsool
- Konverteerimine
- cooking
- kuluefektiivne
- looma
- loodud
- loomine
- kureeritud
- uudishimu
- klient
- Kliendid
- andmed
- juurdepääs andmetele
- andmete analüüs
- Andmete analüüs
- andmete salvestamine
- andmekogus
- andmelaod
- andmebaas
- andmekogumid
- kuupäev
- aastakümnete
- vaikimisi
- tarnima
- Demo
- Disain
- lauaarvuti
- detailid
- arendama
- Arendajad
- & Tarkvaraarendus
- avastasin
- lae alla
- ajam
- Ajalugu
- lihtsam
- kergesti
- lihtne
- lihtne-to-use
- toimetaja
- mõju
- efektiivsus
- tõhusalt
- kumbki
- rõhutab
- võimaldama
- krüpteerimist
- Lõpuks-lõpuni
- Lõpp-punkt
- kaasamine
- insener
- Inseneride
- tagades
- sisene
- entusiastlik
- vead
- Eeter (ETH)
- igapäevane
- näide
- ületama
- olemasolevate
- Laiendama
- ootused
- kogemus
- Kogemused
- KIIRE
- tunnusjoon
- vähe
- fail
- Faile
- esimene
- Esimest korda
- Järel
- eest
- formaat
- Francisco
- Alates
- täis
- täielikult
- kasu
- genereerib
- GitHub
- anda
- antud
- toetusi
- graafikud
- Olema
- he
- päised
- aitama
- aitab
- kõrgelt
- tema
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- IAM
- Identity
- if
- mõju
- parandama
- in
- teadmisi
- Interface
- sisse
- asjade Interneti
- IT
- ITS
- liituma
- jpg
- Json
- hoidma
- Võti
- teatud
- algatama
- käivitamine
- õppimine
- Lahkuma
- elu
- piiratud
- koormus
- laadimine
- kohalik
- pikaajaline
- masin
- masinõpe
- tehtud
- Made Easy
- tegema
- TEEB
- juhitud
- juhtimine
- juht
- maksimaalne
- liikmed
- sõnum
- ML
- rohkem
- peab
- nimi
- loodus
- Navigate
- NAVIGATSIOON
- Vajadus
- vajadustele
- võrgustike loomine
- Uus
- uus funktsioon
- nüüd
- number
- of
- on
- ONE
- ainult
- Operations
- valik
- or
- et
- teised
- välja
- väljaspool
- üle
- pane
- kirglik
- Pennsylvania
- esitades
- luba
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- Poliitika
- poliitika
- post
- potentsiaal
- varem
- esmane
- Peamine
- probleemi lahendamine
- probleeme
- protsess
- Toode
- tootejuht
- Toodet
- professionaalne
- korralik
- tõestatud
- anda
- annab
- pakkudes
- päringud
- Küsimused
- Lugenud
- soovitatav
- usaldusväärsus
- nõutav
- ressurss
- Vahendid
- Tulemused
- Roll
- ROW
- jooks
- jookseb
- sama
- San
- San Francisco
- Skaala
- teadlased
- Osa
- kindlustama
- kindlalt
- vaata
- valik
- eri
- teenus
- Teenused
- komplekt
- jagatud
- jagamine
- ta
- näitama
- näidatud
- sarnane
- lihtne
- lihtsustatud
- SUURUS
- So
- tarkvara
- tarkvaraarenduse
- Tarkvara insener
- lahendus
- Lahendused
- spetsialist
- SQL
- Stabiilsus
- matkimine
- algus
- väljavõte
- Sammud
- ladustamine
- Lood
- tugev
- edu
- edukas
- selline
- sobiv
- toetama
- Toetatud
- Toetamine
- süsteemid
- tabel
- meeskond
- Meeskonna liikmed
- meeskonnad
- Tehniline
- Tehnoloogia
- test
- et
- .
- oma
- Neile
- SIIS
- sellega
- nad
- see
- Läbi
- aeg
- et
- Reisimine
- kaks
- mõistma
- mõistmine
- Värskendused
- peale
- URI
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- väärtus
- Väärtused
- versioon
- vertikaalid
- kaudu
- visuaalid
- tahan
- Ladu
- oli
- Vesi
- Tee..
- we
- web
- veebiteenused
- Veebipõhine
- millal
- will
- koos
- ilma
- Töö
- töötas
- toimingud
- kirjanik
- aastat
- sa
- Sinu
- sephyrnet