Me hiljuti teatas toetamine AWS järve kihistu peened juurdepääsukontrolli poliitikad Amazonase Athena päringud mis tahes toetatud failivormingus salvestatud andmete kohta, kasutades tabelivorminguid, nagu Apache Iceberg, Apache Hudi ja Apache Hive. AWS Lake Formation võimaldab teil määratleda ja jõustada andmebaasi-, tabeli- ja veerutaseme juurdepääsupoliitikaid, et teha päringuid Amazon S3-sse salvestatud Icebergi tabelite kohta. Lake Formation pakub Amazon S3-sse salvestatud andmetele autoriseerimis- ja halduskihti. See võimalus nõuab versioonile üleviimist Athena mootori versioon 3.
Suurtel organisatsioonidel on sageli ettevõtteid, mis tegutsevad oma äriandmete haldamisel iseseisvalt. See muudab andmete jagamise LoB-de vahel mittetriviaalseks. Need organisatsioonid on kasutusele võtnud liitmudeli, kus igal osakonnal on autonoomia teha oma andmete kohta otsuseid. Nad kasutavad väljaandja/tarbija mudelit koos tsentraliseeritud halduskihiga, mida kasutatakse juurdepääsukontrollide jõustamiseks. Kui soovite andmevõrgu arhitektuuri kohta lisateavet saada, külastage Kujundage andmevõrgu arhitektuur, kasutades AWS Lake Formationit ja AWS Glue'i. Athena mootori versiooniga 3 saavad kliendid kasutada samu täpseid juhtelemente avatud andmeraamistike jaoks, nagu Apache Iceberg, Apache Hudi ja Apache Hive.
Selles postituses käsitleme üksikasjalikult kasutusjuhtumit, kus teil on tootja/tarbija mudel, millel on lubatud andmete jagamine, et anda piiratud juurdepääs Apache Icebergi tabelile, mida tarbija saab päringuid teha. Arutame veergude filtreerimist teatud ridade piiramiseks, filtreerimist veerutaseme juurdepääsu piiramiseks, skeemi arengut ja ajarännakut.
Lahenduse ülevaade
Athena ja Lake Formationiga Apache Icebergi tabelite peeneteraliste lubade funktsionaalsuse illustreerimiseks seadistasime järgmised komponendid.
- Tootja kontol:
- An AWS liim Andmekataloog tabeli skeemi registreerimiseks Apache Icebergi vormingus
- Lake Formation, et pakkuda tarbijakontole täpset juurdepääsu
- Athena tootjakonto andmete kontrollimiseks
- Tarbijakontol:
- AWS-i ressursside juurdepääsu haldur (AWS RAM), et luua käepigistus tootja andmekataloogi ja tarbija vahel
- Lake Formation, et pakkuda tarbijakontole täpset juurdepääsu
- Athena tootjakonto andmete kontrollimiseks
Järgmine diagramm illustreerib arhitektuuri.
Eeldused
Enne alustamist veenduge, et teil on järgmised asjad.
Andmetootja seadistamine
Selles jaotises tutvustame andmetootja seadistamise samme.
Looge tabeliandmete salvestamiseks S3 ämber
Loome tabeli andmete salvestamiseks uue S3 ämbri:
- Amazon S3 konsoolis luua S3 ämber ainulaadse nimega (selle postituse jaoks kasutame
iceberg-athena-lakeformation-blog
). - Looge ämbri sees tootja kaust, mida tabeli jaoks kasutada.
Registreerige tabelit salvestav S3 tee, kasutades Lake Formationit
Registreerime S3 täistee Lake Formationis:
- Navigeerige Lake Formationi konsooli.
- Kui logite sisse esimest korda, palutakse teil luua administraatorist kasutaja.
- Navigeerimispaanil all Registreeru ja neela, vali Andmejärvede asukohad.
- Vali Registreeri asukohtja esitage varem loodud S3 ämbritee.
- Vali
AWSServiceRoleForLakeFormationDataAccess
eest IAM roll.
Rollide kohta lisateabe saamiseks vaadake Nõuded asukohtade registreerimiseks kasutatavatele rollidele.
Kui lubasite oma S3 ämbri krüptimise, peate andma Lake Formationile krüptimis- ja dekrüpteerimistoimingute tegemiseks load. Viitama Krüpteeritud Amazon S3 asukoha registreerimine juhendamiseks.
- Vali Registreeri asukoht.
Looge Athena abil jäämäe tabel
Nüüd loome tabeli Athena abil, mida toetab Apache Icebergi vorming:
- Valige Athena konsoolil Päringu redaktor navigeerimispaanil.
- Kui kasutate Athenat esimest korda, all Seaded, vali juhtima ja sisestage varem loodud S3 ämbri asukoht (
iceberg-athena-lakeformation-blog/producer
). - Vali Säästa.
- Sisestage päringuredaktorisse järgmine päring (asendage asukoht S3 ämbriga, mille registreerisite Lake Formationis). Pange tähele, et me kasutame vaikeandmebaasi, kuid võite kasutada mis tahes muud andmebaasi.
- Vali jooks.
Jaga tabelit tarbijakontoga
Funktsionaalsuse illustreerimiseks rakendame järgmisi stsenaariume.
- Tagage juurdepääs valitud veergudele
- Tagage filtri alusel juurdepääs valitud ridadele
Tehke järgmised toimingud.
- Lake Formationi konsoolil alloleval navigeerimispaanil Andmekataloog, vali Andmefiltrid.
- Vali Loo uus filter.
- eest Andmefiltri nimi, sisenema
blog_data_filter
. - eest Sihtandmebaas, sisenema
lf-demo-db
. - eest Sihtlaud, sisenema
consumer_iceberg
. - eest Veerutaseme juurdepääsvalige Kaasake veerud.
- Valige veerud, mida tarbijaga jagada:
country, address, contactfirstname, city, customerid,
jacustomername
. - eest Reafiltri avaldis, sisestage filter
country='France'
. - Vali Loo filter.
Nüüd anname juurdepääsu tarbijakontole consumer_iceberg
tabelis.
- Valige navigeerimispaanil Tabelid.
- Valige tabel tarbija_jäämägi ja valige Grant kohta Meetmete menüü.
- valima Välised kontod.
- Sisestage välise konto ID.
- valima Nimetatud andmekataloogi ressursid.
- Valige oma andmebaas ja tabel.
- eest Andmefiltrid, valige enda loodud andmefilter.
- eest Andmefiltri load ja Antavad loadvalige valima.
- Vali Grant.
Andmetarbija seadistamine
Andmetarbija seadistamiseks aktsepteerime ressursside jagamist ja loome tabeli, kasutades AWS RAM-i ja Lake Formationit. Tehke järgmised sammud.
- Logige sisse tarbijakontole ja liikuge AWS RAM-i konsooli.
- alla Minuga jagatud valige navigeerimispaanil Ressursiosakud.
- Valige oma ressursiosa.
- Vali Nõustuge ressursside jagamisega.
- Märkige üles ressursiosa nimi, mida järgmistes sammudes kasutada.
- Navigeerige Lake Formationi konsooli.
- Kui logite sisse esimest korda, palutakse teil luua administraatorist kasutaja.
- Vali Andmebaasid navigeerimispaanil, seejärel valige oma andmebaas.
- Kohta Meetmete menüüst valige Loo ressursi link.
- eest Ressursi lingi nimi, sisestage oma ressursi lingi nimi (näiteks
consumer_iceberg
). - Valige oma andmebaas ja jagatud tabel.
- Vali Looma.
Kinnitage lahendus
Nüüd saame tabelites käitada erinevaid toiminguid, et kinnitada täpseid juurdepääsu juhtelemente.
Sisestamise toiming
Sisestame andmed consumer_iceberg
tabeli tootjakontol ja kinnitage, et andmete filtreerimine töötab tarbijakontol ootuspäraselt.
- Logige sisse tootja kontole.
- Valige Athena konsoolil Päringu redaktor navigeerimispaanil.
- Andmete jäämäe tabelisse kirjutamiseks ja sisestamiseks kasutage järgmist SQL-i. Kasutage päringuredaktorit ühe päringu käitamiseks korraga. Saate esile tõsta/valida ühe päringu korraga ja klõpsata "Käivita"/"Käivita uuesti:
- Kasutage jäämäe tabelis olevate andmete lugemiseks ja valimiseks järgmist SQL-i:
- Logige sisse tarbijakontole.
- Käivitage Athena päringuredaktoris jagatud tabelis järgmine SELECT päring:
Filtrite põhjal näeb tarbija veergude alamhulka ja ridu, kus riigiks on Prantsusmaa.
Värskendamise/kustutamise toimingud
Nüüd värskendame ühte rida ja kustutame ühe tarbijaga jagatud andmekogumist.
- Logige sisse tootja kontole.
- Värskendused
city='Paris' WHERE city='Reims'
ja kustutage ridacustomerid = 3;
- Kontrollige värskendatud ja kustutatud andmekogumit:
- Logige sisse tarbijakontole.
- Käivitage Athena päringuredaktoris jagatud tabelis järgmine SELECT päring:
Võime täheldada, et saadaval on ainult üks rida ja linn on värskendatud Pariisiks.
Skeemi areng: lisage uus veerg
Värskendame üht rida ja kustutame ühe tarbijaga jagatud andmekogumist.
- Logige sisse tootja kontole.
- Lisage uus veerg nimega
geo_loc
jäämäe tabelis. Kasutage päringuredaktorit ühe päringu käitamiseks korraga. Saate esile tõsta/valida ühe päringu korraga ja klõpsata "Käivita"/"Käivita uuesti:
Äsja lisatud nähtavuse tagamiseks geo_loc
veerus peame värskendama Lake Formationi andmefiltrit.
- Valige Lake Formationi konsoolil Andmefiltrid navigeerimispaanil.
- Valige oma andmefilter ja tehke valik Edit.
- alla Veerutaseme juurdepääs, lisage uus veerg (
geo_loc
). - Vali Säästa.
- Logige sisse tarbijakontole.
- Käivitage Athena päringuredaktoris järgmine toiming
SELECT
päring jagatud tabelis:
Uus veerg geo_loc
on nähtav ja lisarida.
Skeemi areng: veeru kustutamine
Värskendame üht rida ja kustutame ühe tarbijaga jagatud andmekogumist.
- Logige sisse tootja kontole.
- Muutke tabelit, et eemaldada aadressi veerg jäämäe tabelist. Kasutage päringuredaktorit ühe päringu käitamiseks korraga. Saate esile tõsta/valida ühe päringu korraga ja klõpsata "Käivita"/"Käivita uuesti:
Näeme, et veeru aadressi tabelis pole.
- Logige sisse tarbijakontole.
- Käivitage Athena päringuredaktoris jagatud tabelis järgmine SELECT päring:
Veeru aadressi tabelis ei ole.
Ajas reisimine
Oleme nüüd Icebergi tabelit mitu korda muutnud. Jäämäe tabel jälgib hetktõmmiseid. Ajas rändamise funktsiooni uurimiseks tehke järgmised sammud.
- Logige sisse tootja kontole.
- Küsige süsteemitabelit:
Võime täheldada, et oleme loonud mitu hetktõmmist.
- Märkige üles üks
committed_at
väärtusi, mida järgmistes etappides kasutada (selle näite puhul2023-01-29 21:35:02.176 UTC
). - Kasutage tabeli hetktõmmise leidmiseks ajarännakut. Kasutage päringuredaktorit ühe päringu käitamiseks korraga. Saate esile tõsta/valida ühe päringu korraga ja klõpsata "Käivita"/"Käivita uuesti:
Koristage
Edaspidiste tasude vältimiseks toimige järgmiselt.
- Kustutage Amazon S3 konsoolis tabeli salvestusämber (selle postituse jaoks jäämägi-athena-järveformatsiooni-blogi).
- Käivitage Athena konsooli tootjakontol loodud tabelite kustutamiseks järgmised käsud.
- Tühistage Lake Formationi konsooli tootjakontol tarbijakonto load.
- Kustutage tarbijakontolt Athena päringutulemuse asukoha jaoks kasutatud S3-salv.
Järeldus
Kontodevaheliste täpsete juurdepääsukontrolli poliitikate toel vormingutele, nagu Iceberg, on teil paindlikkus töötada mis tahes Athena toetatud vorminguga. Võimalus teostada CRUD-operatsioone teie S3 andmejärves olevate andmete põhjal koos Lake Formationi täpsete juurdepääsukontrollidega kõigi Athena toetatud tabelite ja vormingute jaoks annab võimaluse uuendada ja lihtsustada teie andmestrateegiat. Meile meeldiks kuulda teie tagasisidet!
Autoritest
Kishore Dhamodaran on AWS-i vanemlahenduste arhitekt. Kishore aitab strateegilistel klientidel nende pilveettevõtte strateegiat ja migratsiooniteekonda, kasutades ära tema aastatepikkust tööstus- ja pilvekogemust.
Jack Ye on AWS-i Athena Data Lake'i ja Storage meeskonna tarkvarainsener. Ta on Apache Iceberg Committeri ja PMC liige.
Chris Olson on AWS-i tarkvaraarenduse insener.
Xiaoxuan Li on AWS-i tarkvaraarenduse insener.
Rahul Sonawane on AWS-i peamine analüüsilahenduste arhitekt, kelle erialaks on AI/ML ja Analytics.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/interact-with-apache-iceberg-tables-using-amazon-athena-and-cross-account-fine-grained-permissions-using-aws-lake-formation/
- :on
- $ UP
- 1
- 10
- 100
- 7
- a
- võime
- MEIST
- aktsepteerima
- juurdepääs
- konto
- üle
- lisatud
- Täiendavad lisad
- Tooteinfo
- aadress
- admin
- vastu
- vastu
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- Amazon
- Amazonase Athena
- analytics
- ja
- Apache
- arhitektuur
- OLEME
- PIIRKOND
- kunst
- AS
- At
- luba
- saadaval
- vältima
- AWS
- AWS järve kihistu
- tagatud
- põhineb
- vahel
- äri
- ettevõtted
- by
- kutsutud
- CAN
- kataloog
- tsentraliseeritud
- kindel
- muutma
- koormuste
- Vali
- Linn
- klõps
- Cloud
- Veerg
- Veerud
- COM
- kombineeritud
- täitma
- komponendid
- konsool
- tarbija
- kontrollida
- kontrolli
- riik
- looma
- loodud
- loomine
- loomine
- Rist
- Kliendid
- andmed
- andmejärv
- andmete jagamine
- andmestrateegia
- andmebaas
- otsused
- sügav
- sügav sukeldumine
- vaikimisi
- & Tarkvaraarendus
- erinev
- arutama
- alla
- Drop
- iga
- Ajalugu
- toimetaja
- EMEA
- lubatud
- krüpteeritud
- krüpteerimist
- Mootor
- insener
- sisene
- ettevõte
- Eeter (ETH)
- evolutsioon
- näide
- oodatav
- kogemus
- uurima
- väline
- fail
- filtreerida
- filtreerimine
- Filtrid
- leidma
- esimene
- Esimest korda
- Paindlikkus
- Järel
- eest
- formaat
- moodustamine
- raamistikud
- Prantsusmaa
- Alates
- täis
- funktsionaalsus
- tulevik
- loodud
- saama
- Andma
- valitsemistava
- anda
- juhised
- Olema
- võttes
- kuulama
- aitab
- Mesilaspere
- HTML
- http
- HTTPS
- ID
- rakendada
- in
- Inc
- tööstus
- info
- uuendama
- suhelda
- huvitatud
- IT
- teekond
- jpg
- järv
- maa
- kiht
- õppimine
- Tase
- võimendav
- LIMIT
- liinid
- LINK
- liising
- armastus
- Lyon
- tegema
- TEEB
- juhtiv
- liige
- menüü
- ränne
- mudel
- rohkem
- mitmekordne
- nimi
- Navigate
- NAVIGATSIOON
- Vajadus
- Uus
- järgmine
- NYC
- jälgima
- of
- on
- ONE
- avatud
- avatud andmete
- töötama
- Operations
- Võimalused
- organisatsioonid
- Muu
- pane
- Paris
- tee
- täitma
- Õigused
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Poliitika
- post
- esitada
- Peamine
- tootja
- anda
- annab
- RAM
- Lugenud
- hiljuti
- kajastatud
- registreerima
- registreeritud
- asendama
- Vajab
- ressurss
- piirata
- piiratud
- kaasa
- Roll
- rollid
- ROW
- jooks
- sama
- Säästa
- stsenaariumid
- Osa
- väljavalitud
- vanem
- komplekt
- Jaga
- jagatud
- jagamine
- lihtsustama
- Snapshot
- tarkvara
- tarkvaraarenduse
- Tarkvara insener
- Lahendused
- Eriala
- SQL
- alustatud
- Sammud
- ladustamine
- salvestada
- ladustatud
- Strateegiline
- Strateegia
- nöör
- selline
- toetama
- Toetatud
- süsteem
- tabel
- meeskond
- et
- .
- oma
- Need
- aeg
- ajas rännata
- korda
- ajatempel
- et
- jälgida
- reisima
- all
- ainulaadne
- Värskendused
- ajakohastatud
- upgrade
- USA
- kasutama
- Kasutaja
- UTC
- KINNITAGE
- Väärtused
- kontrollima
- versioon
- nähtavus
- nähtav
- visiit
- koos
- Töö
- töötab
- kirjutama
- aastat
- Sinu
- sephyrnet