Andmete haldamine on poliitikate, protsesside ja süsteemide kogum, mida organisatsioonid kasutavad oma andmete kvaliteedi ja asjakohase käitlemise tagamiseks kogu nende elutsükli jooksul äriväärtuse loomise eesmärgil. Andmete haldamine on klientide jaoks üha olulisem, kuna nad peavad andmeid üheks oma kõige olulisemaks varaks. Tõhus andmehaldus võimaldab paremaid otsuseid langetada, parandades andmete kvaliteeti, vähendades andmehalduskulusid ja tagades sidusrühmadele turvalise juurdepääsu andmetele. Lisaks on andmete haldamisel vaja järgida üha keerukamaks muutuvat regulatiivset keskkonda, mis hõlmab andmete privaatsust (nagu GDPR ja CCPA) ja andmete elukoha regulatsioone (nt EL-is, Venemaal ja Hiinas).
AWS-i klientide jaoks parandab tõhus andmehaldus otsuste langetamist, suurendab äritegevuse paindlikkust, annab konkurentsieelise ja vähendab regulatiivsete kohustuste mittetäitmise tõttu trahvide riski. Mõistame ainulaadset võimalust pakkuda oma klientidele kõikehõlmavat täielikku andmehalduslahendust, mis on sujuvalt integreeritud meie teenuste portfelli, ja AWS järve kihistu ja AWS-i liimiandmete kataloog on nende väljakutsete lahendamise võtmeks.
Selles postituses võtame hea meelega kokku funktsioonid, mille AWS Glue Data Catalog, AWS Glue Crawler ja Lake Formation meeskonnad 2022. aastal tarnisid. Oleme kokku kogunud mõned peamised kõned ja lahendused andmete haldamise, andmevõrgu ja kaasaegsete andmete kohta. AWS re:Invent 2022-s avaldatud ja esitletud arhitektuur ning mõned klientide ja AWS-i partnerite loodud andmejärve lahendused, et neid oleks lihtne kasutada. Olenemata sellest, kas olete andmeplatvormi koostaja, andmeinsener, andmeteadlane või mõni tehnoloogialiider, kes on huvitatud andmejärve lahendustest, see postitus on teie jaoks.
Kui soovite lisateavet selle kohta, kuidas kliendid Lake Formationiga andmeid turvavad ja jagavad, soovitame tutvuda GoDaddyga. detsentraliseeritud andmevõrk, Novo Nordiski oma kaasaegne andmearhitektuur, ja JPMorgani täiustused Federated Data Lake, reguleeritud andmevõrgu rakendus, mis kasutab Lake Formationit. Samuti saate Starburstis õppida, kuidas AWS Partners integreeriti Lake Formationiga, et aidata klientidel luua ainulaadseid andmejärvi. andmevõrgu lahendus, Informaatika automatiseeritud andmete jagamise lahendus, Ahana oma Presto integratsioon Lake Formationiga, Kasvav tava andmehaldussüsteem, kuidas PBS-i kasutati masinõpe nende andmejärvedesja kuidas hc1 pakub isikupärastatud tervisealased ülevaated klientide jaoks.
Saate vaadata, kuidas kliendid Lake Formationit ehitamiseks kasutavad kaasaegsed andmearhitektuurid järgmises re:Invent 2022 vestlustes:
Lake Formationi meeskond kuulas klientide tagasisidet ja tegi täiustusi kontoülese andmehalduse, andmejärvede allika laiendamise, äriandmete kataloogi ühtse andmehalduse võimaldamise, turvalise ettevõtetevahelise andmete jagamise ning peeneteraliste juurdepääsukontrollide leviala laiendamine Amazoni punane nihe. Selle postituse ülejäänud osas on meil hea meel jagada 2022. aastal tehtud edusamme.
Kontoülese juhtimise tõhustamine
Lake Formation loob aluse klientidele andmete jagamiseks oma organisatsiooni kontode vahel. Saate jagada AWS-i liimiandmete kataloogi ressursse AWS-i identiteedi- ja juurdepääsuhaldus (IAM) käsundiandjad konto sees ja ka muud AWS-i kontod, kasutades kahte meetodit. Esimest nimetatakse nimega ressursi meetodiks, kus kasutajad saavad valida andmebaaside ja tabelite nimed ning jagatavate õiguste tüübi. Teine meetod kasutab LF-silte, mille puhul kasutajad saavad luua ja seostada LF-silte andmebaaside ja tabelitega ning anda IAM-i printsipaalidele õigusi, kasutades LF-Tagi poliitikaid ja väljendeid.
2022. aasta novembris tutvustas Lake Formation oma versiooni 3 kontoülese jagamise funktsioon. Selle uue versiooniga saavad Lake Formationi kasutajad jagada kataloogiressursse, kasutades LF-Tags AWS-i organisatsioonid tasemel. Andmete jagamine LF-siltide abil aitab õigusi skaleerida ja vähendab andmejärve koostajate administraatoritööd. Kontoülese jagamise versioon 3 võimaldab teil jagada ressursse ka teiste kontode konkreetsete IAM-i printsipaalidega, pakkudes andmeomanikele kontrolli selle üle, kes pääseb nende andmetele juurde teistel kontodel. Lõpuks oleme kasutusele võtnud andmekataloogi ressursipoliitikate kirjutamise ja hooldamise üldkulud AWS-i ressursside juurdepääsu haldur (AWS RAM) kutsub kontoüleses jagamise versioonis 3 LF-märgenditel põhinevate eeskirjadega. Soovitame teil seda edasi uurida. kontodevaheline jagamine Lake Formationis.
Lake Formationi õiguste laiendamine uutele andmetele
Kuni versioonini Re:Invent 2022 pakkus Lake Formation andmekataloogi ressursside IAM-i printsipaalidele lubade haldust, mille aluseks olevad andmed olid peamiselt Amazoni lihtne salvestusteenus (Amazon S3). Väljaandes re:Invent 2022 tutvustasime Lake Formationi õiguste haldamine Amazon Redshifti andmejagamiste jaoks eelvaate režiimis. Amazon Redshift on täielikult hallatav petabaitide skaala andmelaoteenus AWS-i pilves. The andmete jagamise funktsioon võimaldab andmete omanikel rühmitada andmebaase, tabeleid ja vaateid Amazon Redshifti klastris ning jagada seda teiste Amazon Redshifti klastritega AWS-i kontode sees või nende vahel. Andmete jagamine vähendab vajadust hoida samadest andmetest mitut koopiat erinevates andmeladudes, et kiirendada äriotsuste tegemist kogu organisatsioonis. Lake Formation täiustab veelgi andmete jagamist Amazon Redshifti andmejagamistes, pakkudes tabelitele ja vaadetele täpset juurdepääsukontrolli.
Selle funktsiooni kohta lisateabe saamiseks vaadake AWS Lake Formationi hallatavad Redshifti andmejagamised (eelvaade) ja Kuidas saab Lake Formation hallata Redshifti andmete jagamist.
Amazon EMR on hallatav klastri platvorm suurte andmerakenduste käitamiseks, kasutades mastaapselt Apache Sparki, Apache Hive'i, Apache HBase'i, Apache Flinki, Apache Hudi ja Prestot. Saate kasutada Amazon EMR-i, et käitada oma S3 andmejärvedes partii- ja vootöötluse analüütilisi töid. Alates Amazon EMR-i versioonist 6.7.0 tutvustasime Lake Formationi õiguste haldamine käitusaegse IAM-i rolliga kasutatakse koos EMR Steps API-ga. See funktsioon võimaldab teil esitada Apache Sparki ja Apache Hive'i rakendusi EMR-klastrisse EMR Steps API kaudu, mis jõustab Lake Formationi abil tabelitaseme ja veerutaseme õigused sellele IAM-i rollile, mis rakendust esitab. See Lake Formationi integreerimine Amazon EMR-iga võimaldab teil jagada EMR-klastrit mitme kasutaja vahel, kellel on erinevad õigused, eraldades teie rakendused käitusaegse IAM-i rolli kaudu. Soovitame teil seda funktsiooni Lake Formationi töötoas kontrollida Integreerimine Amazon EMR-iga Runtime Roles'i abil. Kasutusjuhtumi uurimiseks vt Amazon EMR-i etappide käitusaegsete rollide tutvustamine: kasutage Amazon EMR-iga juurdepääsu kontrollimiseks IAM-rolle ja AWS Lake Formationit.
Amazon SageMaker Studio on masinõppe (ML) täielikult integreeritud arenduskeskkond (IDE), mis võimaldab andmeteadlastel ja arendajatel valmistada andmeid mudelite ehitamiseks, koolitamiseks, häälestamiseks ja juurutamiseks. Studio pakub natiivset integratsiooni Amazon EMR-iga, et andmeteadlased ja andmeinsenerid saaksid interaktiivselt valmistada andmeid petabaitide skaalal, kasutades Studio sülearvutite abil avatud lähtekoodiga raamistikke, nagu Apache Spark, Presto ja Hive. Koos vabastamisega Lake Formationi õiguste haldamine käitusaegse IAM-i rolliga, Studio toetab nüüd Lake Formationiga tabeli- ja veerutaseme juurdepääsu. Kui kasutajad ühendavad Studio sülearvutite EMR-klastritega, saavad nad valida IAM-i rolli (nn käitusaegne IAM-i roll), kellega nad soovivad ühendust luua. Kui andmetele juurdepääsu haldab Lake Formation, saavad kasutajad jõustada tabeli- ja veerutaseme õigusi, kasutades käitusaja rolliga seotud poliitikaid. Lisateabe saamiseks vaadake Rakendage täpseid andmetele juurdepääsu juhtelemente Amazon SageMaker Studio AWS Lake Formationi ja Amazon EMR-iga.
Sisestage ja kataloogi erinevaid andmeid
Tugev andmehaldusmudel sisaldab andmeid organisatsiooni paljudest andmeallikatest ja meetodeid nende erinevate andmevarade avastamiseks ja kataloogimiseks. AWS-i liimiroomikud võimaldavad leida andmeid allikatest, sealhulgas Amazon S3, Amazon Redshifti ja NoSQL-i andmebaasidest, ning täita AWS-i liimiandmete kataloogi.
2022. aastal käivitasime AWS Glue roomiku tugi Snowflake'i jaoks ja AWS Glue roomiku tugi Delta Lake'i tabelitele. Need integratsioonid võimaldavad AWS Glue indeksoijatel luua ja värskendada andmekataloogi tabeleid nende populaarsete andmeallikate põhjal. See muudab nende andmekataloogi tabelite alusel allikate ja sihtmärkidena AWS-liimiga ekstraheerimis-, teisendus- ja laadimistööde (ETL) loomise veelgi lihtsamaks.
2022. aastal kujundati AWS Glue roomajate kasutajaliides ümber, et pakkuda paremat kasutuskogemust. Selle versiooni üks peamisi täiustusi on parem ülevaade AWS Glue roomiku ajaloost. Roomaja ajaloo kasutajaliides pakub hõlpsat ülevaadet roomaja käitamistest, ajakavadest, andmeallikatest ja siltidest. Iga roomamise kohta pakub roomaja ajalugu andmebaasiskeemi või Amazon S3 partitsiooni muudatuste kokkuvõtet. Roomaja ajalugu pakub ka üksikasjalikku teavet DPU tundide kohta ning vähendab roomaja toimingute ja kulude analüüsimiseks ja silumiseks kuluvat aega. Roomajate kasutajaliidesele lisatud uute funktsioonide uurimiseks vaadake Seadistage ja jälgige AWS Glue roomajaid, kasutades täiustatud AWS Glue kasutajaliidest ja roomamisajalugu.
2022. aastal laiendasime ka Amazon S3 sündmuste teavitustel põhinevate roomajate tuge, et toetada kataloogitabeleid. Selle funktsiooniga saab järkjärgulise roomamise andmekonveieritest maha laadida ajastatud AWS Glue roomajasse, vähendades indekseerimist S3 järkjärguliste sündmusteni. Lisateabe saamiseks vaadake Looge olemasolevate Glue'i kataloogitabelite abil andmejärvede järkjärgulisi roomamisi.
Rohkem võimalusi andmete jagamiseks väljaspool andmejärve
Re:Invent 2022 ajal kuulutasime välja eelvaate AWS-i andmevahetus AWS-i järve moodustumise jaoks, uus funktsioon, mis võimaldab andmete tellijatel leida ja tellida kolmandate osapoolte andmekogumeid, mida hallatakse otse Lake Formationi kaudu. Kuni praeguseni, AWS-i andmevahetus abonendid pääsevad kolmandate osapoolte andmekogumitele juurde, eksportides pakkujate failid oma S3 ämbritesse, helistades teenusepakkujate API-dele läbi Amazon API väravvõi tootjate Amazon Redshifti klastri Amazon Redshift andmejagamiste päringute tegemine. Uue Lake Formationi integratsiooniga kureerivad andmepakkujad AWS-i andmevahetuse andmekogumeid Lake Formationi siltide abil. Andmete tellijad saavad päringuid teha ja uurida nende siltidega seotud andmebaase ja tabeleid, nagu iga teinegi AWS-i liimiandmete kataloogi ressurss. Organisatsioonid saavad rakendada ressursipõhiseid Lake Formationi õigusi, et jagada litsentsitud andmekogumiid samal kontol või kontode vahel, kasutades AWS-i litsentsihaldur. Lake Formationi AWS-i andmevahetus lihtsustab andmete litsentsimise ja jagamise toiminguid, kiirendades andmete sisestamist, vähendades lõppkasutajate jaoks kolmanda osapoole andmetele juurdepääsuks vajalikku ETL-i hulka ning tsentraliseerides kolmanda osapoole andmete haldamise ja juurdepääsu kontrolli.
Väljaandes re:Invent 2022 teatasime ka Amazon DataZone, uus andmehaldusteenus, mis muudab AWS-is, kohapealsetes ja kolmandate osapoolte allikates salvestatud andmete kataloogimise, avastamise, jagamise ja haldamise kiiremaks ja lihtsamaks. Amazon DataZone on äriandmete kataloogiteenus, mis täiendab AWS-i liimiandmete kataloogi tehnilisi metaandmeid. Amazon DataZone on integreeritud Lake Formationi õiguste haldusega, et saaksite tõhusalt hallata ja hallata juurdepääsu oma andmetele ning kontrollida, kes millistele andmetele ja mis eesmärgil juurde pääseb. Amazon DataZone'i väljaandja-tellija mudeliga saab andmevarasid jagada ja neile juurde pääseda piirkondade vahel. Lisateavet teenuse ja selle võimaluste kohta leiate aadressilt Amazon DataZone'i KKK ja re:Invent käivitamine.
Järeldus
Andmed muudavad iga valdkonda ja iga ettevõtet. Kuna aga andmed kasvavad kiiremini, kui enamik ettevõtteid suudavad neid jälgida, on nende andmete kogumine, turvamine ja väärtuse saamine keeruline. Kaasaegne andmestrateegia võib aidata teil andmetega paremaid äritulemusi luua. AWS pakub täieliku andmereisi jaoks kõige täielikumat teenuste komplekti, mis aitab teil oma andmetest väärtust avada ja muuta need ülevaateks.
AWS-is töötame klientide nõudmistest tagasi. Lake Formationi meeskond tegime selles postituses kirjeldatud funktsioonide pakkumiseks kõvasti tööd ja kutsume teid neid vaatama. Jätkuvalt keskendudes leiutamisele, loodame etendada võtmerolli, et anda organisatsioonidele võimalus luua uusi andmehaldusmudeleid, mis aitavad teil saada välkkiirelt rohkem äriväärtust.
Lake Formationiga saate alustada meiega tutvudes praktiline töötuba moodulid ja Alustamise õpetused. Ootame teie, meie klientide, teiepoolset teadet teie andmejärve ja andmehalduse kasutamise juhtumite kohta. Võtke ühendust oma AWS-i kontomeeskonna kaudu ja jagage oma kommentaare.
Autoritest
Jason Berkowitz on AWS Lake Formationi vanem tootejuht. Ta on pärit masinõppe ja andmejärve arhitektuuride taustast. Ta aitab klientidel muutuda andmepõhiseks.
Aarthi Srinivasan on AWS Lake Formationi vanem suurandmete arhitekt. Talle meeldib luua andmejärve lahendusi AWS-i klientidele ja partneritele. Kui ta klaviatuuri ei kasuta, uurib ta uusimaid teaduse ja tehnoloogia suundumusi ning veedab aega oma perega.
Leonardo Gomez on AWSi vanemanalüüsispetsialisti lahenduste arhitekt. Ta asub Kanadas Torontos ja omab üle kümnendiku kogemust andmehalduse alal, aidates klientidel üle maailma täita nende ärilisi ja tehnilisi vajadusi.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/aws-lake-formation-2022-year-in-review/
- 100
- 116
- 2022
- 7
- a
- võime
- Võimalik
- MEIST
- kiirendama
- kiirendades
- juurdepääs
- Juurdepääs andmetele
- pääses
- Ligipääs
- konto
- Kontod
- üle
- lisatud
- lisamine
- Täiendavad lisad
- aadress
- admin
- ADEelis
- võimaldab
- Amazon
- Amazon EMR
- Amazon SageMaker
- summa
- analytics
- analüüsides
- ja
- teatas
- Apache
- Apache Spark
- API
- API-liidesed
- taotlus
- rakendused
- kehtima
- asjakohane
- arhitektuur
- PIIRKOND
- valdkondades
- ümber
- vara
- Partner
- seotud
- audit
- AWS
- AWS liim
- AWS järve kihistu
- AWS re: leiutada
- tagapõhi
- põhineb
- muutuma
- Parem
- Peale
- Suur
- Big andmed
- ehitama
- ehitaja
- ehitajad
- Ehitus
- ehitatud
- äri
- ärkliendilt ärikliendile
- kutsutud
- kutsudes
- Saab
- Kanada
- võimeid
- juhul
- juhtudel
- kataloog
- CCPA
- väljakutseid
- raske
- Vaidluste lahendamine
- kontrollima
- Hiina
- Vali
- Cloud
- Cluster
- Kollektsioneerimine
- kogumine
- kommentaarid
- Ettevõtted
- konkurentsivõimeline
- täitma
- keeruline
- terviklik
- Võta meiega ühendust
- jätkas
- kontrollida
- kontrolli
- kulud
- võiks
- katmine
- roomik
- looma
- tava
- klient
- Kliendid
- andmed
- juurdepääs andmetele
- andmeinsener
- Andmevahetus
- andmejärv
- andmehaldus
- Andmeplatvorm
- andmekaitse
- andmete kvaliteedi
- andmeteadlane
- andmete jagamine
- andmestrateegia
- andmekogus
- andmelaod
- andmepõhistele
- andmebaas
- andmebaasid
- andmekogumid
- kümme aastat
- Otsuse tegemine
- sügavam
- tarnima
- esitatud
- Delta
- juurutamine
- kirjeldatud
- üksikasjalik
- detailid
- Arendajad
- & Tarkvaraarendus
- erinev
- otse
- avastama
- iga
- lihtsam
- Tõhus
- tõhusalt
- volitamine
- võimaldab
- võimaldades
- julgustama
- Lõpuks-lõpuni
- insener
- Inseneride
- tõhustatud
- Parandab
- tagama
- tagades
- keskkond
- Eeter (ETH)
- EU
- Isegi
- sündmus
- sündmused
- Iga
- vahetamine
- erutatud
- olemasolevate
- laiendades
- kogemus
- uurima
- Avastades
- väljendeid
- väljavõte
- pere
- kiiremini
- tunnusjoon
- FUNKTSIOONID
- tagasiside
- vähe
- väli
- Faile
- leidma
- lõpp
- esimene
- Keskenduma
- Järel
- moodustamine
- edasi
- Sihtasutus
- raamistikud
- Alates
- täielikult
- funktsionaalsused
- edasi
- GDPR
- teeniva
- saama
- saamine
- maakera
- läheb
- valitsemistava
- anda
- suurem
- Grupp
- Kasvavad
- Käsitsemine
- õnnelik
- Raske
- Tervis
- ärakuulamine
- aitama
- aidates
- aitab
- ajalugu
- Mesilaspere
- lootus
- Lahtiolekuajad
- Kuidas
- aga
- HTML
- HTTPS
- IAM
- Identity
- täitmine
- oluline
- parandusi
- parandab
- Paranemist
- in
- Teistes
- hõlmab
- Kaasa arvatud
- Tõstab
- üha rohkem
- info
- info
- ülevaade
- teadmisi
- integreeritud
- integratsioon
- integratsioon
- huvitatud
- sisse
- sisse
- kutsuma
- IT
- Tööturg
- teekond
- hoidma
- Võti
- järv
- hiljemalt
- käivitatud
- juht
- Õppida
- õppimine
- Tase
- litsents
- Litsentseeritud
- litsentsimine
- välk
- Välgukiirus
- koormus
- Vaata
- masin
- masinõpe
- tehtud
- põhiline
- TEEB
- Tegemine
- juhtima
- juhitud
- juhtimine
- juht
- palju
- Metaandmed
- meetod
- meetodid
- ML
- viis
- mudel
- mudelid
- Kaasaegne
- Moodulid
- Jälgida
- rohkem
- kõige
- mitmekordne
- nimed
- emakeelena
- Vajadus
- vajadustele
- Uus
- uus funktsioon
- märkmikud
- teated
- November
- Uus
- kohustusi
- pakkuma
- Pakkumised
- Pardal
- ONE
- avatud lähtekoodiga
- Operations
- Võimalus
- organisatsioon
- organisatsioonid
- Muu
- enda
- omanikud
- osa
- partnerid
- PBS
- luba
- Õigused
- petabaiti
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängima
- palun
- Poliitika
- populaarne
- portfell
- võimalik
- post
- Valmistama
- esitatud
- Eelvaade
- eelkõige
- privaatsus
- Protsessid
- töötlemine
- Toode
- tootejuht
- Edu
- anda
- tingimusel
- pakkujad
- annab
- pakkudes
- avaldatud
- eesmärk
- kvaliteet
- RAM
- RE
- tunnistama
- soovitama
- vähendab
- vähendamine
- piirkondades
- määrused
- regulatiivne
- vabastama
- Eemaldatud
- nõutav
- Nõuded
- ressurss
- Vahendid
- REST
- läbi
- Oht
- jõuline
- Roll
- rollid
- jooks
- Venemaa
- salveitegija
- sama
- Skaala
- plaanitud
- teadus
- Teadus ja tehnoloogia
- teadlane
- teadlased
- sujuvalt
- Teine
- kindlustama
- kindlustada
- vanem
- teenus
- Teenused
- komplekt
- Jaga
- jagatud
- Aktsiad
- jagamine
- lihtne
- So
- lahendus
- Lahendused
- Lahendamine
- mõned
- allikas
- Allikad
- Säde
- spetsialist
- konkreetse
- kiirus
- kasutatud
- huvirühmad
- starburst
- alustatud
- Käivitus
- Sammud
- ladustamine
- ladustatud
- Strateegia
- oja
- stuudio
- esitama
- tellima
- Abonentide
- selline
- Kokku võtta
- KOKKUVÕTE
- toetama
- Toetab
- süsteemid
- Läbirääkimised
- eesmärgid
- meeskond
- meeskonnad
- Tehniline
- Tehnoloogia
- .
- Allikas
- oma
- asi
- kolmanda osapoole
- Läbi
- läbi kogu
- aeg
- et
- Toronto
- puudutama
- jälgida
- koolitus
- Muutma
- transformeerivate
- Trends
- Pöörake
- ui
- aluseks
- mõistma
- ühtne
- ainulaadne
- avamine
- Värskendused
- kasutama
- kasutage juhtumit
- Kasutaja
- User Experience
- Kasutajad
- väärtus
- versioon
- vaade
- vaated
- Ladu
- kuidas
- M
- kas
- WHO
- jooksul
- Töö
- töötas
- töökoda
- Töötoad
- kirjutamine
- aasta
- Sinu
- youtube
- sephyrnet