Arhitektura z več računi v AWS je bistvenega pomena za izboljšanje varnosti, skladnosti in upravljanja virov z izolacijo delovnih obremenitev, omogočanjem natančnega razporejanja stroškov in olajšanjem sodelovanja v različnih okoljih. Prav tako zmanjšuje tveganja, izboljšuje razširljivost in omogoča napredne omrežne konfiguracije.
V pretočni arhitekturi imate lahko proizvajalce dogodkov, shrambo tokov in porabnike dogodkov v enem samem računu ali razporejene po različnih računih, odvisno od vašega poslovanja in zahtev IT. Na primer, vaše podjetje bo morda želelo centralizirati svoje podatke o toku klikov ali podatke dnevnika več različnih proizvajalcev v različnih računih. Potrošniki podatkov iz trženja, produktnega inženiringa ali analitike potrebujejo dostop do istih pretočnih podatkov v računih, kar zahteva možnost zagotavljanja pretočne arhitekture z več računi.
Če želite zgraditi pretočno arhitekturo z več računi, lahko uporabite Amazonski kinezi podatkovni tokovi kot shramba toka in AWS Lambda kot potrošnik dogodka. Amazon Kinesis Data Streams omogoča obdelavo pretočnih podatkov v realnem času v velikem obsegu. Ko je integriran z Lambdo, omogoča obdelavo podatkov brez strežnika, kar vam omogoča analizo tokov podatkov in odzivanje nanje v realnem času brez upravljanja infrastrukture. Ta integracija podpira različne primere uporabe, vključno z analitiko v realnem času, obdelavo dnevnikov, zaužitjem podatkov interneta stvari (IoT) in več, zaradi česar je dragocena za podjetja, ki potrebujejo pravočasen vpogled v svoje pretočne podatke. V tej objavi prikazujemo, kako lahko obdelate podatke, vnesene v tok v enem računu s funkcijo Lambda v drugem računu.
Nedavna uvedba podpore za Kinesis Data Streams za politike, ki temeljijo na virih omogoča priklic Lambde iz drugega računa. S pravilnikom, ki temelji na virih, lahko določite račune AWS, AWS upravljanje identitete in dostopa (IAM) ali vloge IAM in natančna dejanja Kinesis Data Streams, za katera želite odobriti dostop. Ko je dostop odobren, lahko konfigurirate funkcijo Lambda v drugem računu, da začnete obdelovati tok podatkov, ki pripada vašemu računu. To zmanjša stroške in poenostavi cevovod za obdelavo podatkov, ker vam ni več treba kopirati pretočnih podatkov z uporabo funkcij Lambda v obeh računih. Deljenje dostopa do vaših podatkovnih tokov ali registriranih potrošnikov ne povzroči dodatnih stroškov za vaš račun. Uporaba virov Kinesis Data Streams med računi se bo še naprej zaračunavala lastnikom virov.
V tej objavi uporabljamo Kinesis Data Streams z izboljšan ventilator funkcija, ki potrošnikom omogoča namensko prepustnost branja, prilagojeno njihovim aplikacijam. Podatkovni tokovi Kinesis privzeto ponujajo deljeno prepustnost branja 2 MB/s na delček med potrošniki, vendar z izboljšano razdelitvijo lahko vsak uporabnik uživa namensko prepustnost 2 MB/s na delček. Ta prilagodljivost vam omogoča nemoteno prilagajanje podatkovnih tokov Kinesis vašim posebnim zahtevam, pri čemer lahko glede na vaše potrebe izbirate med izboljšanim razprševanjem za namensko prepustnost ali skupno pretočnost.
Pregled rešitev
Za našo rešitev uvedemo Kinesis Data Streams v računu 1 in Lambda kot porabnika v računu 2 za prejemanje podatkov iz podatkovnega toka. Naslednji diagram ponazarja visokonivojsko arhitekturo.
Nastavitev zahteva naslednje ključne elemente:
- Tok podatkov Kinesis v računu 1 in funkcija Lambda v računu 2
- Politike virov Kinesis Data Streams v računu 1, ki omogočajo vlogi izvajanja Lambda med računi za izvajanje operacij v toku podatkov Kinesis
- Izvršilna vloga Lambda v računu 2 in izboljšana politika razpršitve potrošniških virov v računu 1, ki omogoča vlogi izvajanja Lambda med računi za izvajanje operacij v podatkovnem toku Kinesis
Za nastavitev uporabite tri Oblikovanje oblaka AWS predloge za ustvarjanje ključnih virov:
- Predloga CloudFormation 1 ustvari naslednje ključne vire v računu 1:
- Podatkovni tok Kinesis
- Porabnik podatkovnega toka Kinesis izboljšan fan-out
- Predloga CloudFormation 2 ustvari naslednje ključne vire v računu 2:
- Lambda funkcija potrošnika
- Uporabniška vloga izvajanja funkcije Lambda
- Predloga CloudFormation 3 ustvari naslednji vir v računu 2:
- Preslikava vira dogodka funkcije potrošnika Lambda
Rešitev podpira uvajanje v eno regijo, predloge CloudFormation pa morajo biti uvedene v isti regiji v različnih računih AWS. V tej rešitvi uporabljamo izboljšano razpršenost Kinesis Data Streams, kar je najboljša praksa za uvajanje arhitektur, ki zahtevajo veliko prepustnost pri več porabnikih. Dokončajte korake v naslednjih razdelkih za uvedbo te rešitve.
Predpogoji
Morali bi imeti dva računa AWS in zahtevana dovoljenja za zagon predloge CloudFormation za ustvarjanje storitev, omenjenih v arhitekturi rešitve. Potrebujete tudi Vmesnik ukazne vrstice AWS (AWS CLI) nameščen, različica 2.15 in novejša.
Zaženi predlogo CloudFormation 1
Izvedite naslednje korake za zagon prve predloge CloudFormation:
- Prijavite se v Konzola za upravljanje AWS kot račun 1 in izberite ustrezno regijo AWS.
- Prenesite in zaženite Predloga CloudFormation 1 kjer želite namestiti svoj podatkovni tok Kinesis.
- za LambdaConsumerAccountId, vnesite ID svojega potrošniškega računa Lambda in kliknite Pošlji. Uvedba predloge CloudFormation bo trajala nekaj minut.
- Ko je sklad končan, se na konzoli AWS CloudFormation pomaknite do sklada Izhodi in kopirajte vrednosti naslednjih parametrov:
KinesisStreamArn
KinesisStreamEFOConsumerArn
KMSKeyArn
Te vrednosti boste potrebovali v kasnejših korakih.
Zaženi predlogo CloudFormation 2
Izvedite naslednje korake za zagon druge predloge CloudFormation:
- Prijavite se v konzolo kot račun 2 in izberite ustrezno regijo.
- Prenesite in zaženite Predloga CloudFormation 2 kjer želite gostiti potrošnika Lambda.
- Podajte naslednje vhodne parametre, zajete v prejšnjem koraku:
KinesisStreamArn
KinesisStreamEFOConsumerArn
KMSKeyArn
Predloga CloudFormation ustvari naslednje ključne vire:
- Lambda porabnik
- Izvršilna vloga Lambda
Izvršilna vloga funkcije Lambda je vloga IAM, ki funkciji podeljuje dovoljenje za dostop do storitev in virov AWS. Tukaj ustvarite vlogo izvajanja Lambda, ki ima zahtevana dovoljenja za priklic Kinesis Data Streams in Lambda.
Uvedba predloge CloudFormation bo trajala nekaj minut.
- Ko je sklad končan, se na konzoli AWS CloudFormation pomaknite do sklada Izhodi in kopirajte vrednosti naslednjih parametrov:
KinesisStreamCreateResourcePolicyCommand
KinesisStreamEFOConsumerCreateResourcePolicyCommand
- Zaženite naslednje ukaze AWS CLI v računu 1 z uporabo AWS CloudShell. Priporočamo uporabo CloudShell, ker bo imel najnovejšo različico AWS CLI in se bo izognil kakršnim koli okvaram.
- KinesisStreamCreateResourcePolicyCommand – To ustvari politiko virov v računu 1 za Kinesis Data Stream. Spodaj je vzorčna politika virov:
- KinesisStreamEFOConsumerCreateResourcePolicyCommand – S tem se ustvari pravilnik o sredstvih za potrošnika z izboljšano razpršitvijo za tok podatkov Kinesis v računu 1. Sledi vzorčni pravilnik o sredstvih:
Do tega pravilnika lahko dostopate tudi na konzoli Kinesis Data Streams pod Izboljšana pahljača, Ime potrošnikain Politika potrošniške skupne rabe virov.
Zaženi predlogo CloudFormation 3
Zdaj, ko ste v računu 1 ustvarili pravilnike o sredstvih za podatkovni tok Kinesis in njegovega izboljšanega razpršenega porabnika, lahko ustvarite preslikavo vira dogodkov Lambda za porabniško funkcijo Lambda v računu 2. Izvedite naslednje korake:
- Prijavite se v konzolo kot račun 2 in izberite ustrezno regijo.
- Prenesite in zaženite Predloga CloudFormation 3 da posodobite sklad, ki ste ga ustvarili s predlogo CloudFormation 2.
Predloga CloudFormation ustvari preslikavo vira dogodka Lambda.
Potrdite rešitev
Na tej točki je uvajanje končano. Podatkovni tok Kinesis je na voljo za porabo sporočil, funkcija Lambda pa prejme ta sporočila v ciljni račun. Če želite poslati vzorčna sporočila v podatkovni tok v računu 1, zaženite naslednji ukaz AWS CLI z uporabo CloudShell:
Funkcija Lambda v računu 2 lahko sprejema sporočila, vi pa bi morali imeti možnost preveriti isto z amazoncloudwatch dnevniki:
- Na konzoli CloudWatch izberite Dnevniške skupine v podoknu za krmarjenje.
- Poiščite skupino dnevnikov /aws/lambda/kds-cross-account-stream-efo-consumer.
- Izberite Skupina dnevnika iskanja za ogled ustreznih dnevniških sporočil. Sledi primer sporočila:
Čiščenje
Vedno je dobro, da počistite vse vire, ki ste jih ustvarili v okviru te objave, da se izognete dodatnim stroškom.
Če želite počistiti svoje vire, izbrišite ustrezne sklade CloudFormation iz računov 1 in 2 ter preprečite proizvajalcu, da bi potiskal dogodke v tok podatkov Kinesis. Tako zagotovite, da vam ne bodo zaračunani po nepotrebnem.
Povzetek
V tej objavi smo pokazali, kako konfigurirati integracijo Lambda med računi s Kinesis Data Streams z uporabo pravilnikov, ki temeljijo na virih AWS. To omogoča obdelavo podatkov, vnesenih v tok znotraj enega računa AWS prek funkcije Lambda, ki se nahaja v drugem računu. Da bi podprli stranke, ki uporabljajo podatkovni tok Kinesis v svojem osrednjem računu in imajo več potrošnikov, ki berejo podatke iz njega, smo uporabili izboljšano funkcijo razpršitve Kinesis Data Streams.
Za začetek odprite konzolo Kinesis Data Streams ali uporabite nov API PutResourcePolicy da svojemu podatkovnemu toku ali potrošniku pripnete politiko vira.
O avtorjih
Pratik Patel je višji tehnični vodja računa in strokovnjak za analitiko pretakanja. Sodeluje s strankami AWS ter zagotavlja stalno podporo in tehnično vodenje za pomoč pri načrtovanju in gradnji rešitev z uporabo najboljših praks ter proaktivno vzdržuje delovno zdrava okolja AWS strank.
Ljubezen je višji arhitekt rešitev pri Amazon AWS v Združenem kraljestvu. Deluje na področju energetike, javnih služb, proizvodnje in avtomobilske industrije na področju strateških implementacij, specializiran za uporabo AWS Streaming in naprednih rešitev za analizo podatkov, da doseže optimalne poslovne rezultate.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/invoke-aws-lambda-functions-from-cross-account-amazon-kinesis-data-streams/
- :ima
- : je
- :ne
- :kje
- $GOR
- 1
- 100
- 14
- 15%
- 16
- 19
- 2%
- 4
- 5
- 8
- a
- sposobnost
- Sposobna
- nad
- dostop
- Po
- Račun
- računi
- čez
- Ukrep
- dejavnosti
- prilagodijo
- Dodatne
- napredno
- po
- vsi
- dodelitev
- omogočajo
- Dovoli
- omogoča
- Prav tako
- vedno
- Amazon
- Amazon Kinesis
- Amazon Web Services
- an
- analitika
- analizirati
- in
- Še ena
- kaj
- API
- aplikacije
- primerno
- Arhitektura
- arhitekture
- SE
- AS
- At
- pripisujejo
- avtomobilska
- Na voljo
- izogniti
- AWS
- Oblikovanje oblaka AWS
- AWS Lambda
- BE
- ker
- pripadnosti
- BEST
- najboljše prakse
- med
- zaračunano
- tako
- izgradnjo
- poslovni
- podjetja
- vendar
- by
- CAN
- Zajeto
- primeri
- Osrednji
- zaračuna
- Stroški
- Izberite
- izbiri
- čiščenje
- cli
- klik
- sodelovanje
- podjetje
- dokončanje
- skladnost
- konfiguracije
- Konzole
- porabijo
- Potrošnik
- Potrošniki
- naprej
- copy
- strošek
- ustvarjajo
- ustvaril
- ustvari
- Cross
- Stranke, ki so
- datum
- Podatkovna analiza
- obdelava podatkov
- namenjen
- privzeto
- odstrani
- poda
- izkazati
- Dokazano
- Odvisno
- razporedi
- razporejeni
- uvajanja
- uvajanje
- destinacija
- diagram
- drugačen
- izrazit
- ne
- pogon
- vsak
- učinek
- elementi
- pooblastitvi
- omogoča
- omogočanje
- Inženiring
- okrepljeno
- izboljšanje
- uživajte
- Vnesite
- okolja
- bistvena
- Eter (ETH)
- Event
- dogodki
- točno
- Primer
- izvedba
- olajšanje
- napake
- Feature
- Nekaj
- prva
- prilagodljivost
- po
- za
- iz
- funkcija
- funkcije
- dobili
- dobro
- odobri
- odobreno
- nepovratna sredstva
- zrnat
- skupina
- Navodila
- Imajo
- he
- zdravo
- pomoč
- tukaj
- na visoki ravni
- gostitelj
- Kako
- Kako
- HTML
- http
- HTTPS
- IAM
- ID
- identiteta
- ponazarja
- izvedbe
- izboljšuje
- in
- Vključno
- Infrastruktura
- vhod
- vpogledi
- nameščen
- integrirana
- integracija
- Internet
- Internet stvari
- v
- Internet stvari
- IT
- ITS
- jpg
- Imejte
- Ključne
- Otrok
- Podatkovni tokovi Kinesis
- velika
- pozneje
- Zadnji
- kosilo
- vrstica
- nahaja
- prijavi
- več
- IZDELA
- Izdelava
- upravljanje
- upravitelj
- upravljanje
- proizvodnja
- kartiranje
- Trženje
- Maj ..
- omenjeno
- Sporočilo
- sporočil
- min
- več
- več
- morajo
- Krmarjenje
- ostalo
- Nimate
- potrebe
- mreženje
- Novo
- št
- of
- Ponudbe
- on
- ONE
- v teku
- odprite
- operacije
- optimalna
- or
- naši
- rezultatov
- Lastniki
- podokno
- parametri
- del
- za
- opravlja
- Dovoljenje
- Dovoljenja
- plinovod
- Načrt
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- politike
- politika
- Prispevek
- moč
- praksa
- vaje
- prejšnja
- , ravnateljica
- Postopek
- obravnavati
- Proizvajalec
- Proizvajalci
- Izdelek
- zagotavlja
- Potiskanje
- Reagirajo
- Preberi
- reading
- pravo
- v realnem času
- prejeti
- prejme
- nedavno
- Priporočamo
- evidence
- zmanjšuje
- okolica
- registriranih
- pomembno
- zahteva
- obvezna
- Zahteve
- zahteva
- vir
- viri
- tisti,
- tveganja
- vloga
- vloge
- Run
- Enako
- Vzorec
- Prilagodljivost
- Lestvica
- brez težav
- drugi
- oddelki
- varnost
- izberite
- pošljite
- višji
- Brez strežnika
- Storitve
- nastavitev
- deli
- delitev
- shouldnt
- poenostavlja
- sam
- Rešitev
- rešitve
- vir
- specialist
- specializacijo
- specifična
- namaz
- sveženj
- Skladovnice
- Začetek
- začel
- Izjava
- Korak
- Koraki
- stop
- shranjevanje
- Strateško
- tok
- pretakanje
- tokovi
- predloži
- podpora
- Podpira
- Preverite
- prilagojene
- Bodite
- tehnični
- Predloga
- predloge
- da
- O
- UK
- njihove
- te
- stvari
- ta
- 3
- skozi
- pretočnost
- čas
- pravočasno
- do
- dva
- Uk
- pod
- po nepotrebnem
- Nadgradnja
- Uporaba
- uporaba
- Rabljeni
- Uporabniki
- uporabo
- javne gospodarske službe
- dragocene
- Vrednote
- različnih
- preverjanje
- različica
- Poglej
- želeli
- we
- web
- spletne storitve
- kdaj
- ki
- WHO
- bo
- z
- v
- brez
- deluje
- jo
- Vaša rutina za
- zefirnet