V tej objavi boste izvedeli, kako lahko uporabite Amazon Kinesis Data Firehose za izgradnjo cevovoda za vnos dnevnika za pošiljanje Dnevniki toka VPC do Amazon OpenSearch brez strežnika. Najprej ustvarite zbirko OpenSearch Serverless, ki jo uporabljate za shranjevanje dnevnikov toka VPC, nato ustvarite cevovod za dostavo Kinesis Data Firehose, ki posreduje dnevnike toka OpenSearch Serverless. Končno omogočite dostavo dnevnikov toka VPC v tok dostave Firehose. Naslednji diagram prikazuje potek dela rešitve.
OpenSearch Serverless je nova brezstrežniška možnost, ki jo ponuja Storitev Amazon OpenSearch. OpenSearch Serverless poenostavlja izvajanje iskalnih in analitičnih delovnih obremenitev v velikosti petabajtov, ne da bi bilo treba konfigurirati, upravljati ali prilagajati gruče OpenSearch. OpenSearch Serverless samodejno zagotavlja in prilagaja osnovne vire, da zagotovi hiter vnos podatkov in odgovore na poizvedbe tudi za najzahtevnejše in nepredvidljive delovne obremenitve.
Kinesis Data Firehose je priljubljena storitev, ki zagotavlja pretakanje podatkov iz več kot 20 storitev AWS v več kot 15 orodij za analizo in opazovanje, kot je OpenSearch Serverless. Kinesis Data Firehose je odličen za tiste, ki iščejo hiter in enostaven način za pošiljanje vaših podatkov dnevnikov toka VPC v vašo zbirko OpenSearch Serverless v nekaj minutah brez ene same vrstice kode in brez izgradnje ali upravljanja lastne infrastrukture za vnos in dostavo podatkov.
Dnevniki toka VPC zajemajo informacije o prometu, ki gredo do in iz vaših omrežnih vmesnikov v vašem VPC. Z uvedbo podpore Kinesis Data Firehose za OpenSearch Serverless omogoča enostavno rešitev za analizo vaših dnevnikov toka VPC s samo nekaj kliki. Kinesis Data Firehose ponuja resničen mehanizem brez strežnika od konca do konca za dostavo vaših dnevnikov toka v OpenSearch Serverless, kjer lahko uporabite nadzorne plošče OpenSearch za iskanje po teh dnevnikih, ustvarjanje nadzornih plošč, odkrivanje anomalij in pošiljanje opozoril. Dnevniki toka VPC vam pomagajo odgovoriti na vprašanja, kot so:
- Kolikšen odstotek vašega prometa upada?
- Koliko prometa se ustvari za določene vire in cilje?
Ustvarite svojo zbirko OpenSearch Serverless
Za začetek morate najprej ustvariti zbirko. OpenSearch brez strežnika zbirka je logična skupina enega ali več indeksov, ki predstavljajo analitično delovno obremenitev. Izvedite naslednje korake:
- Na konzoli OpenSearch Service izberite Naše zbirke pod Brez strežnika v podoknu za krmarjenje.
- Izberite Ustvarite zbirko.
- za Ime zbirke, vnesite ime (npr.
vpc-flow-logs
). - za Vrsta zbirke¸ izberite Časovne serije.
- za šifriranje, izberite želeno nastavitev šifriranja:
- Izberite Uporabite ključ v lasti AWS za uporabo upravljanega ključa AWS.
- Izberite drug ključ AWS KMS uporabiti svoje AWS Service Key Management (AWS KMS).
- za Nastavitve dostopa do omrežja, izberite želeno nastavitev:
- Izberite VPC za uporabo končne točke VPC.
- Izberite javno za uporabo javne končne točke.
AWS priporoča uporabo končne točke VPC za vse proizvodne delovne obremenitve. Za ta vodnik izberite javno.
- Izberite ustvarjanje.
Ustvarjanje zbirke naj bi trajalo nekaj minut.
Naslednja slika prikazuje hitro predstavitev ustvarjanja zbirke OpenSearch Serverless s prejšnjimi koraki.
Na tej točki ste uspešno ustvarili zbirko za OpenSearch Serverless. Nato ustvarite cevovod dostave za Kinesis Data Firehose.
Ustvarite tok dostave Kinesis Data Firehose
Če želite nastaviti tok dostave za Kinesis Data Firehose, izvedite naslednje korake:
- Na konzoli Kinesis Data Firehose izberite Ustvari tok dostave.
- za vir, navedite Neposredni PUT.
Preveri Izvor, cilj in ime če želite izvedeti več o različnih virih, ki jih podpira Kinesis Data Firehose.
- za destinacija, izberite Amazon OpenSearch brez strežnika.
- za Ime toka dostave, vnesite ime (npr.
vpc-flow-logs
). - Pod Nastavitve ciljaV Zbirka OpenSearch Brez strežnika nastavitve, izberite Brskanje.
- Izberite
vpc-flow-logs
. - Izberite Izberite.
Če vaša zbirka še vedno ustvarja, počakajte nekaj minut in poskusite znova.
- za Kazalo, navedite
vpc-flow-logs
. - v Nastavitve varnostnega kopiranja izberite, izberite Samo neuspeli podatki za Varnostno kopiranje izvornega zapisa v Amazon S3.
Kinesis Data Firehose uporablja Preprosta storitev shranjevanja Amazon (Amazon S3) za varnostno kopiranje neuspelih podatkov, ki jih poskuša dostaviti na izbrano destinacijo. Če želite obdržati vse podatke, izberite Vsi podatki.
- za S3 rezervno vedro, izberite Brskanje da izberete obstoječo vedro S3, ali izberite ustvarjanje da ustvarite novo vedro.
- Izberite Ustvari tok dostave.
Naslednja slika prikazuje hitro predstavitev ustvarjanja toka dostave Kinesis Data Firehose s prejšnjimi koraki.
Na tej točki ste uspešno ustvarili tok dostave za Kinesis Data Firehose, ki ga boste uporabili za pretakanje podatkov iz vaših dnevnikov toka VPC in pošiljanje v vašo zbirko OpenSearch Serverless.
Nastavite pravilnik za dostop do podatkov za svojo zbirko OpenSearch Serverless
Preden pošljete kakršne koli dnevnike v OpenSearch Serverless, morate ustvariti pravilnik za dostop do podatkov znotraj OpenSearch Serverless, ki omogoča Kinesis Data Firehose pisanje v vpc-flow-logs
kazalo v vaši zbirki. Izvedite naslednje korake:
- Na konzoli Kinesis Data Firehose izberite konfiguracija na strani s podrobnostmi za tok dostave vpc-flow-logs, ki ste ga pravkar ustvarili.
- v Dovoljenja razdelek, zabeležite AWS upravljanje identitete in dostopa (IAM) vlogo.
- Pomaknite se na
vpc-flow-logs
stran s podrobnostmi o zbirki na nadzorni plošči OpenSearch Serverless. - Pod Dostop do podatkov, izberite Upravljanje dostopa do podatkov.
- Izberite Ustvarite politiko dostopa.
- v Ime in opis podajte ime načela dostopa, dodajte opis in izberite JSON kot metoda opredelitve politike.
- Dodajte naslednji pravilnik v urejevalnik JSON. Podajte ime zbirke in indeks, ki ste ju podali med ustvarjanjem toka dostave v pravilniku. Navedite ime vloge IAM, ki ste ga dobili na strani z dovoljenji toka dostave Firehose, in ID računa za vaš račun AWS.
- Izberite ustvarjanje.
Naslednja slika prikazuje hitro predstavitev ustvarjanja pravilnika za dostop do podatkov s prejšnjimi koraki.
Nastavite dnevnike toka VPC
V zadnjem koraku te objave omogočite dnevnike toka za vaš VPC s ciljem Kinesis Data Firehose, ki pošlje podatke v OpenSearch Serverless.
- Pomaknite se na Konzola za upravljanje AWS.
- Poiščite »VPC« in nato izberite Vaši VPC-ji v rezultatih iskanja (pomaknite miškin kazalec nad VPC pravokotnik za prikaz povezave).
- Izberite VPC ID povezavo za enega od vaših VPC-jev.
- o Dnevniki pretoka izberite jeziček Ustvari dnevnik poteka.
- za Ime, vnesite ime.
- Pusti filter nastavljena vsi. Promet lahko omejite z izbiro Sprejmi or Zavrni.
- Pod destinacijatako, da izberete Pošljite Kinesis Firehose v istem računu.
- za Ime toka dostave Kinesis Firehose, izberite
vpc-flow-logs
. - Izberite Ustvari dnevnik poteka.
Naslednja slika prikazuje hitro predstavitev ustvarjanja dnevnika poteka za vaš VPC po prejšnjih korakih.
Preglejte podatke dnevnikov toka VPC v svoji zbirki z nadzornimi ploščami OpenSearch
Dokler ne konfigurirate dostopa do podatkov, ne boste mogli dostopati do svojih podatkov o zbirki. Politike dostopa do podatkov omogočajo uporabnikom dostop do dejanskih podatkov znotraj zbirke.
Če želite ustvariti pravilnik o dostopu do podatkov za nadzorne plošče OpenSearch, izvedite naslednje korake:
- Pomaknite se na
vpc-flow-logs
stran s podrobnostmi o zbirki na nadzorni plošči OpenSearch Serverless. - Pod Dostop do podatkov, izberite Upravljanje dostopa do podatkov.
- Izberite Ustvarite politiko dostopa.
- v Ime in opis podajte ime načela dostopa, dodajte opis in izberite JSON kot metoda opredelitve politike.
- Dodajte naslednji pravilnik v urejevalnik JSON. Podajte ime zbirke in indeks, ki ste ju podali med ustvarjanjem toka dostave v pravilniku. Poleg tega navedite uporabnika IAM in ID računa za vaš račun AWS. Zagotoviti morate, da imate Dostop do AWS in tajni ključi za principala, ki ste ga navedli kot uporabnika IAM.
- Izberite ustvarjanje.
- Pomaknite se do OpenSearch Serverless in izberite zbirko, ki ste jo ustvarili (
vpc-flow-logs
). - Izberite URL nadzorne plošče OpenSearch in se prijavite s svojim dostopnim ključem IAM in skrivnim ključem za uporabnika, ki ste ga navedli pod
Principal
. - Pomaknite se do orodij za razvijalce znotraj nadzornih plošč OpenSearch in zaženite naslednjo poizvedbo, da pridobite dnevnike toka VPC za vaš VPC:
Poizvedba vrne podatke, kot je prikazano na naslednjem posnetku zaslona, ki vsebuje informacije, kot so ID računa, ID vmesnika, izvorni naslov IP, ciljni naslov IP in drugo.
Ustvarite nadzorne plošče
Ko podatki stečejo v OpenSearch Serverless, lahko enostavno ustvarite nadzorne plošče za spremljanje dejavnosti v vašem VPC. Naslednji primer nadzorne plošče prikazuje skupni promet, sprejeti in zavrnjeni promet, prenesene bajte in nekaj grafikonov z glavnimi viri in cilji.
Čiščenje
Če ne želite več uporabljati rešitve, ne pozabite izbrisati virov, ki ste jih ustvarili:
- Vrnite se na konzolo AWS in v razdelku VPC-ji onemogočite dnevnike toka za vaš VPC.
- Na nadzorni plošči OpenSearch Serverless izbrišite svoj
vpc-flow-logs
zbirka. - Na konzoli Kinesis Data Firehose izbrišite svoj
vpc-flow-logs
tok dostave.
zaključek
V tej objavi ste ustvarili cevovod brez strežnika od konca do konca za dostavo vaših dnevnikov toka VPC v OpenSearch Serverless z uporabo Kinesis Data Firehose. V tem primeru ste zgradili dostavni cevovod za svoje dnevnike toka VPC, lahko pa uporabite tudi Kinesis Data Firehose za pošiljanje dnevnikov iz Amazonski kinezi podatkovni tokovi in amazoncloudwatch, ki se nato lahko pošlje v zbirke OpenSearch Serverless za izvajanje analitike v teh dnevnikih. Z brezstrežniškimi rešitvami na AWS se lahko osredotočite na razvoj svoje aplikacije, namesto da bi skrbeli za cevovod za vnos in orodja za vizualizacijo vaših dnevnikov.
Spoznajte OpenSearch Serverless z uporabo Kako začeti z Amazon OpenSearch Serverless delavnico in si oglejte druge cevovode za analizo vaših dnevnikov.
Če imate povratne informacije o tej objavi, jih delite v razdelku s komentarji. Če imate vprašanja o tej objavi, odprite novo nit na Amazon OpenSearch Service forum or se obrnite na podporo AWS.
O avtorjih
Jon Handler (@_searchgeek) je glavni arhitekt rešitev pri Amazon Web Services s sedežem v Palo Altu, CA. Jon tesno sodeluje z ekipama CloudSearch in Elasticsearch ter zagotavlja pomoč in smernice širokemu krogu strank, ki imajo delovne obremenitve iskanja, ki jih želijo prenesti v oblak AWS. Preden se je pridružil AWS, je Jonova kariera razvijalca programske opreme vključevala štiri leta kodiranja obsežnega iskalnika e-trgovine.
Prashant Agrawal je starejši arhitekt za rešitve strokovnjaka za iskanje pri Amazon OpenSearch Service. Tesno sodeluje s strankami, da bi jim pomagal pri selitvi njihovih delovnih obremenitev v oblak in obstoječim strankam pomaga pri natančnejši nastavitvi njihovih gruč, da bi dosegli boljšo zmogljivost in prihranili pri stroških. Preden se je pridružil AWS, je pomagal različnim strankam pri uporabi OpenSearch in Elasticsearch za primere uporabe analitike iskanja in dnevnika. Ko ni v službi, ga lahko najdete na potovanju in raziskovanju novih krajev. Skratka, rad dela Eat → Travel → Repeat.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/serverless-logging-with-amazon-opensearch-serverless-and-amazon-kinesis-data-firehose/
- 1
- 10
- 100
- 7
- a
- Sposobna
- O meni
- dostop
- Račun
- Doseči
- dejavnost
- Poleg tega
- Naslov
- vsi
- omogoča
- Amazon
- Amazon Kinesis
- Amazon Web Services
- Analitično
- analitika
- analizirati
- analiziranje
- in
- odgovor
- uporaba
- Razvoj aplikacij
- Poskusi
- samodejno
- AWS
- nazaj
- backup
- temeljijo
- pred
- Boljše
- široka
- izgradnjo
- Building
- zgrajena
- CA
- zajemanje
- Kariera
- primeri
- Charts
- preveriti
- Izberite
- izbran
- tesno
- Cloud
- Koda
- Kodiranje
- zbirka
- Zbirke
- komentarji
- dokončanje
- Konzole
- Vsebuje
- naprej
- strošek
- par
- ustvarjajo
- ustvaril
- Ustvarjanje
- Oblikovanje
- Stranke, ki so
- Armaturna plošča
- datum
- dostop do podatkov
- poda
- daje
- dostava
- zahtevno
- opis
- destinacija
- destinacije
- Podrobnosti
- dev
- Razvojni
- Razvoj
- drugačen
- tem
- dont
- navzdol
- padla
- med
- enostavno
- jesti
- elektronskem poslovanju
- urednik
- Elastično iskanje
- omogočajo
- šifriranje
- konec koncev
- Končna točka
- Motor
- Vnesite
- Eter (ETH)
- Tudi
- Primer
- obstoječih
- Raziskovati
- ni uspelo
- FAST
- povratne informacije
- Nekaj
- končna
- končno
- Najdi
- prva
- Pretok
- Teče
- Osredotočite
- po
- iz
- ustvarila
- dobili
- pridobivanje
- gif
- daje
- dogaja
- veliko
- hands-on
- ob
- pomoč
- pomagal
- Pomaga
- hover
- Kako
- HTML
- HTTPS
- IAM
- identiteta
- in
- vključeno
- Indeks
- indekse
- Podatki
- Infrastruktura
- vmesnik
- vmesniki
- IP
- IP naslov
- IT
- pridružil
- json
- Imejte
- Ključne
- Kinesis Data FireHose
- obsežne
- kosilo
- UČITE
- LIMIT
- vrstica
- LINK
- si
- Znamka
- IZDELA
- upravljanje
- upravlja
- upravljanje
- upravljanje
- Mehanizem
- Metoda
- selitev
- min
- monitor
- več
- Najbolj
- premikanje
- Ime
- ostalo
- Nimate
- mreža
- Novo
- Naslednja
- ponujen
- ONE
- Možnost
- Ostalo
- Splošni
- lastne
- v lasti
- Palo Alto
- podokno
- odstotek
- performance
- Dovoljenje
- Dovoljenja
- plinovod
- Mesta
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- politika
- Popular
- Prispevek
- prednostno
- , ravnateljica
- Predhodna
- proizvodnja
- zagotavljajo
- zagotavlja
- zagotavljanje
- javnega
- vprašanja
- Hitri
- območje
- priporoča
- zapis
- ponovite
- predstavljajo
- vir
- viri
- povzroči
- vrne
- razkrivajo
- vloga
- pravila
- Run
- tek
- Enako
- Shrani
- Lestvica
- luske
- Iskalnik
- iskalnik
- skrivnost
- Oddelek
- izbiranje
- Brez strežnika
- Storitev
- Storitve
- nastavite
- nastavitev
- nastavitve
- Delite s prijatelji, znanci, družino in partnerji :-)
- Kratke Hlače
- shouldnt
- pokazale
- Razstave
- Enostavno
- sam
- Software
- Rešitev
- rešitve
- nekaj
- vir
- Viri
- specialist
- specifična
- določeno
- Začetek
- začel
- Korak
- Koraki
- Še vedno
- shranjevanje
- trgovina
- tok
- pretakanje
- Uspešno
- taka
- podpora
- Podprti
- Bodite
- ob
- Skupine
- O
- njihove
- skozi
- do
- orodja
- vrh
- Prometa
- potovanja
- Potovanje
- Res
- OBRAT
- pod
- osnovni
- nepredvidljivo
- URL
- uporaba
- uporabnik
- Uporabniki
- različnih
- preko
- vizualizirati
- Počakaj
- walkthrough
- web
- spletne storitve
- ki
- WHO
- bo
- v
- brez
- potek dela
- deluje
- deluje
- Delavnica
- Delavnice
- pisati
- let
- Vaša rutina za
- zefirnet