Neste post, você aprenderá como usar Mangueira de incêndio de dados do Amazon Kinesis para criar um pipeline de ingestão de logs para enviar Logs de fluxo VPC para Amazon OpenSearch sem servidor. Primeiro, você cria a coleção OpenSearch Serverless que você usa para armazenar logs de fluxo de VPC e, em seguida, cria um pipeline de entrega do Kinesis Data Firehose que encaminha os logs de fluxo para o OpenSearch Serverless. Finalmente, você habilita a entrega de logs de fluxo de VPC para seu fluxo de entrega Firehose. O diagrama a seguir ilustra o fluxo de trabalho da solução.
OpenSearch Serverless é uma nova opção sem servidor oferecida por Serviço Amazon OpenSearch. O OpenSearch Serverless simplifica a execução de cargas de trabalho de pesquisa e análise em escala de petabytes sem a necessidade de configurar, gerenciar ou dimensionar clusters do OpenSearch. O OpenSearch Serverless provisiona e dimensiona automaticamente os recursos subjacentes para fornecer ingestão rápida de dados e respostas de consulta até mesmo para as cargas de trabalho mais exigentes e imprevisíveis.
O Kinesis Data Firehose é um serviço popular que fornece dados de streaming de mais de 20 serviços da AWS para mais de 15 ferramentas analíticas e de observabilidade, como o OpenSearch Serverless. O Kinesis Data Firehose é ótimo para quem procura uma maneira rápida e fácil de enviar seus dados de logs de fluxo de VPC para sua coleção OpenSearch Serverless em minutos, sem uma única linha de código e sem criar ou gerenciar sua própria infraestrutura de ingestão e entrega de dados.
Os logs de fluxo de VPC capturam as informações de tráfego indo e vindo de suas interfaces de rede em seu VPC. Com o lançamento do suporte do Kinesis Data Firehose para OpenSearch Serverless, torna-se uma solução fácil analisar seus logs de fluxo de VPC com apenas alguns cliques. O Kinesis Data Firehose fornece um verdadeiro mecanismo sem servidor de ponta a ponta para entregar seus logs de fluxo ao OpenSearch Serverless, onde você pode usar os painéis do OpenSearch para pesquisar esses logs, criar painéis, detectar anomalias e enviar alertas. Os registros de fluxo de VPC ajudam você a responder a perguntas como:
- Qual porcentagem do seu tráfego está caindo?
- Quanto tráfego está sendo gerado para origens e destinos específicos?
Crie sua coleção sem servidor do OpenSearch
Para começar, você primeiro cria uma coleção. Um OpenSearch Serverless coleção é um agrupamento lógico de um ou mais índices que representam uma carga de trabalho analítica. Conclua as seguintes etapas:
- No console do OpenSearch Service, escolha Coleções para Serverless no painel de navegação.
- Escolha Criar uma coleção.
- Escolha Nome da coleção, insira um nome (por exemplo,
vpc-flow-logs
). - Escolha Tipo de coleção¸ escolher Séries temporais.
- Escolha Criptografia, escolha sua configuração de criptografia preferida:
- Escolha Use a chave de propriedade da AWS para usar uma chave gerenciada pela AWS.
- Escolha uma chave diferente do AWS KMS para usar o seu próprio Serviço de gerenciamento de chaves AWS (AWS KMS).
- Escolha Configurações de acesso à rede, escolha sua configuração preferida:
- Escolha VPC para usar um VPC endpoint.
- Escolha Público para usar um terminal público.
A AWS recomenda que você use um VPC endpoint para todas as cargas de trabalho de produção. Para este passo a passo, selecione Público.
- Escolha Crie.
Deve levar alguns minutos para criar a coleção.
O gráfico a seguir fornece uma demonstração rápida da criação da coleção OpenSearch Serverless por meio das etapas anteriores.
Neste ponto, você criou com sucesso uma coleção para OpenSearch Serverless. Em seguida, você cria um pipeline de entrega para o Kinesis Data Firehose.
Criar um fluxo de entrega do Kinesis Data Firehose
Para configurar um fluxo de entrega para o Kinesis Data Firehose, conclua as seguintes etapas:
- No console Kinesis Data Firehose, escolha Criar fluxo de entrega.
- Escolha fonte, especificamos PUT direto.
Dê uma olhada na Origem, destino e nome para saber mais sobre as diferentes fontes compatíveis com o Kinesis Data Firehose.
- Escolha Destino, escolha Amazon OpenSearch sem servidor.
- Escolha Nome do fluxo de entrega, insira um nome (por exemplo,
vpc-flow-logs
). - Debaixo Configurações de destino, Na Coleção sem servidor do OpenSearch configurações, escolha Procurar.
- Selecionar
vpc-flow-logs
. - Escolha Escolha.
Se sua coleção ainda estiver sendo criada, aguarde alguns minutos e tente novamente.
- Escolha Índice, especificamos
vpc-flow-logs
. - No Configurações de backup seção, selecione Somente dados com falha para o Backup de registro de origem no Amazon S3.
Usos do Kinesis Data Firehose Serviço de armazenamento simples da Amazon (Amazon S3) para fazer backup dos dados com falha que ele tenta entregar ao destino escolhido. Se você deseja manter todos os dados, selecione Todos os dados.
- Escolha Balde de Backup S3, escolha Procurar para selecionar um bucket S3 existente ou escolha Crie para criar um novo balde.
- Escolha Criar fluxo de entrega.
O gráfico a seguir fornece uma demonstração rápida da criação do fluxo de entrega do Kinesis Data Firehose por meio das etapas anteriores.
Neste ponto, você criou com sucesso um fluxo de entrega para Kinesis Data Firehose, que você usará para transmitir dados de seus logs de fluxo de VPC e enviá-los para sua coleção OpenSearch Serverless.
Configure a política de acesso a dados para sua coleção OpenSearch Serverless
Antes de enviar qualquer log para o OpenSearch Serverless, você precisa criar uma política de acesso a dados no OpenSearch Serverless que permita ao Kinesis Data Firehose gravar no vpc-flow-logs
índice em sua coleção. Conclua as seguintes etapas:
- No console do Kinesis Data Firehose, escolha o Configuração na página de detalhes do fluxo de entrega vpc-flow-logs que você acabou de criar.
- No Permissões seção, anote o Gerenciamento de acesso e identidade da AWS (IAM).
- Navegue até a
vpc-flow-logs
página de detalhes da coleção no painel OpenSearch Serverless. - Debaixo Acesso de dados, escolha Gerenciar acesso a dados.
- Escolha Criar política de acesso.
- No Nome e descrição seção, especifique um nome de política de acesso, adicione uma descrição e selecione JSON como o método de definição de política.
- Adicione a seguinte política no editor JSON. Forneça o nome da coleção e o índice que você especificou durante a criação do fluxo de entrega na política. Forneça o nome da função do IAM obtido na página de permissões do fluxo de entrega do Firehose e o ID da sua conta da AWS.
- Escolha Crie.
O gráfico a seguir fornece uma demonstração rápida da criação da política de acesso a dados por meio das etapas anteriores.
Configurar registros de fluxo de VPC
Na etapa final desta postagem, você habilita logs de fluxo para sua VPC com o destino como Kinesis Data Firehose, que envia os dados para o OpenSearch Serverless.
- Navegue até a Console de gerenciamento da AWS.
- Pesquise por “VPC” e escolha Suas VPCs no resultado da pesquisa (passe o mouse sobre o VPC retângulo para revelar o link).
- Escolha o ID VPC link para um de seus VPCs.
- No Registros de Fluxo guia, escolha Criar registro de fluxo.
- Escolha Nome, Insira o nome.
- Deixe o filtros definido para Todos os Produtos. Você pode limitar o tráfego selecionando ACEITAR or Rejeitar.
- Debaixo Destino, selecione Enviar para Kinesis Firehose na mesma conta.
- Escolha Nome do fluxo de entrega do Kinesis Firehose, escolha
vpc-flow-logs
. - Escolha Criar registro de fluxo.
O gráfico a seguir fornece uma demonstração rápida de como criar um log de fluxo para sua VPC seguindo as etapas anteriores.
Examine os dados de logs de fluxo de VPC em sua coleção usando painéis OpenSearch
Você não poderá acessar seus dados de coleta até configurar o acesso aos dados. Políticas de acesso a dados permitir que os usuários acessem os dados reais dentro de uma coleção.
Para criar uma política de acesso a dados para painéis do OpenSearch, conclua as seguintes etapas:
- Navegue até a
vpc-flow-logs
página de detalhes da coleção no painel OpenSearch Serverless. - Debaixo Acesso de dados, escolha Gerenciar acesso a dados.
- Escolha Criar política de acesso.
- No Nome e descrição seção, especifique um nome de política de acesso, adicione uma descrição e selecione JSON como o método de definição de política.
- Adicione a seguinte política no editor JSON. Forneça o nome da coleção e o índice que você especificou durante a criação do fluxo de entrega na política. Além disso, forneça o usuário do IAM e o ID da conta da sua conta da AWS. Você precisa ter certeza de que tem o Acesso AWS e chaves secretas para o principal que você especificou como um usuário do IAM.
- Escolha Crie.
- Navegue até OpenSearch Serverless e escolha a coleção que você criou (
vpc-flow-logs
). - Escolha o URL dos painéis do OpenSearch e faça login com sua chave de acesso IAM e chave secreta para o usuário especificado em
Principal
. - Navegue até as ferramentas de desenvolvimento nos painéis do OpenSearch e execute a seguinte consulta para recuperar os logs de fluxo da VPC para sua VPC:
A consulta retorna os dados conforme mostrado na captura de tela a seguir, que contém informações como ID da conta, ID da interface, endereço IP de origem, endereço IP de destino e muito mais.
Crie painéis
Depois que os dados estiverem fluindo para o OpenSearch Serverless, você poderá criar facilmente painéis para monitorar a atividade em seu VPC. O painel de exemplo a seguir mostra o tráfego geral, o tráfego aceito e rejeitado, os bytes transmitidos e alguns gráficos com as principais origens e destinos.
limpar
Se você não quiser continuar usando a solução, certifique-se de excluir os recursos que você criou:
- Retorne ao console AWS e na seção VPCs, desabilite os logs de fluxo para sua VPC.
- No painel do OpenSearch Serverless, exclua seu
vpc-flow-logs
coleção. - No console do Kinesis Data Firehose, exclua seu
vpc-flow-logs
fluxo de entrega.
Conclusão
Nesta postagem, você criou um pipeline sem servidor de ponta a ponta para entregar seus logs de fluxo de VPC ao OpenSearch Serverless usando o Kinesis Data Firehose. Neste exemplo, você criou um pipeline de entrega para seus logs de fluxo de VPC, mas também pode usar o Kinesis Data Firehose para enviar logs de Fluxos de dados do Amazon Kinesis e Amazon CloudWatch, que por sua vez pode ser enviado para coleções OpenSearch Serverless para execução de análises nesses logs. Com soluções sem servidor na AWS, você pode se concentrar no desenvolvimento de aplicativos em vez de se preocupar com o pipeline de ingestão e as ferramentas para visualizar seus logs.
Experimente o OpenSearch Serverless usando o Conceitos básicos do Amazon OpenSearch Serverless workshop e confira outros pipelines para analisar seus logs.
Se você tiver comentários sobre esta postagem, compartilhe-os na seção de comentários. Se você tiver dúvidas sobre esta postagem, inicie um novo tópico no Fórum do Amazon OpenSearch Service or entre em contato com o suporte da AWS.
Sobre os autores
Jon Handler (@_searchgeek) é arquiteto principal de soluções na Amazon Web Services com sede em Palo Alto, CA. Jon trabalha em estreita colaboração com as equipes CloudSearch e Elasticsearch, fornecendo ajuda e orientação para uma ampla gama de clientes que têm cargas de trabalho de pesquisa que desejam mover para a Nuvem AWS. Antes de ingressar na AWS, a carreira de Jon como desenvolvedor de software incluiu quatro anos de codificação de um mecanismo de pesquisa de comércio eletrônico em larga escala.
Prashant Agrawal é Arquiteto de Soluções Especialista em Pesquisa Sênior no Amazon OpenSearch Service. Ele trabalha em estreita colaboração com os clientes para ajudá-los a migrar suas cargas de trabalho para a nuvem e ajuda os clientes existentes a ajustar seus clusters para obter melhor desempenho e economizar custos. Antes de ingressar na AWS, ele ajudou vários clientes a usar o OpenSearch e o Elasticsearch para seus casos de uso de pesquisa e análise de log. Quando não está trabalhando, você pode encontrá-lo viajando e explorando novos lugares. Resumindo, ele gosta de fazer Comer → Viajar → Repetir.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/serverless-logging-with-amazon-opensearch-serverless-and-amazon-kinesis-data-firehose/
- 1
- 10
- 100
- 7
- a
- Capaz
- Sobre
- Acesso
- Conta
- Alcançar
- atividade
- Adicionalmente
- endereço
- Todos os Produtos
- permite
- Amazon
- Amazon Kinesis
- Amazon Web Services
- Análises
- analítica
- analisar
- análise
- e
- responder
- Aplicação
- Desenvolvimento de Aplicações
- Tentativas
- automaticamente
- AWS
- em caminho duplo
- backup
- baseado
- antes
- Melhor
- amplo
- construir
- Prédio
- construído
- CA
- capturar
- Oportunidades
- casos
- charts
- verificar
- Escolha
- escolhido
- de perto
- Na nuvem
- código
- Codificação
- coleção
- coleções
- comentários
- completar
- cônsul
- contém
- continuar
- Custo
- Casal
- crio
- criado
- Criar
- criação
- Clientes
- painel de instrumentos
- dados,
- acesso a dados
- entregar
- entrega
- Entrega
- exigente
- descrição
- destino
- destinos
- detalhes
- Dev
- Developer
- Desenvolvimento
- diferente
- fazer
- não
- down
- desistiu
- durante
- facilmente
- comer
- Loja virtual
- editor
- ElasticSearch
- permitir
- criptografia
- end-to-end
- Ponto final
- Motor
- Entrar
- Éter (ETH)
- Mesmo
- exemplo
- existente
- Explorando
- fracassado
- RÁPIDO
- retornos
- poucos
- final
- Finalmente
- Encontre
- Primeiro nome
- fluxo
- Fluindo
- Foco
- seguinte
- da
- gerado
- ter
- obtendo
- gif
- dá
- vai
- ótimo
- mãos em
- ter
- ajudar
- ajudou
- ajuda
- pairar
- Como funciona o dobrador de carta de canal
- HTML
- HTTPS
- IAM
- Dados de identificação:
- in
- incluído
- índice
- índices
- INFORMAÇÕES
- Infraestrutura
- Interface
- interfaces de
- IP
- Endereço IP
- IT
- juntando
- json
- Guarda
- Chave
- Mangueira de dados Kinesis
- em grande escala
- lançamento
- APRENDER
- LIMITE
- Line
- LINK
- procurando
- fazer
- FAZ
- gerencia
- gerenciados
- de grupos
- gestão
- mecanismo
- método
- migrado
- minutos
- Monitore
- mais
- a maioria
- mover
- nome
- Navegação
- você merece...
- rede
- Novo
- Próximo
- oferecido
- ONE
- Opção
- Outros
- global
- próprio
- propriedade
- Palo Alto
- pão
- percentagem
- atuação
- permissão
- permissões
- oleoduto
- Locais
- platão
- Inteligência de Dados Platão
- PlatãoData
- ponto
- Privacidade
- Popular
- Publique
- preferido
- Diretor
- Prévio
- Produção
- fornecer
- fornece
- fornecendo
- público
- Frequentes
- Links
- alcance
- recomenda
- registro
- repetir
- representar
- recurso
- Recursos
- resultar
- Retorna
- revelar
- Tipo
- regras
- Execute
- corrida
- mesmo
- Salvar
- Escala
- Escalas
- Pesquisar
- motor de busca
- Segredo
- Seção
- selecionando
- Serverless
- serviço
- Serviços
- conjunto
- contexto
- Configurações
- Partilhar
- Baixo
- rede de apoio social
- mostrando
- Shows
- simples
- solteiro
- Software
- solução
- Soluções
- alguns
- fonte
- Fontes
- especialista
- específico
- especificada
- começo
- começado
- Passo
- Passos
- Ainda
- armazenamento
- loja
- transmitir canais
- de streaming
- entraram com sucesso
- tal
- ajuda
- Suportado
- Tire
- tomar
- equipes
- A
- deles
- Através da
- para
- ferramentas
- topo
- tráfego
- viagens
- Viagens
- verdadeiro
- VIRAR
- para
- subjacente
- imprevisível
- URL
- usar
- Utilizador
- usuários
- vário
- via
- visualizar
- esperar
- Passo a passo
- web
- serviços web
- qual
- QUEM
- precisarão
- dentro
- sem
- de gestão de documentos
- trabalhar
- trabalho
- oficina
- Workshops
- escrever
- anos
- investimentos
- zefirnet