Confluent anuncia governança para streaming de dados

No Cimeira de Kafka conferência virtual hoje, patrocinadora do evento e empresa fundada por Apache Kafkacriadores, Junção, está anunciando seu novo pacote Stream Governance para governar dados de streaming em tempo real. O serviço de nuvem gerenciado é, segundo a empresa, a primeira solução desse tipo no mercado e visa trazer governança e proteção aos dados em movimento comparáveis ​​ao que se tornou padrão para dados em repouso.

Metas e pilares

ZDNet conversou com o cofundador e CEO da Confluent, Jay Kreps, que explicou que o Stream Governance visa as duas maiores preocupações das organizações modernas quando se trata de dados: como desbloquear tudo e ainda fazê-lo de uma forma segura e em conformidade com as estruturas industriais e regulatórias de proteção de dados que continuam a aumentar em número.

O Stream Governance concentra-se em três pilares: descoberta, rastreabilidade e qualidade dos dados. A suíte faz isso por meio de seu catálogo de stream, linhagem de stream (retratado na captura de tela no topo desta postagem) e componentes de qualidade de stream, respectivamente. Kreps, da Confluent, afirmou que, devido à forma como o streaming de dados funciona, governá-lo pode ser feito em grande parte de forma automatizada. Com os volumes de dados predominantes hoje, isso é um fato bem-vindo.

Por demanda popular

Kreps afirmou à ZDNet que um grande número de necessidades de governança surge quando os dados são movidos, mas a maioria das principais soluções de governança de dados e catálogo de dados se concentram em dados em repouso. O objetivo do Confluent é preencher essa lacuna e fazê-lo de uma forma que se integre com essas plataformas convencionais. Em outras palavras, o Stream Governance está focado em estabelecer confiança na movimentação de dados em tempo real por toda a empresa e não está tentando substituir plataformas, estruturas e padrões de governança de dados comerciais e de código aberto existentes.

Kreps diz que o conjunto de recursos do Stream Governance é 100% impulsionado pela demanda do cliente, catalisada pelo Regulamento Geral de Proteção de Dados (GDPR) da UE, pela Lei de Proteção ao Consumidor da Califórnia (CCPA) e outras certificações e regulamentações, existentes e emergentes. Também alimentando a demanda dos clientes está o crescimento generalizado nos volumes de dados e o aumento dos casos de uso para a transformação digital dos negócios.

Horizontes mais amplos?

Embora a Confluent pretenda manter o Stream Governance focado no streaming de dados, em certas organizações esse escopo pode não ser restrito. Confluent já anunciou tecnologias como “Armazenamento infinito”em sua plataforma Confluent Cloud, que permite que os tópicos Kafka sirvam como repositórios de dados persistentes, em vez de apenas estradas para a passagem de dados. Com isso em mente, o âmbito de influência da Stream Governance poderia ser realmente amplo, assim como a noção de que todos os conjuntos de dados podem ser vistos como instâncias especiais de fluxos de dados.

Veja também: Confluent anuncia armazenamento infinito para Apache Kafka

Não importa o que aconteça, deixar os fluxos de dados desgovernados, em retrospectiva, é como deixar um computador para fins especiais desprotegido por um firewall. É imprudente, inseguro e anti-higiênico. Governar o streaming de dados é um apoio bem-vindo à noção de que todos os dados devem ser rastreados e protegidos e, ao mesmo tempo, curados, abertos e disponíveis, num contexto gerido.

Fonte: https://www.zdnet.com/article/confluent-announces-governance-for-streaming-data/#ftag=RSSbaffb68