Data Mesh: una parada en el camino hacia una cultura centrada en los datos

Reeditado por Platón

seguidores: 0

El noble esfuerzo por construir una cultura "centrada en los datos" es realmente un viaje, no un destino. Con esa perspectiva, podemos entender que no importa cuán bueno parezca ser un entorno determinado, especialmente en comparación con lo que existía antes, siempre hay espacio para mejorar. A medida que surgen más tecnologías, estrategias y disciplinas, la evolución continua garantiza una mejora constante. Y, por cierto, todavía no estamos ni cerca de la centralidad real de los datos, pero al menos nos estamos acercando. La creciente disciplina en torno a las arquitecturas de malla de datos representa un hito perfecto en esta odisea sin fin. Hay progreso aquí, sin duda, pero es igual de importante seguir mirando hacia el futuro.

La malla de datos ofrece una (relativamente) nuevo enfoque en el sentido de que el enfoque está en los datos en sí, en lugar del lago de datos o los recursos del almacén de datos y las canalizaciones que los mueven y/o almacenan. Esta estrategia se basa en un modelo de datos federados: la arquitectura de datos se organiza para satisfacer las necesidades de diversos dominios comerciales y la propiedad se asigna a equipos específicos del dominio en lugar de a una autoridad central. Con un modelo de malla de datos, los datos son un producto que es más fácilmente accesible para los grupos de interés apropiados, no acaparados por unas pocas partes selectas. Entre otros beneficios, esto facilita el escalado y el análisis dentro de organizaciones más grandes que tienen infraestructuras heterogéneas.

Hay mucho que me gusta de la malla de datos, y con una lente gran angular podemos ver que ilumina el poder de los datos en sí. Ya no es un concepto abstracto o un subproducto de diferentes aplicaciones y otras tecnologías; Usados apropiadamente y con un propósito, los datos brindan verdadero valor al mismo tiempo que impulsan la innovación y la toma de decisiones óptima.

El proceso detrás de estos beneficios también es digno de mención. Lo que es más importante, la noción de descentralización de datos es engañosamente simple y potencialmente revolucionaria. Piense en cómo la consumerización de TI ha cambiado la implementación de la tecnología tradicional: donde los especialistas de TI una vez tomaron todas las decisiones sobre qué herramientas comprar para los profesionales de negocios y dictaron cómo se usaría todo ese hardware y software, ahora esos usuarios finales toman las decisiones. Compran libremente los dispositivos que quieren y descargan las aplicaciones que les gustan, luego esperan a que TI se ponga al día. Esto brinda enormes beneficios (quizás con dolores de cabeza relacionados con la seguridad, la integración y el soporte).

Con la malla de datos estamos viendo un movimiento similar hacia democratización de datos. Cuando los equipos de línea de negocios y otros componentes dentro de la empresa obtienen un acceso sin precedentes, e incluso la propiedad, de los datos comerciales que antes estaban protegidos, acelera la colaboración y permite estrategias personalizadas para resolver problemas comerciales específicos. El acceso a los datos también se vuelve más simple cuando las interfaces y la navegación no solo son fáciles de usar, sino que están en sintonía con las prioridades de funciones específicas, en lugar de tener un enfoque más genérico o de toda la empresa.

Y con suerte, todos también entienden (o deberían entender) que la autonomía trae consigo un nivel saludable de responsabilidad. No es aconsejable una mentalidad del salvaje oeste: cada equipo centrado en el dominio u otro equipo apropiado debe desarrollar estándares para la calidad de los datos, establecer y hacer cumplir las políticas de uso y garantizar el cumplimiento. (Si no, podrían perder el control).

Malla de datos 2.0: verdadera colaboración

Por supuesto, ningún enfoque tecnológico único es una panacea, e incluso las mejores soluciones tienen inconvenientes. La malla de datos no es una excepción.

Por un lado, el elogio de la descentralización debe equilibrarse con la preocupación por la fragmentación. Cuando los datos corporativos, especialmente el material sensible sujeto a mandatos de privacidad y otras regulaciones, se encuentran dispersos en diversos sistemas, bases de datos y formatos, el nivel de complejidad es instantáneamente mayor. Además, no es como si un conjunto de datos en particular siempre perteneciera solo a un distrito electoral en particular; diferentes departamentos a menudo necesitan los mismos datos para diferentes propósitos, en diferentes formatos y bajo diferentes restricciones regulatorias. Incluso cuando el proceso se maneja adecuadamente, puede ser una pesadilla de gobernanza: piense en problemas relacionados con la duplicación, el control de versiones, la integración, la seguridad, la escalabilidad, el mantenimiento y mucho más.

De hecho, toda esta fragmentación puede llevarnos de vuelta a un viejo problema: los silos de datos. Cuando departamentos individuales o equipos multidisciplinarios acumulan sus datos, de la misma manera que los administradores de datos corporativos solían hacerlo con todos los datos internos, socava el espíritu mismo de colaboración y propiedad de los datos.

Nuevamente, los beneficios de la arquitectura descentralizada habilitada por la malla de datos son innegables, y la malla de datos nos acerca a un entorno centrado en datos. Pero todavía estamos muy lejos de ese nirvana.

De hecho, y suena duro decir esto, la malla de datos sigue siendo mucho más potencial que la realidad que casi cuenta como vaporware. Es difícil encontrar casos de uso completos, e incluso las implementaciones exitosas tienen un enfoque relativamente limitado.

Entonces, ¿qué se necesita para que la malla de datos cumpla su promesa? Algunos puntos son bastante básicos pero siguen siendo vitales, y no solo para la malla de datos. Por ejemplo, la alta gerencia (el C-suite, los jefes de LOB, etc.) debe involucrarse y hacer que esa participación sea más visible: la base de empleados de rango y archivo debe ver cómo los ejecutivos toman decisiones basadas en datos. También ayudaría a aumentar la capacitación de los empleados en torno a la alfabetización de datos, porque es difícil lograr un cambio de mentalidad real sin una mejora en los conjuntos de habilidades. Finalmente, incluso con una arquitectura descentralizada, la organización en su conjunto se beneficiará de un gobierno transparente y el establecimiento de estándares en torno a la calidad y la seguridad de los datos.

Pero incluso esto solo nos mueve un poco más. Todavía necesitamos modelos de datos que esencialmente reestructuren todo el ecosistema. Hemos tenido avances de gran alcance en la generación de datos, la difusión de datos, el almacenamiento de datos y más. Sin embargo, cuando se trata de integración de datos, todavía estamos atados a prácticas operativas que no han evolucionado en décadas y que pueden absorber la mitad del presupuesto de TI.

Lo que necesitamos son datos integrados sin integración de datos. Eso nos ayudará a alcanzar la promesa real de un entorno centrado en datos, que es una colaboración basada en datos segura, compatible y rápida. En un universo operativo con volúmenes de datos masivos, un flujo constante de nuevos mandatos y muchas otras presiones, esto ya se está convirtiendo en una necesidad, no en una fantasía lejana.

Tal vez sea hora de mesh-plus. Los datos ya no pueden verse como un elemento clave, como ocurre con la malla de datos; en realidad, debe desvincularse de las aplicaciones y otras tecnologías utilizadas para crearlo y almacenarlo. Al liberar el regalo del envoltorio, podemos establecer los datos como su propia red. A pesar de todos sus otros beneficios, la mayoría de las implementaciones de redes de datos aún no se utilizan para administrar datos de manera operativa y crear productos de datos que estén federados. Esto no está a la vuelta de la esquina, ya se puede lograr con las nuevas tecnologías.

Estos avances también permiten el desarrollo de lo que podemos llamar una plataforma de datos de autoservicio: una puerta de entrada a una colaboración real con el poder de descubrir, acceder, cambiar e incluso generar datos de formas que ahora no podemos hacer. Nuevamente, esto se suma a la arquitectura de malla de datos existente y sin crear nuevos silos. También obtenemos gobierno computacional federado; Al transferir las políticas de gobierno de datos de los propietarios de dominios a los datos mismos, nos aseguramos de que los permisos, controles, reglas y más se mantengan consistentes sin importar cómo se acceda a los datos.

Las tecnologías emergentes que mueven la pelota hacia adelante deben ser bienvenidas, especialmente a medida que nos acercan al objetivo hasta ahora elusivo de una cultura centrada en los datos. La malla de datos está claramente en esa categoría. Sin embargo, un progreso significativo requiere una gran transformación en las prácticas comerciales de larga data y una disposición para aceptar el cambio constante. El esfuerzo realmente vale la pena.