Las inversiones en la gestión de datos a menudo tropiezan, según los resultados de la encuesta.

La mayoría de las inversiones realizadas hasta ahora en plataformas de gestión de datos no han sido dinero bien gastado, según un Data Value Scorecard publicado hoy por la plataforma de lago de datos Dremio.

El cuadro de mando encuentra que solo el 22% de los líderes de datos encuestados dijeron que han obtenido un retorno de la inversión (ROI) en la gestión de datos durante los últimos dos años.

Potencialmente más preocupante, más de la mitad de los encuestados (56%) admitió que cuando se trata de la gestión de datos, no tienen una forma real de medir el ROI de manera consistente. El cuadro de mando se basa en una encuesta a 500 líderes de datos y análisis en organizaciones de TI corporativas en los EE. UU., Reino Unido, Alemania, Dinamarca, Suecia, Noruega, Australia, Hong Kong y Singapur.

Acceso a los datos

La encuesta, en colaboración con Wakefield Research, encuentra que más de las tres cuartas partes de los encuestados (76%) están atrapados actualmente en al menos un sistema cerrado. Estas plataformas patentadas también dificultan que los analistas accedan a todos los datos potencialmente relevantes que necesitan de manera oportuna, señaló BillyBosworth, CEO de Dremio.

El ochenta y cuatro por ciento de los líderes de datos encuestados dijeron que es común que los analistas de datos de su empresa trabajen con un conjunto de datos parcial. Solo el 16% dijo que espera que su plataforma de gestión de datos haga que los nuevos datos estén disponibles en horas o minutos. Más de la mitad (51%) dijo que la organización tarda semanas en actualizar los datos almacenados en la plataforma actual. Este problema es particularmente problemático porque la mayoría de los procesos comerciales digitales tienen que suceder casi en tiempo real, agregó Bosworth.

El 79% de los encuestados también expresó su preocupación por el nivel de escala que se puede lograr utilizando sus plataformas actuales.

Problemas de manejo

Finalmente, la encuesta deja en claro que las organizaciones están luchando con la gestión de datos. Los encuestados, en promedio, dijeron que hacen 12 copias de sus datos para asegurarse de que estén disponibles para todos los usuarios. El 60% dice que su empresa tiene más de 10 copias de esos datos. Hasta el 82% dijo que sus usuarios finales estaban usando versiones inconsistentes del mismo conjunto de datos al mismo tiempo debido a los complejos procesos de carga de transformación y extracción (ETL) requeridos para mover datos a una plataforma de administración de datos.

En general, el cuadro de mando sugiere que solo alrededor del 20% de las organizaciones gestionan con éxito sus datos, y el 28% de los encuestados dice que es “muy fácil” para los usuarios finales acceder a los datos y desarrollar conocimientos. Solo el 20% dijo que los plazos para los proyectos ETL “rara vez o nunca” se subestiman, mientras que un porcentaje igual dijo que su empresa tiene “pocas o ninguna” restricciones sobre el acceso a los datos para la gobernanza.

El hecho de que muchas organizaciones manejen datos mal administrados es uno de los pequeños secretos sucios que a los líderes de TI corporativos no les gusta reconocer. La mayoría de los datos se crean en el contexto de una aplicación utilizada dentro de una línea de negocio. Los datos creados por cada una de estas aplicaciones suelen ser contradictorios e incoherentes. Este problema ahora está llegando a un punto crítico a medida que las iniciativas de transformación empresarial digital que se basan en análisis e inteligencia artificial (IA) requieren acceso a datos confiables para automatizar con precisión un proceso.

Limpiar este desorden crea una oportunidad para que los equipos de TI centralizados se vuelvan más relevantes. Ninguna línea de unidad de negocios puede agregar todos los datos necesarios para impulsar un proceso digital por sí sola, señaló Bosworth. “La mayoría de las organizaciones han llegado a esta conclusión”, dijo.

Almacén de datos

Dremio busca reemplazar los almacenes de datos que se ejecutan en las instalaciones o en la nube con un lago de datos que aprovecha el almacenamiento en la nube rentable para hacer que los petabytes de datos estén disponibles a través de consultas SQL. Bosworth sostiene que a medida que se almacenan más datos en la nube, las organizaciones de TI deben administrar los datos de forma completamente independiente tanto de las aplicaciones utilizadas para crearlos como de la infraestructura utilizada para almacenarlos.

Lograr esto se vuelve más fácil cuando los datos se almacenan, por ejemplo, en un servicio de almacenamiento en la nube abierta que permite a las organizaciones de TI aprovechar una plataforma de lago de datos administrada centralmente para identificar y administrar datos de manera más consistente, dijo Bosworth.

Esta no es la primera vez que las personas abogan por el uso de lagos de datos como alternativa a los almacenes de datos. Muchas organizaciones han intentado construir lagos de datos basados ​​en plataformas Hadoop de código abierto. Pero estos esfuerzos a menudo condujeron a la creación de pantanos de datos, simplemente porque las organizaciones carecían de las herramientas y los procesos para administrar de manera efectiva terabytes de datos. Como resultado, muchas organizaciones en la actualidad a menudo se muestran reacias a lanzar otra iniciativa de lago de datos.

En términos de madurez general de la gestión de datos, no hay dos organizaciones empresariales de TI iguales. Sin embargo, es cada vez más evidente que la capacidad de cualquier organización para competir en un mundo que depende de los procesos digitales dependerá de la capacidad de gestionar los datos que impulsan esos procesos.