La plataforma de gestión de datos de Bigeye cuenta con una herramienta de validación rápida de conjuntos de datos

La plataforma de datos Bigeye ha lanzado Deltas, una nueva función que permite a los equipos de datos comparar y validar automáticamente conjuntos de datos. Deltas reemplaza las consultas SQL, la coincidencia manual de hojas de cálculo y los scripts de Python únicos con comparaciones automáticas y validación instantánea. Esto agrega velocidad y confiabilidad a partes clave del proceso de administración de datos, ya sea migrando datos a la nube (o entre nubes), replicando datos o promoviendo datos desde la etapa de pruebas hasta la producción.

Los fundadores de Bigeye, Kyle Kirwan y Egor Gryaznov, administraron el primer almacén de datos de Uber para informes y análisis de datos. Kirwan y Gryaznov cambiaron a Bigeye en 2019 con la intención de resolver lo que observaron que era un problema de toda la industria: la confiabilidad de los datos.

Al mover datos, pueden ocurrir todo tipo de problemas, incluida la importación retrasada, registros eliminados o duplicados y valores mutados. Comparar conjuntos de datos es un paso crucial para muchos proyectos de ingeniería de datos, pero a menudo es difícil y requiere mucho tiempo debido a la necesidad de consultas SQL personalizadas, hojas de cálculo complejas y gastos generales, o scripts Python personalizados.

“Diseñamos Bigeye como un marco extensible, que nos permite aplicar la observabilidad de datos a todo tipo de casos de uso interesantes. Comenzamos permitiendo que los equipos de datos detecten automáticamente la calidad de los datos y los problemas de flujo de datos. Ahora, con Deltas, los clientes pueden comparar y validar fácilmente conjuntos de datos ”, dijo Gryaznov.

La comparación de datos precisa significa una migración de datos precisa

Udacity, una empresa estadounidense con fines de lucro que ofrece cursos en línea, utiliza Bigeye para automatizar el monitoreo y la detección de anomalías y crear SLA para garantizar la calidad de los datos y las canalizaciones de datos confiables. “Udacity tiene una sólida cultura de datos y tenemos cientos de conjuntos de datos con nuevas incorporaciones y mejoras que se publican semanalmente. La capacidad de comparar automáticamente conjuntos de datos antes de pasarlos a producción permite a nuestro equipo aplicar las mejores prácticas de ingeniería de software, tener más confianza en nuestros datos, identificar problemas que de otra manera no se nos habrían escapado y acelerar nuestro proceso de desarrollo “. gerente de ingeniería en Udacity.

Los usuarios de patudo ahora pueden identificar discrepancias incluso entre conjuntos de datos complejos en segundos. Deltas utiliza la generación de consultas en tiempo de ejecución de Bigeye para aplicar la misma configuración de observabilidad a ambos conjuntos de datos, independientemente de los dialectos SQL de sus fuentes, y detecta las diferencias entre ellos. Bigeye promete que Deltas alertará a los clientes de cualquier problema que ocurra al mover datos de A a B.

La demanda del mercado de una gestión de datos segura

Después de anunciar el 23 de septiembre que Bigeye cerró una ronda de Serie B de $ 45 millones liderada por Coatue, la compañía no perdió tiempo en demostrar su valía. Bigeye ahora ofrece validación instantánea de conjuntos de datos además de sus otros productos complementarios: métricas automáticas, umbrales automáticos e integraciones. ¿La confiabilidad combinada con la velocidad le dará a Bigeye una ventaja sobre otras plataformas de observabilidad de datos? MonteCarlo ofrece análisis operativo y WhyLabs parece estar posicionándose para allanar el camino para la innovación de IA en la observabilidad de datos. Sin embargo, empresas como Instacart, Clubhouse y Udacity están eligiendo Bigeye para automatizar el monitoreo y la detección de anomalías y crear SLA para garantizar la calidad de los datos y las canalizaciones de datos confiables.

Deltas amplía la plataforma de observabilidad de datos de Bigeye al simplificar el mapeo de una fuente y un destino, aplica de manera inteligente métricas de calidad de datos y detecta rápidamente desviaciones y discrepancias. Gryaznov agregó: “Esperamos permitir flujos de trabajo de usuario más innovadores a través de la observabilidad de datos en un futuro próximo”.