ThatDot acelera el análisis de transmisión de datos con Quine de código abierto

Deja el Boletín empresarial de OSS guiar su viaje de código abierto! Registrate aquí.

ThatDot, una startup con sede en Portland, Oregón, que ofrece una plataforma de procesamiento de eventos complejos (CEP) para capturar el valor total de la transmisión de datos para aplicaciones avanzadas de IA y ML, ha lanzado un software de código abierto para ayudar a los desarrolladores e ingenieros de canalización de datos a crear a gran escala. , flujos de trabajo de procesamiento de eventos en tiempo real.

Con el nombre oficial de Quine, la solución combina la transmisión de eventos y las tecnologías de datos gráficos para conectarse a flujos de datos existentes y crear datos en un gráfico con estado. Luego, analiza este gráfico en busca de “consultas persistentes” especificadas por el usuario y transmite los resultados para desencadenar flujos de trabajo basados ​​en eventos en tiempo real.

Quine acelera el procesamiento

La oferta es la respuesta a los marcos de procesamiento de eventos como Flink. Ryan Wright, el cofundador de ThatDot, señala que estas soluciones de la generación anterior tienen varias limitaciones y requieren mucho tiempo, del orden de meses, y están comprometidas con la creación de arquitecturas complicadas basadas en eventos que solo funcionan en ventanas de datos breves. en la memoria y perder el panorama general.

Quine, por otro lado, usa un puñado de consultas para convertir el tedioso proceso de ingeniería de datos en un trabajo de tarde. Puede eliminar el procesamiento por lotes, las uniones de varios niveles y otros procesos obsoletos y lentos que reducen y bloquean el análisis de la transmisión de datos. De esta manera, los equipos de ingenieros de canalización de datos pueden interpretar fácilmente flujos de datos de eventos de gran volumen, innovar y enviar productos más rápido, y utilizar las herramientas emergentes de Graph AI que impulsan la próxima ola de aprendizaje automático.

La compañía, con sus socios de lanzamiento de acceso anticipado y miembros de la comunidad, también ha creado funciones de aplicación preconstruidas llamadas “recetas” para ayudar a los ingenieros de canalización de datos con múltiples casos de uso de flujo de eventos. Esto incluye la propagación de etiquetas en tiempo real de blockchain para rastrear el lavado de dinero, análisis de eficiencia de caché de CDN para monitorear continuamente los registros de CDN para materializar la eficiencia de caché y generar alertas y observabilidad de eventos de Kubernetes para ingerir eventos de Kubernetes y calcular el estado por componente, pod y servicio para alertas de causa raíz y huellas.

Solicitud anterior

ThatDot creó la solución de gráficos de transmisión de Quine en 2014 y desde entonces la ha aprovechado como parte de su cartera de software. En 2015, Wright también dirigió un equipo de investigadores y desarrolladores en el programa DARPA Transparent Computing y usó Quine para crear nuevas capacidades para encontrar y detener amenazas persistentes avanzadas (APT). Ahora, la compañía lo está llevando a los ingenieros de canalización de datos de todo el mundo.

“La decisión de abrir el gráfico de transmisión de código fuente de Quine subraya la creencia de ThatDot de que el mejor software de infraestructura prospera dentro de una comunidad abierta y diversa de colaboradores y que el software bien hecho disponible de forma gratuita beneficia a todos”, señala la compañía en el sitio web de Quine. También se puede acceder a la solución en GitHub.