por Contenidos
Para fortalecer aún más nuestro compromiso de brindar una cobertura de tecnología de datos líder en la industria, VentureBeat se complace en dar la bienvenida a Andrew Brust como colaborador habitual. Echa un vistazo a sus artículos en la canalización de datos.
Hewlett Packard Enterprise (HPE) anunció hoy que adquirió al proveedor privado de código abierto Pachyderm para impulsar las capacidades de desarrollo de inteligencia artificial (IA) y permitir la reproducción de la IA a escala.
Pachyderm, con sede en San Francisco, se fundó en 2014 y hasta la fecha había recaudado $28 millones en fondos. Los términos financieros de la adquisición no han sido revelados públicamente.
Pachyderm desarrolla una tecnología basada en código abierto para canalizaciones de datos que se utilizan para permitir flujos de trabajo de operaciones de aprendizaje automático (ML). Con Pachyderm, los usuarios también pueden definir la transformación de datos sobre cómo se deben manipular y configurar los datos de origen para optimizarlos para la IA. Todo el enfoque de canalización de datos está configurado para ser fácilmente reproducible, lo que facilita que los científicos de datos comprendan cómo se recopilan y utilizan los datos que fluyen hacia un modelo.
Pachyderm se integrará con el sistema de desarrollo ML de HPE
La tecnología Pachyderm se integrará en el Sistema de desarrollo de aprendizaje automático de HPE, un conjunto de aplicaciones que ayuda a las empresas a crear aplicaciones de IA. La tecnología detrás del sistema de desarrollo de aprendizaje automático de HPE se adquirió mediante la adquisición de Determined AI en 2021.
Evento
Cumbre de seguridad inteligente bajo demanda
Conozca el papel fundamental de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.
Mira aquí
“Pachyderm ha sido nuestro socio durante algún tiempo y lo vimos regularmente como una tecnología complementaria en las interacciones con los clientes”, dijo a VentureBeat Evan Sparks, director de producto para IA en HPE (y ex cofundador de Determined AI). “Nos enfocamos en entrenar los modelos de IA, y Pachyderm se enfoca en la pieza de datos, la parte que viene antes del entrenamiento del modelo con la preparación y ejecución de datos de manera reproducible”.
El desafío de la reproducibilidad de la IA
La cuestión de la IA explicable ha sido un tema candente en los últimos años.
La idea básica detrás de la IA explicable es no tener una “caja negra” que solo calcule los resultados sin que nadie pueda entender o explicar cómo se lograron los resultados. Garantizar que no haya sesgos es un objetivo clave de la IA explicable, al igual que la equidad.
Un componente central para permitir una IA explicable es tener una IA reproducible. El concepto de IA reproducible es tener un conjunto consistentemente repetible de recopilación de datos, construcción de modelos y pasos de inferencia.
“Nuestros clientes son personas que buscan implementar IA a escala para casos de uso de producción real, para todo, desde la suscripción de seguros hasta los automóviles autónomos y el descubrimiento de fármacos que se utilizarán para salvar vidas”, dijo Sparks. . “Este tipo de casos de uso tienen consecuencias financieras realmente grandes o, en algunos casos, son de vida o muerte”.
Con esas consecuencias en mente, Sparks dijo que las empresas realmente quieren mucha confianza detrás de los modelos que están implementando. Una piedra angular de la confianza es saber que si una organización toma los mismos datos, con el mismo modelo, podrá generar el mismo resultado.
Con Pachyderm, Sparks dijo que el objetivo es asegurarse de que la canalización de datos (cómo los datos provienen de una fuente y llegan a un modelo) sea consistente y reproducible. Señaló que la tecnología de Pachyderm por sí sola no es suficiente para un enfoque de IA integral y explicable, que también requiere capacidades para la prueba de modelos. Sparks dijo que HPE está trabajando con varias tecnologías de socios diferentes para ayudar a respaldar las capacidades de IA explicables para el modelo en sí.
Cómo funciona Pachyderm para permitir una IA reproducible
La tecnología Pachyderm tiene una serie de capacidades diferentes que ayudan a respaldar los esfuerzos de IA reproducibles.
Sparks dijo que Pachyderm proporciona rastreo de linaje de datos, que es la capacidad de rastrear de dónde provienen los datos. La tecnología también proporciona capacidades de control de versiones de datos que permiten a los científicos de datos comprender y administrar diferentes versiones de datos.
Lo que llamó la atención de Sparks en particular sobre la tecnología Pachyderm es su capacidad para transformar datos de una manera que sea útil para la IA. Explicó que algunos casos de uso pueden requerir un modelo de IA para combinar datos de múltiples fuentes.
Por ejemplo, una empresa de vehículos autónomos tendrá datos de visión por computadora de las cámaras de los automóviles y datos LIDAR (detección de luz y detección de distancia). Esos datos probablemente residen en dos lugares diferentes y vienen en diferentes formatos. Para que los modelos de aprendizaje automático hagan su trabajo, debe combinar estos datos antes de entrenar el modelo. Ese tipo de transformación compleja es una que Pachyderm podría ayudar a habilitar en un enfoque reproducible.
Mirando hacia el futuro, Sparks dijo que el objetivo general de la cartera de productos de IA de HPE es habilitar una plataforma integral para desarrollar e implementar modelos a escala.
“Estamos analizando cómo crear una oferta integral en torno a la IA a escala y cómo debería ser”, dijo Sparks. “Pachyderm es una pieza muy complementaria a esta visión general de cartera del mundo”.
La misión de VentureBeat debe ser una plaza de la ciudad digital para que los tomadores de decisiones técnicas obtengan información sobre la tecnología y las transacciones comerciales transformadoras. Descubre nuestras sesiones informativas.
