abril 13, 2024

Adopción de AutoML: hagamos una verificación de la realidad

Vea todas las sesiones bajo demanda de la Cumbre de Seguridad Inteligente aquí.


No hay cura para el Alzheimer. Pero, ¿y si pudiéramos encontrar una forma de detectarlo con antelación? La pregunta intrigó a los científicos de Imagia, quienes luego utilizaron el aprendizaje automático automático de Google (AutoML) para reducir el tiempo de procesamiento de la prueba de 16 horas a una hora. PayPal ha experimentado beneficios similares. En 2018, con AutoML de H2O, PayPal aumentó la precisión de su modelo de detección de fraude en un 6 % y aceleró seis veces el proceso de desarrollo del modelo.

Historias de éxito como estas han inspirado a aproximadamente el 61 % de los responsables de la toma de decisiones en empresas que utilizan inteligencia artificial (IA) para adoptar AutoML. Su adopción solo aumentará, ya que puede mitigar, en gran medida, los problemas causados ​​por la falta de científicos de datos. Además, la capacidad de AutoML para mejorar la escalabilidad y aumentar la productividad está destinada a atraer clientes.

Pero, ¿significa esto que la adopción de AutoML se ha vuelto imprescindible? Bueno, este es un enigma al que se enfrentan la mayoría de las empresas en este momento y mirar casos reales podría ser una solución.

Como ingeniero de software sénior, he trabajado con varias empresas emergentes en las que la inteligencia artificial ha jugado un papel fundamental. He visto los pros y los contras y el impacto en el negocio. Pero antes de entrar en los casos de uso, primero establezcamos qué es AutoML, su estado actual y lo que puede y no puede hacer.

Evento

Cumbre de seguridad inteligente bajo demanda

Conozca el papel fundamental de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.

Mira aquí

¿Qué es AutoML?

AutoML (aprendizaje automático automático) es la capacidad de un sistema para decidir automáticamente sobre el modelo correcto y establecer parámetros para proporcionar el mejor modelo posible. Solo me centraré en las redes neuronales profundas en este artículo.

En las redes neuronales profundas, encontrar la arquitectura correcta siempre es un gran desafío. Por arquitectura me refiero a los bloques básicos (por ejemplo, para el reconocimiento de imágenes, los bloques básicos serían una agrupación máxima de 3X3, una convolución de 3X1, etc.) y la interconexión entre ellos para múltiples capas ocultas.

La investigación de arquitectura neuronal (NAS) es una técnica para automatizar el diseño de redes neuronales profundas. Se utiliza para diseñar redes que están a la par o pueden superar las arquitecturas diseñadas a mano. Pero tenemos que capacitar a una gran cantidad de redes candidatas como parte del proceso de investigación para encontrar la arquitectura adecuada, lo que lleva tiempo.

El estado actual de las plataformas disponibles

El NAS juega un papel vital en la formación del marco AutoML para Amazon Web Services (AWS) y Google Cloud Platform (GCP). Pero AutoML aún está en pañales y estas plataformas están evolucionando. Hablemos de estos dos marcos populares de AutoML.

Flujo de aprendizaje automático automatizado. Imagen por autor

AutoML de GCP

GCP AutoML tiene NAS e impulsa el aprendizaje en él. NAS busca la arquitectura óptima de un conjunto de arquitecturas en función de los resultados de capacitación anteriores. Inicialmente, los algoritmos de aprendizaje por refuerzo se utilizaron para la investigación en arquitectura.

Sin embargo, estos algoritmos tienden a ser computacionalmente costosos debido al gran espacio de búsqueda. Recientemente, ha habido un cambio de paradigma hacia el desarrollo de métodos basados ​​en gradientes que han mostrado resultados prometedores. Pero lo que sucede dentro de GCP AutoML aún no está tan claro y es más una solución de caja negra.

Piloto automático de AWS

El concepto principal de AWS Autopilot es proporcionar una solución AutoML configurable. Se exponen todos los detalles del ciclo de aprendizaje automático, desde la transformación de datos hasta el entrenamiento de modelos y el ajuste de hiperparámetros. A diferencia de GCP AutoML, AWS Autopilot es una solución de caja blanca.

AWS Autopilot utiliza varias estrategias para canalizaciones de datos y aprendizaje automático (ML). Algunas de estas estrategias se basan en declaraciones if-else sugeridas por expertos en dominios; otras estrategias dependen de elegir los hiperparámetros correctos (es decir, tasa de aprendizaje, parámetro de sobreajuste, tamaño de incrustación) para la canalización.

Qué puede hacer AutoML y qué no puede hacer

A veces, la gente dice que AutoML es el santo grial de AI/ML, una opinión que no comparto. Así que continuemos:

Qué puede hacer él lo que no puede hacer
Transformación de datos Se ocupa del preprocesamiento y transformación de datos. Identifica variables numéricas y categóricas y puede manejarlas. Puede cometer errores, como identificar erróneamente características numéricas en datos con baja cardinalidad como una característica categórica. No puede simplemente volcar los datos y asumir que funcionará sin problemas.
Extracción de características Saca características hasta cierto punto. En los modelos dependientes del dominio, se requiere la extracción de características. Dominar el conocimiento del dominio sigue siendo un problema.
Modelado y puesta a punto Identificar los mejores hiperparámetros. Puede hacer una búsqueda de la mejor arquitectura. AutoML no puede funcionar con una pequeña cantidad de datos, ya que existe una restricción mínima de puntos de datos. Es excesivo para problemas simples en los que usamos regresión lineal o algún modelo básico. Es una tarea que requiere mucho tiempo y puede generar altos costos tanto para problemas simples como para problemas con una gran cantidad de datos.

Permítanme compartir algunos conocimientos experimentales, con ejemplos de la vida real, para profundizar en dónde AutoML fue la opción adecuada y dónde no funcionó.

Caso de uso 1: Medición del desempeño de un concesionario automotriz

Tuvimos que generar una métrica para evaluar el rendimiento de un comerciante con gigabytes de datos históricos, como ventas anteriores, datos de censos, datos religiosos y datos geográficos. Usamos AutoML y obtuvimos un rendimiento similar al humano.

Sin embargo, necesitábamos un científico de datos para realizar el preprocesamiento de datos, la ingeniería de características y la transformación. Le tomó mucho trabajo a AutoML descubrir cuáles eran los datos importantes en nuestras columnas de datos, ya que había miles de columnas. Incluso un experimento podría haber incurrido en enormes costos y desperdiciado un tiempo precioso.

Caso de uso 2: Pronóstico de alquiler de propiedades

Necesitábamos desarrollar una herramienta para predecir el alquiler de la propiedad, pero AutoML no funcionó bien porque el mercado inmobiliario tiene mucha información localizada (a nivel estatal). De hecho, nuestros intentos fallaron con un modelo por región ya que no tenía suficientes datos (menos de 500 puntos de datos) para aprender la arquitectura. Un tipo de modelo XGBoost simple con funcionalidad reducida funcionó bien en comparación con AutoML.

En los estados donde los datos eran lo suficientemente buenos para AutoML, nuestro modelo de predicción funcionó mejor que la solución interna.

Caso de uso 3: predicción de rating de TV

En el caso de la predicción del rating televisivo, sucedió lo mismo. AutoML no pudo capturar el comportamiento basado en la zona horaria en varios canales. Por ejemplo, NICK es para niños; la mayoría de los niños ven programas por la tarde y los adultos ven principalmente MTV y tienen una audiencia máxima por la noche. Este es solo un modelo simple, pero AutoML no pudo capturar múltiples modelos de múltiples categorías en un solo modelo.

¿AutoML realmente reemplazará a DS?

Desde mi experiencia en el campo, diría “No”. AutoML no puede reemplazar directamente a los científicos de datos. Pero puede ser una herramienta útil para los científicos de datos.

¿Dónde debemos usar AutoML?

La probabilidad de que AutoML funcione bien sin ninguna interferencia humana es mayor en escenarios donde los problemas se conocen en la literatura. En casos como la detección de objetos genéricos o la clasificación de imágenes, puede usar AutoML, ya que ya están optimizados con una gran cantidad de datos. También puede ayudarlo a desarrollar pruebas de concepto rápidas, que pueden proporcionar o no un rendimiento razonable.

¿Dónde no deberíamos usar AutoML?

A veces, necesitamos una ingeniería de características simple con un modelo de regresión lineal simple para proyectos reales de ML. AutoML puede incurrir en costos más altos en tales casos, ya que no es compatible con la ingeniería de características. Internamente, utiliza una red neuronal profunda, lo que significa que hay algo de ingeniería de características, pero requerirá una gran cantidad de datos para eso. Además, es caro cuando lo comparas con el enfoque básico. Y será necesario mejorar el rendimiento del modelo seleccionado por AutoML.

Los escenarios en los que el problema es muy específico del dominio y requiere algún conocimiento del dominio también pueden fallar con AutoML. Estos son los escenarios en los que debemos usar AutoML y en los que debemos evitarlo:

AutoML modelo personalizado
Seguridad y privacidad Tiene un problema de seguridad porque tenemos que subir los datos a la nube. Eso es seguro. También podemos entrenar modelos personalizados en nuestras propias máquinas.
Problema específico del dominio AutoML no funciona para problemas específicos. Podemos entrenar el modelo para problemas específicos de dominio.
bono de equilibrio AutoML es costoso en muchos casos como la regresión lineal. Su presupuesto depende de los requerimientos.
Menos datos AutoML tiene un requisito mínimo de datos. Puede afectar el rendimiento, pero no existe tal restricción.
tiempo de mercado Usando AutoML podemos completar la tarea rápidamente. Tenemos que configurar una canalización en este caso, lo que lleva tiempo.
Edición estándar Para problemas estándar, AutoML puede completarse rápidamente. Los modelos personalizados tardarán más en encontrar la arquitectura óptima.
Ingeniería de funciones AutoML no puede ayudar con el diseño de características donde necesitamos conocimiento del dominio para construirlas. Tenemos que trabajar por separado en la ingeniería de características; entonces podemos alimentar AutoML.
Solución Aportará soluciones a partir de enfoques ya conocidos para problemas existentes. Los científicos de datos pueden probar nuevos enfoques que serán muy específicos para la declaración del problema.

Conclusión

AutoML no es una inteligencia general artificial (AGI), lo que significa que no puede definir enunciados de problemas y resolverlos automáticamente. Sin embargo, puede solucionar reclamos de problemas predefinidos si le proporcionamos datos y características relevantes.

El uso de AutoML implica un equilibrio entre la generalización de un problema y el rendimiento de un problema específico. Si AutoML está generalizando su solución, tiene que comprometer el rendimiento de un problema específico (porque la arquitectura de AutoML no está optimizada para ello). Y la solución general no puede ayudar con problemas de dominio específico donde necesitamos un nuevo enfoque para resolverlos.

Alakh Sharma es científico de datos en Talentica Software.

Tomadores de decisiones de datos

¡Bienvenido a la comunidad VentureBeat!

DataDecisionMakers es donde los expertos, incluidos los ingenieros de datos, pueden compartir ideas e innovaciones relacionadas con los datos.

Si desea leer ideas de vanguardia e información actualizada, las mejores prácticas y el futuro de los datos y la tecnología de datos, únase a nosotros en DataDecisionMakers.

¡Incluso podría considerar contribuir con su propio artículo!

Leer más de DataDecisionMakers

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *