Adopción de AutoML: hagamos una verificación de la realidad

No hay cura para el Alzheimer. Pero, ¿y si pudiéramos encontrar una forma de detectarlo con antelación? La pregunta intrigó a los científicos de Imagia, quienes luego utilizaron el aprendizaje automático automático de Google (AutoML) para reducir el tiempo de procesamiento de la prueba de 16 horas a una hora. PayPal ha experimentado beneficios similares. En 2018, con AutoML de H2O, PayPal aumentó la precisión de su modelo de detección de fraude en un 6 % y aceleró seis veces el proceso de desarrollo del modelo.

Historias de éxito como estas han inspirado a aproximadamente el 61 % de los responsables de la toma de decisiones en empresas que utilizan inteligencia artificial (IA) para adoptar AutoML. Su adopción solo aumentará, ya que puede mitigar, en gran medida, los problemas causados ​​por la falta de científicos de datos. Además, la capacidad de AutoML para mejorar la escalabilidad y aumentar la productividad está destinada a atraer clientes.

Pero, ¿significa esto que la adopción de AutoML se ha vuelto imprescindible? Bueno, este es un enigma al que se enfrentan la mayoría de las empresas en este momento y mirar casos reales podría ser una solución.

Como ingeniero de software sénior, he trabajado con varias empresas emergentes en las que la inteligencia artificial ha jugado un papel fundamental. He visto los pros y los contras y el impacto en el negocio. Pero antes de entrar en los casos de uso, primero establezcamos qué es AutoML, su estado actual y lo que puede y no puede hacer.

¿Qué es AutoML?

AutoML (aprendizaje automático automático) es la capacidad de un sistema para decidir automáticamente sobre el modelo correcto y establecer parámetros para proporcionar el mejor modelo posible. Solo me centraré en las redes neuronales profundas en este artículo.

En las redes neuronales profundas, encontrar la arquitectura correcta siempre es un gran desafío. Por arquitectura me refiero a los bloques básicos (por ejemplo, para el reconocimiento de imágenes, los bloques básicos serían una agrupación máxima de 3X3, una convolución de 3X1, etc.) y la interconexión entre ellos para múltiples capas ocultas.

La investigación de arquitectura neuronal (NAS) es una técnica para automatizar el diseño de redes neuronales profundas. Se utiliza para diseñar redes que están a la par o pueden superar las arquitecturas diseñadas a mano. Pero tenemos que capacitar a una gran cantidad de redes candidatas como parte del proceso de investigación para encontrar la arquitectura adecuada, lo que lleva tiempo.

El estado actual de las plataformas disponibles

El NAS juega un papel vital en la formación del marco AutoML para Amazon Web Services (AWS) y Google Cloud Platform (GCP). Pero AutoML aún está en pañales y estas plataformas están evolucionando. Hablemos de estos dos marcos populares de AutoML.

AutoML de GCP

GCP AutoML tiene NAS e impulsa el aprendizaje en él. NAS busca la arquitectura óptima de un conjunto de arquitecturas en función de los resultados de capacitación anteriores. Inicialmente, los algoritmos de aprendizaje por refuerzo se utilizaron para la investigación en arquitectura.

Sin embargo, estos algoritmos tienden a ser computacionalmente costosos debido al gran espacio de búsqueda. Recientemente, ha habido un cambio de paradigma hacia el desarrollo de métodos basados ​​en gradientes que han mostrado resultados prometedores. Pero lo que sucede dentro de GCP AutoML aún no está tan claro y es más una solución de caja negra.

Piloto automático de AWS

El concepto principal de AWS Autopilot es proporcionar una solución AutoML configurable. Se exponen todos los detalles del ciclo de aprendizaje automático, desde la transformación de datos hasta el entrenamiento de modelos y el ajuste de hiperparámetros. A diferencia de GCP AutoML, AWS Autopilot es una solución de caja blanca.

AWS Autopilot utiliza varias estrategias para canalizaciones de datos y aprendizaje automático (ML). Algunas de estas estrategias se basan en declaraciones if-else sugeridas por expertos en dominios; otras estrategias dependen de elegir los hiperparámetros correctos (es decir, tasa de aprendizaje, parámetro de sobreajuste, tamaño de incrustación) para la canalización.

Qué puede hacer AutoML y qué no puede hacer

A veces, la gente dice que AutoML es el santo grial de AI/ML, una opinión que no comparto. Así que continuemos:

Permítanme compartir algunos conocimientos experimentales, con ejemplos de la vida real, para profundizar en dónde AutoML fue la opción adecuada y dónde no funcionó.

Caso de uso 1: Medición del desempeño de un concesionario automotriz

Tuvimos que generar una métrica para evaluar el rendimiento de un comerciante con gigabytes de datos históricos, como ventas anteriores, datos de censos, datos religiosos y datos geográficos. Usamos AutoML y obtuvimos un rendimiento similar al humano.

Sin embargo, necesitábamos un científico de datos para realizar el preprocesamiento de datos, la ingeniería de características y la transformación. Le tomó mucho trabajo a AutoML descubrir cuáles eran los datos importantes en nuestras columnas de datos, ya que había miles de columnas. Incluso un experimento podría haber incurrido en enormes costos y desperdiciado un tiempo precioso.

Caso de uso 2: Pronóstico de alquiler de propiedades

Necesitábamos desarrollar una herramienta para predecir el alquiler de la propiedad, pero AutoML no funcionó bien porque el mercado inmobiliario tiene mucha información localizada (a nivel estatal). De hecho, nuestros intentos fallaron con un modelo por región ya que no tenía suficientes datos (menos de 500 puntos de datos) para aprender la arquitectura. Un tipo de modelo XGBoost simple con funcionalidad reducida funcionó bien en comparación con AutoML.

En los estados donde los datos eran lo suficientemente buenos para AutoML, nuestro modelo de predicción funcionó mejor que la solución interna.

Caso de uso 3: predicción de rating de TV

En el caso de la predicción del rating televisivo, sucedió lo mismo. AutoML no pudo capturar el comportamiento basado en la zona horaria en varios canales. Por ejemplo, NICK es para niños; la mayoría de los niños ven programas por la tarde y los adultos ven principalmente MTV y tienen una audiencia máxima por la noche. Este es solo un modelo simple, pero AutoML no pudo capturar múltiples modelos de múltiples categorías en un solo modelo.

¿AutoML realmente reemplazará a DS?

Desde mi experiencia en el campo, diría “No”. AutoML no puede reemplazar directamente a los científicos de datos. Pero puede ser una herramienta útil para los científicos de datos.

¿Dónde debemos usar AutoML?

La probabilidad de que AutoML funcione bien sin ninguna interferencia humana es mayor en escenarios donde los problemas se conocen en la literatura. En casos como la detección de objetos genéricos o la clasificación de imágenes, puede usar AutoML, ya que ya están optimizados con una gran cantidad de datos. También puede ayudarlo a desarrollar pruebas de concepto rápidas, que pueden proporcionar o no un rendimiento razonable.

¿Dónde no deberíamos usar AutoML?

A veces, necesitamos una ingeniería de características simple con un modelo de regresión lineal simple para proyectos reales de ML. AutoML puede incurrir en costos más altos en tales casos, ya que no es compatible con la ingeniería de características. Internamente, utiliza una red neuronal profunda, lo que significa que hay algo de ingeniería de características, pero requerirá una gran cantidad de datos para eso. Además, es caro cuando lo comparas con el enfoque básico. Y será necesario mejorar el rendimiento del modelo seleccionado por AutoML.

Los escenarios en los que el problema es muy específico del dominio y requiere algún conocimiento del dominio también pueden fallar con AutoML. Estos son los escenarios en los que debemos usar AutoML y en los que debemos evitarlo:

Conclusión

AutoML no es una inteligencia general artificial (AGI), lo que significa que no puede definir enunciados de problemas y resolverlos automáticamente. Sin embargo, puede solucionar reclamos de problemas predefinidos si le proporcionamos datos y características relevantes.

El uso de AutoML implica un equilibrio entre la generalización de un problema y el rendimiento de un problema específico. Si AutoML está generalizando su solución, tiene que comprometer el rendimiento de un problema específico (porque la arquitectura de AutoML no está optimizada para ello). Y la solución general no puede ayudar con problemas de dominio específico donde necesitamos un nuevo enfoque para resolverlos.

Alakh Sharma es científico de datos en Talentica Software.