febrero 21, 2024

Hugging Face, socio de AWS para el aprendizaje automático de código abierto durante la carrera armamentista de la IA

Vea todas las sesiones bajo demanda de la Cumbre de Seguridad Inteligente aquí.


Los avances impresionantes en los modelos de lenguaje grande (LLM) están mostrando signos de lo que podría ser el comienzo de un cambio importante en el sector de la tecnología. Las nuevas empresas de IA y las grandes empresas de tecnología están encontrando nuevas formas de utilizar LLM avanzados en todo, desde la redacción de correos electrónicos hasta la generación de código de software.

Sin embargo, las promesas de los LLM también han desencadenado una carrera armamentista entre los gigantes tecnológicos. En sus esfuerzos por construir sus arsenales de IA, las grandes empresas tecnológicas amenazan con empujar el campo hacia una menor apertura y más secreto.

En medio de esta rivalidad, Hugging Face está diseñando una estrategia diferente que brindará acceso escalable a modelos de IA de código abierto. Hugging Face se ha asociado con Amazon Web Services (AWS) para facilitar la adopción de modelos de aprendizaje automático (ML) de código abierto. En una era en la que los modelos avanzados se vuelven cada vez más inaccesibles o se ocultan detrás de jardines amurallados, una alternativa de código abierto fácil de usar podría expandir el mercado del aprendizaje automático aplicado.

Modelos de código abierto

Si bien los modelos de aprendizaje automático a gran escala son muy útiles, configurarlos y ejecutarlos requiere habilidades especiales que pocas empresas poseen. La nueva asociación entre Hugging Face y AWS buscará abordar estos desafíos.

Evento

Cumbre de seguridad inteligente bajo demanda

Conozca el papel fundamental de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.

Mira aquí

Los desarrolladores pueden usar la infraestructura y las herramientas en la nube de Amazon para optimizar e implementar fácilmente modelos de última generación desde el repositorio Hugging Face ML.

Las dos compañías comenzaron a trabajar en 2021 con la introducción de los contenedores de aprendizaje profundo (DLC) Hugging Face en SageMaker, la plataforma de aprendizaje automático basada en la nube de Amazon. La nueva asociación extenderá la disponibilidad de los modelos Hugging Face a otros productos de AWS y al hardware acelerador de IA basado en la nube de Amazon para acelerar el entrenamiento y la inferencia.

“Desde que comenzamos a ofrecer Hugging Face de forma nativa en SageMaker, el uso ha crecido exponencialmente y ahora tenemos más de 1000 clientes que utilizan nuestras soluciones todos los meses”, dijo a VentureBeat Jeff Boudier, director de producto de Hugging Face. “A través de esta nueva asociación, ahora estamos trabajando de la mano con los equipos de ingeniería que crean un nuevo hardware de inteligencia artificial eficiente, como AWS Trainium y AWS Inferentia, para crear soluciones que se pueden usar directamente en Elastic Compute Cloud (EC2) y Elastic. Servicio de Kubernetes (EKS)”.

La carrera armamentista de la IA

Los líderes tecnológicos han estado hablando sobre la naturaleza transformadora del aprendizaje automático durante varios años. Pero nunca se había sentido esta transformación como en los últimos meses. El lanzamiento del modelo de lenguaje ChatGPT de OpenAI sentó las bases para un nuevo capítulo en la carrera por dominar la IA.

Microsoft invirtió recientemente $ 10 mil millones en OpenAI y está trabajando arduamente para integrar LLM en sus productos. Google ha invertido 300 millones de dólares en Anthropic, un rival de OpenAI, y se apresura a proteger su imperio de búsqueda en línea del auge de los productos basados ​​en LLM.

Hay beneficios claros para estas asociaciones. Con el respaldo financiero de Microsoft, OpenAI pudo entrenar modelos de aprendizaje automático muy grandes y costosos en hardware especializado e implementarlos a escala para millones. Anthropic también recibirá acceso especial a Google Cloud Platform a través de su nueva asociación.

Sin embargo, la rivalidad entre las grandes empresas tecnológicas también tiene ventajas y desventajas para la industria. Por ejemplo, desde que comenzó su asociación con Microsoft, OpenAI ha dejado de abrir la mayoría de sus modelos de aprendizaje automático y los está sirviendo a través de una interfaz de programación de aplicaciones (API) paga. También se ha bloqueado en la plataforma en la nube de Microsoft y sus plantillas solo están disponibles en los productos de Azure y Microsoft.

Por otro lado, Hugging Face mantiene su compromiso de continuar brindando modelos de código abierto. A través de la asociación entre Hugging Face y Amazon, los desarrolladores e investigadores podrán implementar modelos de código abierto como BLOOMZ (una alternativa a GPT-3) y Stable Diffusion (un rival de DALL-E 2).

“Esta es una alianza entre el líder en aprendizaje automático de código abierto y el líder en servicios en la nube para construir conjuntamente la próxima generación de modelos y soluciones de código abierto para usarlos. Todo lo que construyamos juntos será de código abierto y de libre acceso”, dijo Boudier.

Hugging Face también tiene como objetivo evitar el tipo de bloqueo que enfrentan otras compañías de IA. Si bien Amazon seguirá siendo su proveedor de nube preferido, Hugging Face seguirá trabajando con otras plataformas en la nube.

“Esta nueva asociación no es exclusiva y no cambia nuestras relaciones con otros proveedores de servicios en la nube”, dijo Boudier. “Nuestra misión es democratizar el buen aprendizaje automático y, para hacerlo, debemos habilitar a los usuarios donde sea que usen nuestros modelos y bibliotecas. Continuaremos trabajando con Microsoft y otras nubes para servir a los clientes en todas partes”.

Apertura y transparencia

El modelo de API proporcionado por OpenAI es una opción rentable para las empresas que carecen de experiencia interna en ML. Hugging Face también proporcionó un servicio similar a través de sus productos Inference Endpoint e Inference API. Pero las API resultarán limitadas para las organizaciones que desean más flexibilidad para modificar modelos e integrarlos con otras arquitecturas de aprendizaje automático. También son inconvenientes para la investigación que requiere acceso a pesos, gradientes y datos de entrenamiento del modelo.

Las herramientas en la nube fáciles de implementar y escalables como las proporcionadas por Hugging Face permitirán este tipo de aplicaciones. Al mismo tiempo, la empresa está desarrollando herramientas para detectar y denunciar abusos, sesgos y otros problemas con los modelos de ML.

“Nuestra visión es que la apertura y la transparencia [are] el camino a seguir para ML “, dijo Boudier. “El aprendizaje automático está impulsado por la ciencia, y la ciencia requiere reproducibilidad. La facilidad de uso hace que todo sea accesible para los usuarios finales, para que las personas puedan entender lo que pueden y no pueden hacer modelos, [and] cómo deben y no deben usarse.

La misión de VentureBeat debe ser una plaza de la ciudad digital para que los tomadores de decisiones técnicas obtengan información sobre la tecnología y las transacciones comerciales transformadoras. Descubre nuestras sesiones informativas.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *