Cohere se asocia con Google Cloud para entrenar modelos de lenguaje grandes usando hardware dedicado

Google Cloud, la plataforma de servicios de computación en la nube de Google, anunció hoy una asociación de varios años con la startup Cohere para “acelerar el procesamiento del lenguaje natural (NLP) para las empresas haciéndolo más asequible”. Como parte de la asociación, Google Cloud dice que ayudará a Cohere a construir una infraestructura de TI para impulsar la API de Cohere, lo que permitirá a Cohere entrenar grandes modelos de lenguaje en hardware dedicado.

La noticia llega un día después de que Cohere anunciara la disponibilidad general de su API, que permite a los clientes acceder a plantillas optimizadas para una variedad de aplicaciones de lenguaje natural, en algunos casos a una fracción del costo de las ofertas de la competencia. “Las empresas líderes de todo el mundo están utilizando inteligencia artificial para transformar radicalmente sus procesos comerciales y ofrecer experiencias de cliente más útiles”, dijo Thomas Kurian, director ejecutivo de Google Cloud, en un comunicado. “Nuestro trabajo con Cohere hará que sea más fácil y económico para cualquier organización darse cuenta de las posibilidades de la IA con poderosos servicios de PNL basados ​​en el diseño personalizado de Google. [hardware]. “

Cómo funciona Cohere

Con sede en Toronto, Canadá, Cohere fue fundada en 2019 por un equipo de pedigrí que incluía a Aidan Gomez, Ivan Zhang y Nick Frosst. Gómez, ex becario de Google Brain, fue coautor del artículo académico “La atención es todo lo que necesitas”, que presentó al mundo una arquitectura fundamental del modelo de inteligencia artificial llamado Transformer. (Entre otros sistemas de alto perfil, GPT-3 y Codex de OpenAI se basan en la arquitectura Transformer). Zhang, junto con Gomez, es un colaborador de FOR.ai, un colectivo de investigación de IA abierta que involucra a científicos e ingenieros a partir de los datos. En cuanto a Frosst, él también, como Gomez, trabajó en Google Brain, publicando investigaciones sobre aprendizaje automático junto con el ganador del premio Turing, Geoffrey Hinton.

En un voto de confianza, incluso antes de lanzar su servicio comercial, Cohere recaudó $ 40 millones de capitalistas de riesgo institucionales, así como de Hinton, el científico jefe de IA de Google Cloud Fei-Fei Li, codirector del laboratorio de IA de UC Berkeley. Pieter Abbeel y la ex-guía autónoma de Uber, Raquel Urtasun.

A diferencia de algunos de sus competidores, Cohere ofrece dos tipos de modelos de PNL en inglés, generación y representación, en los tamaños Large, Medium y Small. Las plantillas de generación pueden completar tareas que implican generar texto, como escribir descripciones de productos o extraer metadatos de documentos. Por el contrario, los modelos representacionales tratan de comprender el lenguaje, impulsar aplicaciones como la búsqueda semántica, los chatbots y el análisis de sentimientos.

Para mantener su tecnología relativamente asequible, Cohere cobra por el acceso basado en fuentes según el tamaño del modelo y la cantidad de caracteres que usan las aplicaciones ($ 0.0025 a $ 0.12 por 10,000 caracteres por generación y $ 0.019 por 10,000 caracteres por representación). Solo las plantillas de generación se cargan en las fuentes de entrada y salida, mientras que otras plantillas se cargan en las fuentes de salida. Mientras tanto, todos los modelos perfeccionados, es decir, los modelos adaptados a dominios, industrias o escenarios particulares, se cobran al doble de la tarifa del modelo base.

Grandes modelos lingüísticos

La asociación con Google Cloud otorgará a Cohere acceso a unidades de procesamiento tensorial (TPU) de cuarta generación que se ejecutan en instancias de Google Cloud. Los TPU son chips personalizados desarrollados específicamente para acelerar el entrenamiento de IA, que impulsan productos como Google Search, Google Photos, Google Translate, Google Assistant, Gmail y Google Cloud AI API.

“La asociación durará hasta finales de 2024 con opciones de extensión en 2025 y 2026. Google Cloud y Cohere planean colaborar en una estrategia de comercialización”, dijo Gómez a VentureBeat por correo electrónico. “Nos reunimos con varios proveedores de servicios en la nube y sentimos que Google Cloud estaba en la mejor posición para satisfacer nuestras necesidades”.

La decisión de Cohere de asociarse con Google Cloud refleja los desafíos logísticos de desarrollar grandes modelos de lenguaje. Por ejemplo, el modelo Megatron 530B de Nvidia lanzado recientemente se entrenó originalmente en 560 servidores Nvidia DGX A100, cada uno de los cuales alberga 8 GPU Nvidia A100 de 80 GB. Microsoft y Nvidia dicen que observaron entre 113 y 126 teraflops por segundo por GPU al entrenar el Megatron 530B, lo que elevaría el costo del entrenamiento a millones de dólares. (Una calificación de teraflop mide el rendimiento del hardware, incluidas las GPU).

La inferencia, es decir, ejecutar el modelo entrenado, es otro desafío. En dos de sus costosos sistemas DGX SuperPod, Nvidia afirma que la inferencia (por ejemplo, el autocompletado de una oración) con el Megatron 530B toma solo medio segundo. Pero puede llevar más de un minuto en un servidor basado en CPU local. Si bien las alternativas en la nube pueden ser más baratas, no lo son dramáticamente: una estimación sitúa el costo de ejecutar GPT-3 en una sola instancia de Amazon Web Services en tan solo $ 87,000 por año.

El rival constante OpenAI entrena sus grandes modelos de lenguaje en una “supercomputadora de IA” alojada en Microsoft, que invirtió más de mil millones de dólares en la empresa en 2020, incluidos alrededor de 500 millones de dólares en forma de créditos de cómputo de Azure.

PNL accesible

En Cohere, Google Cloud, que ya ofrecía una gama de servicios de PNL, está adquiriendo clientes en un mercado en rápido crecimiento durante la pandemia. Según una encuesta de 2021 realizada por John Snow Labs y Gradient Flow, el 60% de los líderes tecnológicos indicaron que sus presupuestos de PNL crecieron al menos un 10% en comparación con 2020, mientras que un tercio, el 33%, dijo que su gasto aumentó en más del 30%. .

“Nos dedicamos a apoyar a empresas, como Cohere, a través de nuestra oferta de infraestructura avanzada para impulsar la innovación en PNL”, dijo a VentureBeat a VentureBeat por correo electrónico Craig Wiley, director de gestión de productos de Google Cloud AI. “Nuestro objetivo es siempre proporcionar las mejores herramientas de canalización para los desarrolladores de modelos de PNL. Al unir la experiencia de PNL de Cohere y Google Cloud, podremos ofrecer resultados verdaderamente extraordinarios a los clientes “.

Se proyecta que el mercado mundial del PNB tendrá un valor de $ 2.53 mil millones para 2027, en comparación con $ 703 millones en 2020. Y si la tendencia actual se mantiene, una parte sustancial de ese gasto se destinará a la infraestructura en la nube, en beneficio de Google Cloud.