El chip del tama√Īo de una oblea de Cerebras es 10,000 veces m√°s r√°pido que una GPU

Cerebras Systems y el Laboratorio Nacional de Tecnolog√≠a Energ√©tica del Departamento Federal de Energ√≠a anunciaron que el sistema CS-1 de la compa√Ī√≠a es m√°s de 10,000 veces m√°s r√°pido que una unidad de procesamiento de gr√°ficos (GPU).

En un nivel práctico, esto significa que las redes neuronales de IA que solían tardar meses en entrenarse ahora se pueden entrenar en minutos en el sistema Cerebras.

Cerebras produce el chip de computadora más grande del mundo, el WSE. Por lo general, los fabricantes de chips cortan una oblea de un lingote de silicio de 12 pulgadas de diámetro para procesar en una fábrica de chips. Una vez procesada, la oblea se corta en cientos de chips separados que se pueden utilizar en hardware electrónico.

Pero Cerebras, fundada por el fundador de SeaMicro, Andrew Feldman, toma esa oblea y hace un solo chip enorme con ella. Cada pieza del chip, denominada n√ļcleo, est√° interconectada de forma sofisticada con otros n√ļcleos. Las interconexiones est√°n dise√Īadas para hacer que todo funcione a alta velocidad para que los transistores funcionen juntos como uno solo.

El sistema CS-1 de Cerebras utiliza el chip WSE del tama√Īo de una oblea, que tiene 1,2 billones de transistores, los interruptores electr√≥nicos b√°sicos de encendido y apagado que son los componentes b√°sicos de los chips de silicio. El primer procesador 4004 de Intel en 1971 ten√≠a 2.300 transistores, y el chip Nvidia A100 de 80GB, anunciado ayer, tiene 54.000 millones de transistores.

Feldman dijo en una entrevista con VentureBeat que el CS-1 tambi√©n era 200 veces m√°s r√°pido que la supercomputadora Joule, que es la n√ļmero 82 en la lista de las mejores 500 supercomputadoras del mundo.

¬ęMuestra un rendimiento r√©cord¬Ľ, dijo Feldman. ¬ęTambi√©n muestra que la tecnolog√≠a a escala de obleas tiene aplicaciones m√°s all√° de la IA¬Ľ.

Arriba: Cerebras WSE tiene 1,2 billones de transistores en comparación con la GPU más grande de Nvidia, la A100 con 54,2 mil millones de transistores.

Estos son los frutos del enfoque radical de Cerebras, con sede en Los Altos, California, que cre√≥ una oblea de silicio con 400.000 n√ļcleos de IA en lugar de cortar esa oblea en chips individuales. El dise√Īo inusual hace que sea mucho m√°s f√°cil hacer las cosas porque el procesador y la memoria est√°n m√°s juntos y tienen mucho ancho de banda para conectarlos, dijo Feldman. Queda pendiente la cuesti√≥n de hasta qu√© punto es aplicable a diferentes actividades de procesamiento.

En un documento basado en los resultados del trabajo de Cerebras con el laboratorio federal, las partes dijeron que el CS-1 puede ofrecer un rendimiento inalcanzable con cualquier cantidad de unidades de procesamiento central (CPU) y GPU, las cuales se usan com√ļnmente en supercomputadoras. (Las GPU de Nvidia se utilizan actualmente en el 70% de las mejores supercomputadoras). Y eso es ¬ęno importa cu√°n grande sea esa supercomputadora¬Ľ, dijo Feldman.

Cerebras est√° haciendo la presentaci√≥n en el evento de supercomputaci√≥n en l√≠nea SC20 esta semana. El CS-1 super√≥ a la supercomputadora Joule en una carga de trabajo para la din√°mica de fluidos computacional, que simula el movimiento de fluidos en lugares como un carburador. Construir la supercomputadora Joule cuesta decenas de millones de d√≥lares. Tiene 84.000 n√ļcleos de CPU, repartidos en docenas de racks y consume 450 kilovatios de energ√≠a.

Cerebras

Arriba: Cerebras tiene una media docena de clientes de supercomputadoras.

Crédito de la imagen: LLNL

En esta demostraci√≥n, la supercomputadora Joule us√≥ 16.384 n√ļcleos y la computadora Cerebras era 200 veces m√°s r√°pida que eso, seg√ļn el director del laboratorio de energ√≠a Brian Anderson.

¬ęPara estas cargas de trabajo, la CS-1 a escala de obleas es la m√°quina m√°s r√°pida jam√°s construida¬Ľ, dijo Feldman. ¬ęY es m√°s r√°pido que cualquier otra combinaci√≥n o grupo de otros procesadores¬Ľ.

Un solo Cerebras CS-1 mide 26 pulgadas de alto, cabe en un tercio de un estante y est√° impulsado por el √ļnico motor de procesamiento a escala de obleas de la industria, Cerebras ‘WSE. Combine el rendimiento de la memoria con un gran ancho de banda, comunicaci√≥n entre procesadores de baja latencia y arquitectura optimizada para un gran ancho de banda
tecnologia computacional.

La investigación fue dirigida por Dirk Van Essendelft, ingeniero de ciencia de datos y aprendizaje automático en NETL, y Michael James, cofundador de Cerebras y arquitecto jefe de tecnologías avanzadas. Los resultados llegaron después de meses de trabajo.

En septiembre de 2019, el Departamento de Energía anunció su asociación con Cerebras, incluidas las implementaciones con el Laboratorio Nacional Argonne y el Laboratorio Nacional Lawrence Livermore.

El Cerebras CS-1 fue anunciado en noviembre de 2019. El CS-1 es
construido alrededor del WSE, que es 56 veces m√°s grande, tiene 54 veces m√°s n√ļcleos,
450 veces m√°s memoria en chip, 5.788 veces m√°s ancho de banda de memoria y 20.833 veces m√°s ancho de banda de tejido que el principal competidor de GPU, dijo Cerebras.

Cerebras

Arriba: Cerebras en el Laboratorio Nacional Lawrence Livermore.

Crédito de la imagen: LLNL

Dependiendo de la carga de trabajo, desde AI hasta HPC, el CS-1 proporciona cientos o miles de veces más procesamiento que las alternativas heredadas y lo hace con una fracción del uso de energía y espacio.

Feldman se√Īal√≥ que el CS-1 puede completar c√°lculos m√°s r√°pido que en tiempo real. Esto significa que puede iniciar la simulaci√≥n del n√ļcleo de reacci√≥n de una central el√©ctrica cuando comienza la reacci√≥n, pero la simulaci√≥n finaliza antes de que finalice la reacci√≥n.

¬ęEstos problemas de modelado din√°mico tienen una caracter√≠stica interesante¬Ľ, dijo Feldman. ‚ÄúNo encajan con los n√ļcleos de la CPU y la GPU. En el lenguaje del cient√≠fico computacional, no muestran ¬ęescalamiento fuerte¬Ľ. Esto significa que m√°s all√° de cierto punto, agregar m√°s procesadores a una supercomputadora no produce m√°s mejoras de rendimiento. ¬ę

Cerebras recaudó $ 450 millones y tiene 275 empleados.


Mejores pr√°cticas para un centro de excelencia de IA exitoso:

Una guía para CoE y unidades de negocio Inicie sesión aquí


Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *