La nueva demostración de Meta AI escribe literatura científica racista e inexacta, se retira

El martes, Meta AI presentó una demostración de Galactica, un gran modelo de lenguaje diseñado para “almacenar, combinar y razonar sobre el conocimiento científico”. Si bien tenía la intención de acelerar la redacción de literatura científica, los usuarios adversarios que realizaron pruebas descubrieron que también podría generar tonterías realistas. Después de varios días de crítica éticaMeta ha desconectado la demostración, informa MIT Technology Review.

Los modelos de lenguaje grande (LLM), como GPT-3 de OpenAI, aprenden a escribir texto estudiando millones de ejemplos y comprendiendo las relaciones estadísticas entre palabras. Como resultado, pueden crear documentos que suenen convincentes, pero esos trabajos también pueden estar llenos de falsedades y estereotipos potencialmente dañinos. Algunos críticos llaman a los LLM “loros estocásticos” por su capacidad para escupir texto de manera convincente sin comprender su significado.

Ingrese a Galactica, un LLM destinado a escribir literatura científica. Sus autores entrenaron a Galactica en “un corpus grande y curado del conocimiento científico de la humanidad”, que incluye más de 48 millones de artículos, libros de texto y notas de conferencias, sitios web de ciencia y enciclopedias. Según el artículo de Galactica, los investigadores de Meta AI creían que estos datos supuestamente de alta calidad conducirían a resultados de alta calidad.

A partir del martes, los visitantes del sitio web de Galactica podían escribir sugerencias para generar documentos como reseñas de literatura, artículos wiki, folletos y respuestas a preguntas, de acuerdo con los ejemplos proporcionados por el sitio web. El sitio promocionó la plantilla como “una nueva interfaz para acceder y manipular lo que sabemos del universo”.

Mientras que algunas personas encontraron la demostración prometedor Y útilotros pronto descubrieron que cualquiera podía escribir racista o sugerencias potencialmente ofensivas, generando contenido que suene autorizado sobre estos temas con la misma facilidad. Por ejemplo, alguien lo usó. autor una entrada de wiki sobre un trabajo de investigación ficticio titulado “Los beneficios de consumir vidrio destrozado”.

Incluso cuando la producción de Galactica no ofendía las normas sociales, el modelo podía atacar hechos científicos bien entendidos, escupiendo inexactitudes como fechas incorrectas o nombres de animales, lo que requiere un conocimiento profundo del tema a capturar.

En consecuencia Meta tirado la demostración de Galactica el jueves. Más tarde, Yann LeCun, científico jefe de IA en Meta tuiteó“La demo de Galactica está fuera de línea por ahora. Ya no es posible divertirse haciendo un mal uso de ella. ¿Feliz?”

El episodio recuerda un dilema ético común con la IA: cuando se trata de modelos generativos potencialmente dañinos, ¿depende del público en general usarlos de manera responsable o depende de los editores de modelos evitar el uso indebido?

Donde la práctica de la industria se encuentre entre estos dos extremos, probablemente variará entre culturas y a medida que maduren los modelos de aprendizaje profundo. En última instancia, la regulación gubernamental podría terminar desempeñando un papel importante en la configuración de la respuesta.