mayo 1, 2021

L1ght destaca las deficiencias de la moderación de contenido manual y automatizada

Un artículo reciente enumeró más «Mal«Las empresas y parece que la mayoría tienen una cosa en común: están afectadas por contenidos tóxicos, algunos no de su producción.

El contenido tóxico viene en muchas formas y lo que una persona ve como «más allá de la línea» que otra puede encontrar aceptable. Pero antes de que las plataformas tecnológicas puedan abordar problemas espinosos de la Primera Enmienda, necesitan resolver uno más práctico: encontrar una forma económica de identificar ese contenido en primer lugar.

Para hacer esto, las compañías de tecnología han adoptado uno de dos enfoques: lanzar a las personas al problema, con la esperanza de poder contratar suficientes moderadores para mantenerse al día con millones o miles de millones de nuevas publicaciones por día; o pasar a algoritmos, que están lejos de ser universalmente aplicables o contextualmente inteligentes.

Hasta el momento, ninguno de los dos modelos ha tenido un impacto apreciable en las inundaciones de contenido tóxico. ¿Qué necesitan, de acuerdo con el inicio de anti-toxicidad? L1ght – que funciona con redes sociales, juegos y proveedores de alojamiento para evitar que la toxicidad afecte a los usuarios jóvenes – es una tecnología que puede gestionar el contexto.

¿Qué tiene de malo la moderación humana?

Los moderadores humanos eran el estándar de oro, pero como el oro real, tienen un precio alto.

«La moderación humana tiene costos humanos reales», explica Zohar Levkovitz, CEO de L1ght. «No se trata solo de los costos laborales».

Por ejemplo, en Facebook, 15,000 moderadores contratados verifican manualmente los mensajes marcados por violencia, discurso de odio y contenido sexual. Facebook ha sido severamente probado en los costos financieros de su programa de moderación.

UNA El informe Verge detectó problemas planteados por empleados de Facebook que revisan manualmente grandes cantidades de contenido gráfico. La microgestión, los bajos salarios y la seguridad laboral fueron todos problemas al revisar el contenido límite.

Si bien la moderación algorítmica es más escalable, la mayoría de las aplicaciones han demostrado ser ineficaces. «Las aplicaciones de control parental orientadas al consumidor y las soluciones de IA simplistas que buscan malas palabras no funcionaron en el mundo real», señala Levkovitz. «Sabíamos que necesitábamos un enfoque diferente para salvar a los niños a gran escala».

La tecnología comete errores

Dado que los enfoques algorítmicos tradicionales de moderación luchan por tener en cuenta el contexto del contenido, son propensos a dos tipos de errores estadísticos.

Los errores de tipo I, llamados «falsos positivos», se producen cuando un algoritmo de moderación marca y elimina una publicación que no debería tener. Dado que las empresas que crean herramientas de moderación no quieren que el contenido problemático se deslice por las grietas, a menudo crean sus modelos para errar por una moderación excesiva.

En la práctica, desafortunadamente, estos errores tienden a limitar el discurso político legítimo. UNA segundo articulo Verge descubrió que «Noticias falsas» es un 47% similar a los comentarios etiquetados como «tóxicos» por la herramienta Google Outlook; «Bad hombre» es similar al 55%. La perspectiva puede desplazar la primera oración pero censurar la segunda.

Los errores de tipo II incluyen publicaciones que deberían haberse eliminado algorítmicamente pero no lo fueron. El equipo detrás de Artemis de Microsoft, que ofrece un paso en la dirección correcta contra el abuso infantil, está preocupado por este tipo de error. Artemisa promete identificar los comportamientos de «curación» que usan los depredadores de los niños para ganar la confianza del objetivo.

Pero Artemisa solo trabaja en inglés. Segundo, Artemis solo puede escanear contenido basado en texto, no fotos, audio o video. El programa es «absolutamente una panacea», Microsoft admite.

A decir verdad, Artemis y Perspective son mejoras en términos de moderación de contenido. Pero sus límites son reales; La lucha contra la toxicidad adopta un enfoque de «todo lo anterior». ¿Cómo puede hacerlo la tecnología?

Darse cuenta del contexto de las conversaciones.

Los moderadores humanos no son lo suficientemente escalables y muchos algoritmos de moderación no son lo suficientemente precisos. ¿Dónde está el camino del medio?

Levkovitz señala que la tecnología de L1ght analiza las cualidades humanas y el contexto detrás de las conversaciones. Está construido con aportes de científicos conductuales internos, científicos de datos, antropólogos y más.

«Los algoritmos de L1ght están entrenados para pensar como niños y sus posibles atacantes», dice Levkovitz. «Combinando metodologías de aprendizaje profundo con conocimiento humano, podemos identificar matices secretos, jergas y significados que otras herramientas no pueden. También podemos predecir cuándo una conversación dará un giro equivocado antes de que suceda».

En Fast Company, proporciona al cofundador de Levkovitz, Ron Porat. un ejemplo: Alguien que escribe: «Oh, Dios mío, me mataré. No puedo hacerlo más» en línea debe tomarse en serio. Sin embargo, diga que el autor sigue esta afirmación con «Tengo un examen mañana y todavía me estoy demorando. Voy a morir».

En contexto, está claro que la persona simplemente está haciendo una declaración dramática. Los moderadores humanos pueden hacer esta deducción, pero muchos de los algorítmicos no.

El resto del desafío es la proactividad. Las plataformas deben evitar principalmente que las personas publiquen contenido problemático, lo que requiere algoritmos contextualmente inteligentes.

«Por razones de escala, la tecnología tendrá que ser la primera línea de defensa», dice Levkovitz. Él predice que las personas continuarán administrando las operaciones de moderación debido a los inevitables casos límite, pero las nuevas tecnologías podrían reducir drásticamente la mano de obra requerida.

Puede estar cerca de resolver el problema contextual. Pero las plataformas mismas tendrán que hacer el resto: contratar con la diversidad en mente, apoyar a los moderadores humanos emocionalmente y desarrollar procesos de revisión rigurosos.

El desarrollo de herramientas inteligentes de moderación será difícil, por supuesto. En retrospectiva, es probable que veamos el contexto como el caso más difícil de resolver.

Brad Anderson

Brad Anderson

Jefe de redacción en ReadWrite

Brad es el editor que supervisa el contenido proporcionado en ReadWrite.com. Anteriormente trabajó como editor en PayPal y Crunchbase. Puedes contactarlo con Brad en readwrite.com.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *