mayo 2, 2021

La lucha de dos años para evitar que Amazon venda reconocimiento facial a la policía

Pero el miércoles 10 de junio, Amazon sorprendió a los activistas e investigadores de derechos civiles cuando anunció que impondría una moratoria de un año sobre el uso de la policía de Rekognition. La medida siguió a la decisión de IBM de descontinuar su sistema de reconocimiento facial para fines generales. Al día siguiente, Microsoft anunció que dejaría de vender su sistema a los departamentos de policía hasta que la ley federal regulara la tecnología. Si bien Amazon hizo la concesión más pequeña de las tres compañías, también es el mayor proveedor de tecnología de aplicación de la ley. La decisión es la culminación de dos años de investigación y presión externa para demostrar los defectos técnicos de Rekognition y su potencial de abuso.

«Es sorprendente que Amazon realmente esté respondiendo en esta conversación actual sobre el racismo», dijo Deborah Raji, una investigadora de responsabilidad de IA que fue coautora de un estudio básico sobre sesgos raciales e imprecisiones integrados en la tecnología de la compañía. «Habla solo del poder de este momento presente».

«Un año es un comienzo», dice Kade Crockford, directora del programa de tecnología de la libertad en la ACLU de Massachusetts. «Es absolutamente una admisión de la compañía, al menos implícitamente, que lo que los defensores de la justicia racial les han estado diciendo durante dos años es correcto: la tecnología de vigilancia facial pone en peligro a los negros y marrones en los Estados Unidos. Es una admisión notable «.

Dos años están pasando

En febrero de 2018, la investigadora del MIT Joy Buolamwini y Timnit Gebru, entonces investigadora de Microsoft, publicaron un estudio innovador llamado Sombras de género sobre el sesgo de género y racial integrado en los sistemas comerciales de reconocimiento facial. En ese momento, el estudio incluía sistemas vendidos por Microsoft, IBM y Megvii, uno de los mayores proveedores chinos de reconocimiento facial. No incluía la rekognición de Amazon.

Sin embargo, fue el primer estudio de este tipo y los resultados fueron impactantes: el peor sistema, el de IBM, fue 34.4 puntos porcentuales peor al clasificar el género para las mujeres de piel oscura que para los hombres de piel clara. Los resultados disminuyeron de inmediato las afirmaciones de precisión que las compañías habían usado para vender sus productos y provocaron un debate sobre el reconocimiento facial en general.

A medida que avanzaba el debate, pronto se hizo evidente que el problema era aún más profundo que los datos de entrenamiento distorsionados o los algoritmos imperfectos. Incluso si los sistemas lograran una precisión del 100%, aún podrían usarse de manera peligrosa, advirtieron muchos investigadores y activistas.

«Hay dos formas en que esta tecnología puede dañar a las personas», dice Raji, que trabajó con Buolamwini y Gebru en Gender Shades. “Una forma es no trabajar: debido a las tasas de error más altas para las personas negras, las expone a un mayor riesgo. La segunda situación es cuando hace trabajo: donde tienes el sistema de reconocimiento facial perfecto, pero es fácilmente un arma contra las comunidades para acosarlos. Es una conversación separada y conectada. «

«El trabajo de Gender Shades era exponer la primera situación», dice. Al hacerlo, creó una abertura para exponer el segundo.

Amazon trató de desacreditar su investigación; trató de socavarlos como mujeres negras que lideraron esta búsqueda.

Meredith Whittaker

Esto es lo que sucedió con IBM. Después de la publicación de Gender Shades, IBM fue una de las primeras compañías en contactar a los investigadores para comprender cómo resolver sus problemas de lesiones. En enero de 2019, lanzó un conjunto de datos llamado Diversity in Faces, que contiene más de 1 millón de imágenes de caras anotadas en un esfuerzo por mejorar esos sistemas. Pero el movimiento fracasó después de que la gente descubriera que las imágenes fueron eliminadas de Flickr, lo que generó un consenso y preocupaciones de privacidad. Se desencadenó otra serie de discusiones internas sobre cómo entrenar éticamente el reconocimiento facial. «Los llevó al hoyo del conejo para descubrir la multitud de problemas que existen con esta tecnología», dice Raji.

Así que al final, no fue una sorpresa cuando la compañía finalmente desconectó. (Las críticas indicar que su sistema no tenía un punto de apoyo en el mercado de todos modos.) IBM «simplemente se dio cuenta de que los» beneficios «no eran de ninguna manera proporcionales al daño», dice Raji. «Y en este momento en particular, era el momento adecuado para que lo hicieran público».

Pero mientras IBM respondió a los comentarios externos, Amazon tuvo la reacción opuesta. En junio de 2018, en medio de todas las otras cartas pidiendo que la compañía deje de usar Rekognition por parte de la policía, Raji y Buolamwini expandieron la auditoría de Gender Shades para incluir su desempeño. Los resultados, publicados seis meses después en un artículo revisado por pares, nuevamente encontraron enormes inexactitudes técnicas. La rekognition clasificaba el género de las mujeres de piel oscura en 31.4 puntos porcentuales con menos precisión que el de los hombres de piel clara.

En julio, la ACLU del norte de California también realizó su propio estudio, descubriendo que el sistema combinaba falsamente fotos de 28 miembros del Congreso de los Estados Unidos con fotos. Los partidos falsos eran personas desproporcionadamente negras.

Sin embargo, en lugar de reconocer los resultados, Amazon publicó dos publicaciones en el blog alegando que el trabajo de Raji y Buolamwini era engañoso. En respuesta, casi 80 investigadores de IA, incluido el ganador del Premio Turing Yoshua Bengio, defendieron el trabajo y nuevamente pidieron a la compañía que dejara de vender reconocimiento facial a la policía.

«Fue una experiencia tan emocionante en ese momento», recuerda Raji. “Habíamos hecho mucha diligencia hacia nuestros resultados. Y luego la respuesta inicial fue tan directamente confrontativa y agresivamente defensiva. «

“Amazon ha intentado desacreditar su investigación; trató de debilitarlas como mujeres negras que dirigieron esta investigación «, dice Meredith Whittaker, cofundadora y directora del Instituto AI Now, que estudia los impactos sociales de la IA.» Ella trató de llegar a una narrativa de que estaban equivocados, que alguien había entendido claramente la tecnología, él habría sabido que esto no era un problema «.

La medida realmente puso a la Amazonía en peligro político.

Mutale Nkonde

De hecho, mientras rechazaba públicamente el estudio, Amazon estaba empezando a invertir en encontrar soluciones detrás de escena. Tomó una ventaja de capital, invirtió en una subvención de investigación de NSF para mitigar problemas y unos meses más tarde lanzó una nueva versión de Rekognition, respondiendo directamente a las preocupaciones del estudio, dice Raji. Al mismo tiempo, frenó los esfuerzos de los accionistas para detener las ventas de la tecnología y realizar una evaluación independiente de los derechos humanos. También ha gastado millones de presiones sobre el Congreso para evitar la regulación.

Pero luego todo cambió. El 25 de mayo de 2021, el agente Derek Chauvin asesinó a George Floyd, desencadenando un movimiento histórico en los Estados Unidos para combatir el racismo institucional y poner fin a la brutalidad policial. En respuesta, los demócratas de la Cámara de Representantes y el Senado presentaron un proyecto de ley de reforma policial que incluye una propuesta para limitar el reconocimiento facial en un contexto de aplicación de la ley, que marca el mayor esfuerzo federal para regular la tecnología. Cuando IBM anunció que descontinuaría su sistema de reconocimiento facial, también envió una carta al Caucus Negro del Congreso, instando a «un diálogo nacional sobre si las agencias nacionales de aplicación de la ley deberían utilizar la tecnología de reconocimiento facial y cómo debería hacerlo».

«Creo que la decisión de IBM de enviar esa carta cuando el propio cuerpo legislativo está considerando un proyecto de ley de reforma policial realmente cambió el panorama», dijo Mutale Nkonde, asesor de políticas de inteligencia artificial. y colega en el Centro Berkman Klein de Harkard. «Aunque no fueron un gran actor en reconocimiento facial, la medida realmente puso a la Amazonía en peligro político». Ha establecido un vínculo claro entre la tecnología y la conversación nacional en curso, de una manera que ha sido difícil de ignorar para los reguladores.

Un optimismo cauteloso

Pero mientras los activistas e investigadores ven el concesionario de Amazon como una gran victoria, también reconocen que la guerra no ha terminado. Primero, el anuncio de 102 palabras de Amazon fue vago sobre los detalles de si su moratoria incluía la aplicación de la ley fuera de la policía, como la inmigración y la aplicación de la aduana estadounidense o Departamento de seguridad nacional. (Amazon no respondió a una solicitud de comentarios). Por otro lado, el plazo de un año también es una bandera roja.

«La parte cínica de mí dice que Amazon esperará hasta que cesen las protestas, hasta que la conversación nacional cambie a otra cosa, para volver a su posición anterior», dice Crockford de ACLU. «Examinaremos atentamente para asegurarnos de que estas compañías no estén recibiendo una buena prensa para estos anuncios recientes mientras trabajamos simultáneamente detrás de escena para frustrar nuestros esfuerzos en las legislaturas».

Es por eso que activistas e investigadores también creen que la regulación jugará un papel clave en el futuro. «La lección aquí no es que las empresas deben gobernarse a sí mismas», dice Whittaker. «La lección es que necesitamos más presión y que necesitamos regulaciones que garanticen que no solo estamos observando una prohibición de un año».

La parte cínica de mí dice que Amazon esperará a que las protestas disminuyan … para volver a su posición anterior.

Kade Crockford

Los críticos dicen que las disposiciones sobre reconocimiento facial en la actual ley de reforma policial, que solo prohíbe su uso en tiempo real en cámaras corporales, no son lo suficientemente amplias como para tener en cuenta a los gigantes de la tecnología. Pero Nkonde es optimista: ve este primer conjunto de recomendaciones como una semilla para una mayor regulación. Una vez aprobados, se convertirán en un importante punto de referencia para otras facturas escritas para prohibir el reconocimiento facial en otras aplicaciones y contextos.

Hay «un movimiento legislativo realmente más amplio» tanto a nivel federal como local, dice. Y el hecho de que la muerte de Floyd brilló en las prácticas policiales racistas aceleró su amplio apoyo.

«Realmente no debería haber tomado los asesinatos policiales de George Floyd, Breonna Taylor y muchos otros negros, y cientos de miles de personas que salen a las calles de todo el país, para que estas compañías entiendan que las demandas de los negros y las organizaciones y los académicos dirigidos por brown, la ACLU y muchos otros grupos eran moralmente correctos «, dice Crockford. «Pero aquí estamos. Mejor tarde que nunca.»

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *