junio 20, 2021

Los algoritmos policiales predictivos son racistas. Deben ser desmantelados.

Yeshimabeit Milner estaba en la escuela secundaria la primera vez que vio a niños que sabía que estaban esposados ​​y atrapados en un automóvil policial. Era el 29 de febrero de 2008 y el director de una escuela cerca de Miami, con una mayoría de población haitiana y afroamericana, había puesto a uno de sus estudiantes en un estado sofocado. Al día siguiente, varias docenas de niños organizaron una manifestación pacífica. No fue bien.

Esa noche, NBC 6 News at Six de Miami comenzó con un segmento llamado «Chaos on Campus». (Hay un clip en YouTube). «Las tensiones aumentan en Edison Senior High después de que una lucha por los derechos terminó en una batalla con la ley», dijo la transmisión. Corte al metraje borroso de adolescentes gritando: «El caos que ves es una pelea total en la cafetería de la escuela».

Los estudiantes dijeron a los periodistas que la policía los golpeó con porras, los arrojó al suelo y los empujó contra las paredes. La policía dijo que ellos fueron los que fueron atacados, «con botellas de agua, bebidas gaseosas, leche, etc.» y pidieron un respaldo de emergencia. Unos 25 estudiantes fueron arrestados y muchos fueron acusados ​​de múltiples delitos, incluida la resistencia al arresto con violencia. Milner recuerda haber visto la televisión y haber visto a los niños que asistieron a la escuela primaria después de ser detenidos. «Fue una locura», dice.

Para Milner, los acontecimientos de ese día y las implicaciones a largo plazo para los arrestados fueron cruciales. Poco después, mientras aún estaba en la escuela, se involucró con activismo basado en datos, documentando las experiencias policiales racistas de los otros estudiantes. Ahora es directora de Data for Black Lives, una organización básica de derechos digitales que cofundó en 2017. Lo que aprendió de adolescente la llevó a una vida de lucha contra los prejuicios en el sistema de justicia penal. y el desmantelamiento de lo que él llama la tubería escolar en prisión. «Hay una larga historia de datos armados contra comunidades negras», dice.

La desigualdad y los abusos del poder policial no solo ocurren en las calles o durante los disturbios escolares. Para Milner y otros activistas, la atención se centra ahora en dónde existe el mayor potencial de daños duraderos: herramientas policiales predictivas y abuso policial de datos. Numerosos estudios han demostrado que estas herramientas perpetúan el racismo sistémico, sin embargo, todavía sabemos muy poco acerca de cómo funcionan, quién las usa y con qué propósito. Todo esto debe cambiar antes de que pueda llevarse a cabo una contabilidad adecuada. Afortunadamente, la marea podría cambiar.


Hay dos tipos generales de herramientas policiales predictivas. Los algoritmos basados ​​en la ubicación se basan en enlaces entre lugares, eventos y tasas de criminalidad históricas para predecir dónde y cuándo es más probable que ocurra la delincuencia, por ejemplo, en ciertas condiciones climáticas o en eventos deportivos importantes. Las herramientas identifican puntos calientes y patrullas de planes policiales en torno a estos consejos. Uno de los más comunes, llamado PredPol, que es utilizado por docenas de ciudades en los Estados Unidos, divide las posiciones en bloques de 500 por 500 pies y actualiza su pronóstico todo el día, una especie de pronóstico del tiempo sobre el crimen.

Yeshimabeit Milner
Yeshimabeit Milner es cofundador y director de Data for Black Lives, un colectivo de activistas y científicos informáticos de base que utiliza datos para reformar el sistema de justicia penal.

CORTESÍA DE DATOS PARA VIDAS NEGRAS

Otras herramientas se basan en datos de personas, como edad, sexo, estado civil, historial de abuso de sustancias y antecedentes penales, para predecir quién tiene una alta probabilidad de estar involucrado en futuras actividades criminales. Estas herramientas basadas en personas pueden ser utilizadas por la policía, para intervenir antes de que ocurra un delito, o por los tribunales, para determinar durante las audiencias preliminares o condenas si es probable que alguien que ha sido arrestado se retire. Por ejemplo, una herramienta llamada COMPAS, utilizada en muchas jurisdicciones para ayudar a tomar decisiones previas a la liberación y condena, emite un puntaje estadístico entre 1 y 10 para cuantificar la probabilidad de que una persona tenga que ser arrestada nuevamente si es liberada.

El problema radica en los datos en los que se basan los algoritmos. Primero, los algoritmos predictivos se distorsionan fácilmente al detener las tasas. Según los datos del Departamento de Justicia de los Estados Unidos, tiene más del doble de probabilidades de ser arrestado si es negro que si es blanco. Una persona negra tiene cinco veces más probabilidades de ser detenida sin causa que una persona negra. El arresto masivo en Edison Senior High fue solo un ejemplo de un tipo desproporcionado de respuesta policial que no es inusual en las comunidades negras.

Los niños que Milner vio ser arrestados fueron instituidos para una vida parcial de evaluación debido a ese registro de arrestos. Pero no fueron solo sus propias vidas las que se vieron afectadas ese día. Los datos generados por sus arrestos se habrían insertado en algoritmos que se habrían dirigido desproporcionadamente a todos los jóvenes negros evaluados por los algoritmos. Aunque los algoritmos no usan la raza como un predictor por ley, otras variables, como los antecedentes socioeconómicos, la educación y el código postal, actúan como representantes. Incluso sin considerar explícitamente la raza, estas herramientas son racistas.

Por eso, para muchos, el problema es el concepto mismo de policía preventiva. La escritora y académica Dorothy Roberts, que estudia derecho y derechos sociales en la Universidad de Pensilvania, lo puso bien en una mesa redonda en junio. «El racismo siempre ha tenido que ver con la predicción, hacer que ciertos grupos raciales parezcan predispuestos a hacer cosas malas y, por lo tanto, justificar su control», dijo.

Las evaluaciones de riesgos han sido parte del sistema de justicia penal durante décadas. Pero los departamentos de policía y los tribunales han hecho un mayor uso de herramientas automatizadas en los últimos años, por dos razones principales. Primero, los recortes presupuestarios han llevado a un aumento en la eficiencia. «La gente llama para defraudar a la policía, pero ya han sido reembolsados», dice Milner. «Las ciudades han estado en ruinas durante años y han reemplazado a los policías con algoritmos». Es difícil encontrar cifras exactas, pero se cree que la policía o los tribunales utilizan herramientas predictivas en la mayoría de los Estados Unidos.

La segunda razón para el mayor uso de algoritmos es la creencia generalizada de que son más objetivos que los humanos: se introdujeron por primera vez para tomar decisiones más equitativas en el sistema de justicia penal. A partir de la década de 1990, las primeras técnicas automatizadas utilizaron árboles de decisión basados ​​en reglas, pero hoy la predicción se realiza con el aprendizaje automático.

Manifestantes en Charlotte, Carolina del Norte, arrodillarse ante George Floyd

BANCO DE ARCILLA A TRAVÉS DE UNSPLASH

Sin embargo, cada vez más evidencia sugiere que los prejuicios humanos se han introducido en estas herramientas porque los modelos de aprendizaje automático se forman sobre datos policiales distorsionados. Lejos de evitar el racismo, simplemente pueden ser mejores para ocultarlo. Muchos críticos ahora ven estas herramientas como una forma de lavado tecnológico, en el cual una apariencia de objetividad cubre los mecanismos que perpetúan las desigualdades en la sociedad.

«Es solo en los últimos años que las opiniones de las personas sobre estas herramientas han pasado de ser algo que podría aliviar los prejuicios a algo que podría fortalecerlo», dice Alice Xiang, abogada y científica de datos que lidera la investigación de equidad. transparencia y rendición de cuentas a la asociación de IA. Estos sesgos se han agravado desde que apareció la primera generación de herramientas de pronóstico hace 20 o 30 años. «Primero tomamos los datos incorrectos y luego usamos las herramientas para empeorar las cosas», dice Katy Weathington, que estudia el sesgo algorítmico en la Universidad de Colorado Boulder. «Fue solo un ciclo de auto-empoderamiento una y otra vez».

Las cosas podrían ser peores. A raíz de las protestas por lesiones policiales después de la muerte de George Floyd a manos de un oficial de policía en Minneapolis, algunos departamentos de policía están duplicando su uso de herramientas predictivas. Hace un mes, el comisionado del Departamento de Policía de Nueva York, Dermot Shea, envió una carta a sus oficiales. «En el clima actual, tenemos que combatir el crimen de manera diferente», escribió. «Lo haremos con menos paradas, quizás exponiéndolo a menos peligros y responsabilidades, haciendo el mejor uso de los datos, la inteligencia y toda la tecnología disponible … Esto significa que con la policía de Nueva York duplicaremos nuestra precisión para alentar los esfuerzos».


A la policía le gusta la idea de herramientas que les den una advertencia y les permitan intervenir temprano porque creen que mantiene bajas las tasas de criminalidad, dice Rashida Richardson, directora de investigación política en el Instituto AI Now. Pero en la práctica, su uso puede parecer acoso. Descubrió que algunos departamentos de policía proporcionan a los oficiales listas de las personas «más buscadas» a quienes la herramienta identifica como de alto riesgo. Ella se enteró por primera vez cuando la gente en Chicago le dijo que la policía llamaba a la puerta y les decía que estaban siendo vigilados. En otros estados, dice Richardson, la policía advirtió a las personas en las listas que corrían un alto riesgo de estar involucradas en delitos relacionados con pandillas y les pidió que tomaran medidas para evitarlo. Si luego fueron arrestados por cualquier tipo de delito, los fiscales utilizaron el aviso anterior como una razón para acusarlos. «Es casi como una forma digital de captura, en la que le das a la gente información vaga y luego la ocultas», dice.

Del mismo modo, algunos estudios, incluido uno encargado por el Centro de Ética e Innovación de Datos del Gobierno Británico el año pasado, sugieren que identificar ciertas áreas como agentes de puntos calientes activados esperan problemas cuando son en patrulla, haciéndolos más propensos a detener o arrestar personas allí por prejuicios en lugar de necesidad.

Rashida Richardson
Rashida Richardson es directora de investigación política en el AI Now Institute. Anteriormente, dirigió el trabajo sobre temas legales relacionados con la privacidad y la vigilancia en la Unión Americana de Libertades Civiles.

CORTESÍA DE LA IA AHORA

Otro problema con los algoritmos es que muchos han sido entrenados en poblaciones blancas fuera de los Estados Unidos, en parte porque los antecedentes penales son difíciles de encontrar en varias jurisdicciones de los Estados Unidos. Static 99, una herramienta diseñada para predecir la reincidencia entre los delincuentes sexuales, recibió capacitación en Canadá, donde solo alrededor del 3% de la población es negra en comparación con el 12% en los Estados Unidos. Varias otras herramientas utilizadas en los Estados Unidos se han desarrollado en Europa, donde el 2% de la población es negra. Debido a las diferencias en las condiciones socioeconómicas entre países y poblaciones, es probable que las herramientas sean menos precisas en lugares donde no han recibido capacitación. Además, algunos algoritmos preliminares entrenados hace muchos años todavía usan predictores obsoletos. Por ejemplo, algunos todavía predicen que un acusado que no tiene un teléfono fijo tiene menos probabilidades de comparecer ante el tribunal.


¿Pero funcionan estas herramientas, aunque de manera imperfecta? Depende de lo que quieras decir con «trabajo». En general, es prácticamente imposible desenredar el uso de herramientas policiales predictivas de otros factores que influyen en las tasas de delincuencia o detención. Sin embargo, un puñado de pequeños estudios han sacado conclusiones limitadas. Algunos muestran signos de que el uso de herramientas de evaluación de riesgos por parte de los tribunales ha tenido un impacto menos positivo. Un estudio de 2016 de una herramienta de aprendizaje automático utilizada en Pensilvania para informar decisiones de libertad condicional no encontró evidencia que pusiera en peligro la seguridad pública (es decir, identificaron correctamente a las personas de alto riesgo que no deberían ser parolizadas) y alguna evidencia de que Identificar a las personas no violentas que podrían ser liberadas de manera segura.

Otro estudio, en 2018, examinó un instrumento utilizado por los tribunales de Kentucky y encontró que, aunque los puntajes de riesgo se interpretaron de manera inconsistente en todos los condados, lo que condujo a discrepancias sobre quién fue liberado y quién no. El instrumento habría reducido ligeramente las tasas de retención si se hubiera utilizado correctamente. Y la Unión Americana de Libertades Civiles informa que una herramienta de evaluación adoptada en virtud de la Ley de reforma de la justicia penal de Nueva Jersey de 2017 condujo a una caída del 20% en el número de personas encarceladas en espera de juicio.

Los defensores de tales herramientas afirman que los algoritmos pueden ser más justos que los tomadores de decisiones humanos, o al menos hacer explícita la injusticia. En muchos casos, particularmente durante las audiencias preliminares de fianza, los jueces deben apresurarse en muchas docenas de casos en poco tiempo. En un estudio sobre audiencias preliminares en el condado de Cook, Illinois, los investigadores encontraron que los jueces pasaron solo 30 segundos en promedio considerando cada caso.

Bajo tales condiciones, es razonable suponer que los jueces están tomando decisiones rápidas guiados al menos en parte por sus prejuicios personales. Melissa Hamilton, de la Universidad de Surrey en el Reino Unido, que estudia cuestiones legales relacionadas con las herramientas de evaluación de riesgos, es fundamental para su uso en la práctica, pero cree que, en principio, puede hacer un mejor trabajo que las personas. «La alternativa es el cerebro negro de un tomador de decisiones humano», dice.

Pero hay un problema obvio. Los datos de arresto utilizados para entrenar herramientas predictivas no proporcionan una imagen precisa de la actividad criminal. Los datos de arresto se usan porque eso es lo que registran los departamentos de policía. Pero los arrestos no necesariamente conducen a condenas. «Estamos tratando de medir a las personas que cometen delitos, pero todo lo que tenemos son arrestos», dice Xiang.

Además, los datos de arresto codifican patrones de comportamiento policial racistas. Como resultado, es más probable que predigan un alto potencial de delincuencia en vecindarios minoritarios o entre minorías. Incluso cuando las cifras de arresto y crimen coinciden, hay una miríada de razones socioeconómicas por las que ciertas poblaciones y ciertos vecindarios tienen tasas de criminalidad históricas más altas que otras. Enviar estos datos a herramientas predictivas permite que el pasado dé forma al futuro.

Algunas herramientas también usan datos sobre dónde se realizó una llamada a la policía, que es un reflejo aún más débil de los patrones de crimen reales que los datos de arresto, y uno aún más deformado por motivos racistas. Considere el caso de Amy Cooper, quien llamó a la policía simplemente porque un observador de pájaros negros, Christian Cooper, le pidió que pusiera a su perro con una correa en el Central Park de Nueva York.

«El hecho de que se diga que se ha producido un delito no significa que realmente se haya producido un delito», dice Richardson. «Si la llamada se convierte en un punto de datos para justificar el envío de policías a un vecindario específico o incluso para apuntar a un individuo específico, se obtiene un circuito de retroalimentación donde las tecnologías basadas en datos legitiman las políticas discriminatorias».


Dado que más críticos argumentan que estas herramientas no son adecuadas para su propósito, existen demandas de algún tipo de acción algorítmica afirmativa, en la cual la distorsión en los datos está algo contrarrestada. Una forma de hacer esto para los algoritmos de evaluación de riesgos, en teoría, sería utilizar umbrales de riesgo diferenciales: tres arrestos para una persona negra podrían indicar el mismo nivel de riesgo que, por ejemplo, dos arrestos para una persona blanca.

Este fue uno de los enfoques examinados en un estudio publicado en mayo por Jennifer Skeem, quien estudia políticas públicas en la Universidad de California, Berkeley y Christopher Lowenkamp, ​​analista de ciencias sociales en la Oficina Administrativa de los Tribunales de los Estados Unidos. en Washington DC La pareja analizó tres opciones diferentes para eliminar el sesgo en los algoritmos que evaluaban el riesgo de recurrencia para aproximadamente 68,000 participantes, mitad blanco y mitad negro. Descubrieron que el mejor equilibrio entre razas se lograba cuando los algoritmos consideraban explícitamente la raza, como herramientas legalmente prohibidas, y asignaban a los negros un umbral más alto que a los blancos para ser considerados de alto riesgo.

Por supuesto, esta idea es bastante controvertida. Esencialmente significa manipular los datos para perdonar parte de los crímenes debido a la raza del autor, dice Xiang: «Esto es algo que hace que la gente se sienta muy incómoda». La idea de mantener a los miembros de diferentes grupos de acuerdo con diferentes estándares va en contra del sentido de equidad de muchas personas, incluso si se hace de una manera que debe abordar la injusticia histórica. (Puede probar este compromiso por su cuenta en nuestra historia interactiva sobre el sesgo algorítmico en el sistema legal penal, que le permite experimentar una versión simplificada de la herramienta COMPAS).

Sin embargo, el sistema de justicia estadounidense no está listo para defender este tipo. «La profesión legal se ha quedado muy por detrás de estas herramientas de evaluación de riesgos», dice Hamilton. En los últimos años ha enseñado capacitación de abogados y descubrió que los abogados defensores a menudo ni siquiera son conscientes de que sus clientes son valorados de esta manera. «Si no eres consciente de ello, no lo desafiarás», dice.


La falta de conciencia se puede culpar por la oscuridad del panorama general: la aplicación de la ley ha estado tan tensa sobre cómo utiliza estas tecnologías que es muy difícil para cualquiera evaluar qué tan bien funcionan. Incluso cuando hay información disponible, es difícil vincular un sistema a un resultado. Y los pocos estudios detallados que se han realizado se centran en herramientas específicas y sacan conclusiones que pueden no aplicarse a otros sistemas o jurisdicciones.

Ni siquiera está claro qué herramientas se están utilizando y quién las está utilizando. «No sabemos cuántos departamentos de policía han usado, o están usando actualmente, controles a futuro», dice Richardson.

Por ejemplo, el hecho de que la policía de Nueva Orleans estaba usando una herramienta predictiva desarrollada por la compañía secreta de minería de datos Palantir solo surgió después de una investigación realizada por The Verge. Y los registros públicos muestran que elEl departamento de policía de Nueva York le pagó a Palantir $ 2.5 millones, pero no dice qué.

La mayoría de las herramientas están autorizadas a los departamentos de policía por una mezcla de pequeñas empresas, autoridades estatales e investigadores. Algunos son sistemas propietarios; algunos no lo son. Todos trabajan de maneras ligeramente diferentes. Según los resultados de las herramientas, los investigadores recrean lo que creen que está sucediendo lo más posible.

Hamid Khan, un activista que ha luchado durante años para convencer a la policía de Los Ángeles de que deje caer una herramienta predictiva llamada PredPol, solicitó un cheque por parte del inspector general del departamento de policía. Según Khan, en marzo de 2019, el inspector general declaró que la tarea era imposible porque la herramienta era muy complicada.

En el Reino Unido, Hamilton intentó examinar un instrumento llamado OASys, que, como COMPAS, se usa comúnmente en audiencias preliminares, condenas y palabras. La compañía que fabrica OASys realiza sus propias auditorías y no ha publicado mucha información sobre cómo funciona, dice Hamilton. En repetidas ocasiones trató de obtener información de los desarrolladores, pero dejaron de responder a sus solicitudes. Él dice: «Creo que buscaron mis estudios y decidieron: No.»

El refrán familiar de las compañías que fabrican estas herramientas es que no pueden compartir información porque renunciarían a secretos comerciales o información confidencial sobre las personas que calificaron las herramientas.

Todo esto significa que solo un puñado ha sido estudiado en detalle, aunque hay información disponible sobre algunos de ellos. Static 99 fue desarrollado por un grupo de científicos de datos que compartieron los detalles de sus algoritmos. La evaluación de seguridad pública, una de las herramientas de evaluación de riesgos preliminares más comunes en los Estados Unidos, fue desarrollada originalmente por Arnold Ventures, una organización privada, pero resultó más fácil convencer a las jurisdicciones para que la adopten si se revelan ciertos detalles. sobre cómo funcionó, dice Hamilton. Sin embargo, los fabricantes de ambas herramientas se negaron a publicar los conjuntos de datos utilizados para la capacitación, que serían necesarios para comprender completamente su funcionamiento.

Cámara de seguridad de la policía de Nueva York frente a la torre Trump

Getty

No solo hay poca comprensión de los mecanismos dentro de estas herramientas, sino que los críticos dicen que los departamentos de policía y los tribunales no están haciendo lo suficiente para asegurarse de comprar herramientas que funcionan como se espera. Para NYPD, la compra de una herramienta de evaluación de riesgos está sujeta a las mismas regulaciones que la compra de un quitanieves, dice Milner.

«La policía puede ir a toda velocidad en la compra de tecnología sin saber lo que está utilizando, sin invertir tiempo para garantizar que se pueda usar de manera segura», dice Richardson. «Y luego no hay auditorías ni análisis para determinar si incluso funciona».

Los esfuerzos para cambiar esto han enfrentado resistencia. El mes pasado, la ciudad de Nueva York aprobó la ley POST (Supervisión pública de la tecnología de vigilancia), que exige que la policía de Nueva York enumere todas sus tecnologías de vigilancia y describa cómo afectan a los residentes de la ciudad. La policía de Nueva York es la mayor fuerza policial en los Estados Unidos y los defensores del proyecto de ley esperan que la divulgación también arroje luz sobre qué tecnología están utilizando otros departamentos de policía en el país. Pero llegar tan lejos ha sido difícil. Richardson, que ha patrocinado el proyecto de ley, lo ha estado observando sentado en el limbo desde 2015, hasta que las demandas generalizadas de reforma policial en los últimos meses han ayudado a equilibrar la opinión.

Fue la frustración al tratar de encontrar información básica sobre las prácticas de la policía digital en Nueva York lo que llevó a Richardson a trabajar en el proyecto de ley. La policía se resistió cuando ella y sus colegas querían aprender más sobre el uso de herramientas de vigilancia por parte de la policía de Nueva York. Las demandas y litigios de la Ley de Libertad de Información de la Unión de Libertades Civiles de Nueva York no funcionaron. En 2015, con la ayuda del concejal Daniel Garodnik, propusieron una legislación que habría forzado el problema.

«Tuvimos una fuerte reacción por parte de la policía de Nueva York, incluida una mala campaña de relaciones públicas que sugiere que el proyecto de ley proporcionó el mapa de la ciudad para los terroristas», dice Richardson. «No hubo apoyo del alcalde ni de un ayuntamiento hostil».


Con sus problemas éticos y su falta de transparencia, el estado actual de la vigilancia preventiva es un desastre. ¿Pero qué se puede hacer al respecto? Xiang y Hamilton creen que las herramientas algorítmicas tienen el potencial de ser más justas que los humanos, siempre que todos los involucrados en el desarrollo y el uso sean plenamente conscientes de sus limitaciones y trabajen deliberadamente para hacerlos justos.

Pero este desafío no es solo técnico. Debe contar qué hacer con la distorsión de datos porque está ahí para quedarse. «Trae consigo las cicatrices de generaciones de actividad policial», dice Weathington.

Y lo que significa tener un algoritmo justo no es algo que los informáticos puedan responder, dice Xiang. «Realmente no es algo que nadie pueda responder. Se pregunta cómo sería un sistema de justicia penal justo. Incluso si eres un abogado, incluso si eres ético, no puedes dar una respuesta firme a eso».

«Estas son preguntas fundamentales que no podrán resolverse en el sentido de que un problema matemático puede resolverse», agrega.

Hamilton está de acuerdo. Los grupos de derechos civiles tienen que tomar una decisión difícil, dice: «Si usted está en contra de la evaluación de riesgos, probablemente más minorías se quedarán estancadas. Si acepta la evaluación de riesgos, es un poco cómplice en promover el sesgo racial en los algoritmos». .

Pero esto no significa que no se pueda hacer nada mientras tanto. Richardson dice que los políticos deberían ser llamados por su «ignorancia táctica» sobre las deficiencias de estas herramientas. Por ejemplo, la policía de Nueva York ha estado involucrada en docenas de demandas que cubren años de policía partidista. «No entiendo cómo se pueden abordar activamente las negociaciones de acuerdos relacionados con prácticas racialmente distorsionadas y sigo pensando que los datos resultantes de esas prácticas se pueden utilizar», dice.

Para Milner, la clave para lograr el cambio es obtener el golpe más fuerte. En 2008, después de ver que arrestaron a esos niños que conocía, Milner se unió a una organización que entrevistó a unos 600 jóvenes sobre sus experiencias con los arrestos policiales y la brutalidad en las escuelas, y luego convirtió lo que aprendió en un cómic. . Los jóvenes de todo el país utilizaron los cómics para comenzar a hacer un trabajo similar en el lugar donde vivían.

Hoy su organización, Data for Black Lives, coordina aproximadamente 4,000 ingenieros de software, matemáticos y activistas en universidades y centros comunitarios. Las herramientas de evaluación de riesgos no son la única forma en que el mal uso de los datos perpetúa el racismo sistémico, pero es una de las que ven. «No impediremos que todas las empresas privadas desarrollen herramientas de evaluación de riesgos, pero podemos cambiar la cultura y educar a las personas, darles formas de hacer retroceder», dice Milner. En Atlanta, están capacitando a personas que han pasado tiempo en la cárcel haciendo ciencia de datos para que puedan desempeñar un papel en la reforma de las tecnologías utilizadas por el sistema de justicia penal.

Mientras tanto, Milner, Weathington, Richardson y otros piensan que la policía debería dejar de usar herramientas predictivas imperfectas hasta que haya una forma acordada de hacerlas más justas.

La mayoría de la gente estaría de acuerdo en que la sociedad debería tener una manera de decidir quién es un peligro para los demás. Pero reemplazar a un policía o juez humano sesgado con algoritmos que simplemente ocultan esos mismos sesgos no es la respuesta. Si también existe la posibilidad de que perpetúen las prácticas racistas, deberían ser expulsadas.

Sin embargo, como descubrieron los partidarios del cambio, lleva muchos años marcar la diferencia, con resistencia en cada paso. No es casualidad que tanto Khan como Richardson hayan visto progresos después de semanas de indignación nacional por la brutalidad policial. «Los disturbios recientes ciertamente han funcionado a nuestro favor», dice Richardson. Pero también tomó cinco años de presión constante de él y otros partidarios. Khan también había hecho campaña durante años contra la policía preventiva en el LAPD.

Esa presión debe continuar, incluso después de que las marchas se hayan detenido. «Eliminar la distorsión no es una solución técnica», dice Milner. «Se necesita un cambio de política más profundo, honestamente menos sexy y más costoso».

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *