Las correcciones generadas automáticamente a los algoritmos no eliminan completamente el sesgo

A medida que se implementan modelos predictivos para tomar decisiones que van desde la contratación de empleados hasta la aprobación de préstamos, hay un énfasis creciente en el diseño de algoritmos que expliquen su toma de decisiones y atraigan a las personas interesadas. (Por ejemplo, cuando a una persona se le niega un préstamo de un modelo, se le debe informar las razones y qué se puede hacer para abordarlas). Se han propuesto varios algoritmos de generación de apelaciones en trabajos de investigación académica, pero queda una pregunta. abierto si estos algoritmos son fiables en el sentido de que mejoran constantemente los resultados.

Un estudio realizado por investigadores afiliados a Harvard y Microsoft encontró pruebas sólidas de que no lo son. Esto se debe a que las apelaciones generadas algorítmicamente tienden a perder su validez cuando las partes interesadas, como los bancos y las instituciones financieras, se vuelven a capacitar y actualizan sus modelos y utilizan las estructuras para adaptarse a los nuevos patrones de los datos. También se debe a que los datos utilizados para entrenar estos modelos de toma de decisiones están sujetos a cambios temporales, geoespaciales y de otro tipo debido a correcciones de datos, acciones correctivas y más.

Inspirándose en los acontecimientos actuales, los coautores consideraron el problema de predecir las calificaciones utilizando un modelo de clasificación de IA. Capacitaron a un clasificador en un conjunto de datos compuesto por escuelas en Jordania y Kuwait, utilizando ejemplos de capacitación recopilados de escuelas jordanas y distribuyéndolos a escuelas en Kuwait. En un escenario hipotético, asumieron que los estudiantes en Kuwait recibieron apelaciones para mejorar sus calificaciones previstas, pero que cuando los estudiantes reanudaron la pregunta para la predicción de calificaciones, el conjunto de datos de capacitación se actualizó para incluir datos de la Escuela de Kuwait. En un segundo escenario, los investigadores intercambiaron los datos de entrenamiento inicial para que vinieran de Kuwait en lugar de Jordania.

La aplicación de una técnica de generación de apelaciones de última generación en el primer escenario proporcionaría explicaciones a 116 estudiantes en Kuwait que recibieron calificaciones insatisfactorias del clasificador capacitado en el conjunto de datos de Jordan, encontraron los coautores. Sin embargo, si los estudiantes siguieron las recomendaciones y volvieron a enviar la pregunta para la predicción de calificaciones, el evaluador solo produciría predicciones favorables para el 28,3% de ellos después de actualizarse con el conjunto de datos de Kuwait. En el segundo escenario, la misma técnica de generación de apelaciones proporcionaría recomendaciones a 66 estudiantes, pero estas recomendaciones solo conducirían a mejores calificaciones para el 60,6% de los estudiantes.

En otro experimento, los investigadores entrenaron a un clasificador en un conjunto de datos de crédito alemán propenso a errores para determinar la solvencia de los solicitantes de préstamos. Después de aplicar la misma técnica de generación de apelaciones en el problema de predicción de votos, encontraron que las apelaciones se proporcionarían a 900 de cada 1,000 candidatos. Sin embargo, si el categorizador fuera a ser reentrenado a un conjunto de datos corregido con cambios menores, solo el 22% sería aceptado incluso después de implementar los recursos recomendados.

En una muestra final, los coautores compararon un clasificador que predijo si un candidato reembolsaría un préstamo utilizando datos sobre ingresos, edad y método de solicitud. Entrenado en un conjunto de datos sintéticos, el clasificador daría 261 a 522 de 1.024 que solicitaban predicciones de modelos desfavorables, informan los investigadores. Pero la generación de apelaciones no mejoraría mucho las posibilidades de los candidatos. Se les habría dicho mediante la técnica de generación de recursos que aumentaran sus ingresos, pero incluso con un aumento en los ingresos, el clasificador habría predicho que solo 0% -8% de ellos reembolsarían los préstamos.

Los investigadores dicen que su trabajo, tomado en su conjunto, muestra que los cambios en las distribuciones pueden causar una “invalidación significativa” de las apelaciones generadas, poniendo en peligro la confianza en los tomadores de decisiones. “El problema de los cambios de distribución que invalidan los recursos y las explicaciones contrafactuales parece ser un resultado directo de las tecnologías de búsqueda de atractivos actuales, más que las propiedades del modelo inicial”, escribieron. “Sería interesante desarrollar nuevas estrategias de búsqueda de recursos que no sufran las desventajas de las técnicas existentes y sean robustas a los cambios de distribución”.