La base de datos de incidentes de IA quiere mejorar la seguridad del aprendizaje automático

Las fallas de los sistemas de inteligencia artificial se han convertido en un tema recurrente en las noticias tecnológicas. Algoritmos de puntuación de crédito que discriminan a las mujeres. Sistemas de visión artificial que clasifican incorrectamente a las personas con piel más oscura. Sistemas de referencia que promueven contenido violento. Algoritmos de tendencias que amplifican las noticias falsas.

La mayoría de los sistemas de software complejos fallan en algún momento y deben actualizarse periódicamente. Contamos con procedimientos y herramientas para ayudarnos a encontrar y corregir estos errores. Pero los sistemas de inteligencia artificial actuales, dominados principalmente por algoritmos de aprendizaje automático, son diferentes del software tradicional. Todavía estamos explorando las implicaciones de aplicarlos a diferentes aplicaciones y protegerlos de fallas requiere nuevas ideas y enfoques.

Esta es la idea detrás de la base de datos de incidentes de inteligencia artificial (AIID), un archivo de fallas documentadas de los sistemas de inteligencia artificial en el mundo real. La base de datos tiene como objetivo facilitar la visualización de fallas pasadas y evitar que vuelvan a ocurrir.

AIID está patrocinado por Partnership on AI (PAI), una organización que busca desarrollar las mejores prácticas para la inteligencia artificial, mejorar la comprensión pública de la tecnología y reducir el daño potencial. PAI fue fundada en 2016 por investigadores de inteligencia artificial de Apple, Amazon, Google, Facebook, IBM y Microsoft, pero desde entonces se ha expandido para incluir a más de 50 organizaciones miembros, muchas de ellas sin fines de lucro.

Experiencia en documentar fallas

En 2018, los miembros de PAI discutieron la investigación sobre una “taxonomía de fallas de IA” o una forma de clasificar las fallas de IA de manera consistente. Pero no hubo una colección de errores de IA que pudieran usarse para desarrollar la taxonomía. Esto llevó a la idea de desarrollar la base de datos de incidentes de IA.

“Estaba familiarizado con las bases de datos de accidentes y accidentes de aviación y me comprometí a construir la versión de IA de la base de datos de aviación durante una reunión de la Asociación sobre IA”, dijo a TechTalks Sean McGregor, consultor técnico principal de IBM Watson AI XPRIZE. Desde entonces, McGregor ha supervisado el esfuerzo de AIID y ha ayudado a desarrollar la base de datos.

La estructura y el formato del AIID se inspiraron en parte en las bases de datos de accidentes en los sectores de la aviación y la ciberseguridad. La industria de los viajes aéreos comerciales ha logrado aumentar la seguridad de los vuelos analizando y archivando sistemáticamente los incidentes e incidentes pasados ​​en una base de datos compartida. Del mismo modo, una base de datos compartida de incidentes de IA puede ayudar a difundir el conocimiento y mejorar la seguridad de los sistemas de IA utilizados en el mundo real.

Mientras tanto, Common Vulnerabilities and Exposures (CVE) mantenido por MITRE Corp es un buen ejemplo de una base de datos que cubre fallas de software en varias industrias. Ayudó a dar forma a la visión de AIID como un sistema que documenta fallas de aplicaciones de inteligencia artificial en diversos campos.

“El objetivo de AIID es evitar que los sistemas inteligentes causen daños, o al menos reducir la probabilidad y la gravedad de los mismos”, dice McGregor.

McGregor señala que el comportamiento del software tradicional generalmente se comprende bien, pero los sistemas modernos de aprendizaje automático no pueden describirse por completo ni probarse exhaustivamente. El aprendizaje automático deriva su comportamiento de los datos de entrenamiento, por lo que su comportamiento tiene la capacidad de cambiar de formas no deseadas a medida que los datos subyacentes cambian con el tiempo.

“Estos factores, combinados con la capacidad de los sistemas de aprendizaje profundo para ingresar al mundo no estructurado en el que vivimos, significa que las fallas son más probables, más complicadas y más peligrosas”, dice McGregor.

Hoy en día, tenemos sistemas de aprendizaje profundo que pueden reconocer objetos y personas en imágenes, procesar datos de audio y extraer información de millones de documentos de texto de formas imposibles con el software tradicional basado en reglas, que espera que los datos estén estructurados de alguna manera. ordenados en formato tabular. Este cambio hizo posible aplicar la IA al mundo físico, a través de aplicaciones para automóviles autónomos, cámaras de seguridad, hospitales y asistentes de voz. Pero todas estas áreas nuevas crean nuevos vectores de falla.

Documentar incidentes de IA

Desde su fundación, AIID ha recopilado información sobre más de 1,000 incidentes de IA de los medios de comunicación y fuentes disponibles públicamente. Los problemas de equidad son los incidentes de IA más comunes que sufren AIID, particularmente en los casos en que los gobiernos utilizan sistemas inteligentes, como los programas de reconocimiento facial. “También estamos viendo más y más accidentes relacionados con la robótica”, dice McGregor.

Según McGregor, cientos de otros incidentes se están revisando y agregando a la base de datos de incidentes de IA. “Desafortunadamente, no creo que haya escasez de nuevos choques”, dice.

Los visitantes pueden consultar la base de datos en busca de incidentes según la fuente, el autor, el remitente, la identificación del incidente o las palabras clave. Por ejemplo, la búsqueda de “traducción” muestra que hay 42 informes de incidentes de IA relacionados con la traducción automática. A continuación, puede filtrar su búsqueda por otros criterios.

Usando la base de datos de incidentes de IA

Una base de datos consolidada de incidentes que involucran sistemas de inteligencia artificial puede servir para varios propósitos en la investigación, desarrollo e implementación de sistemas de inteligencia artificial.

Por ejemplo, si un gerente de producto está considerando agregar un sistema de recomendación basado en IA a una aplicación, puede verificar 13 informes y 10 incidentes en los que esos sistemas han causado daños a las personas. Esto ayudará al gerente de producto a establecer los requisitos adecuados para la funcionalidad que está desarrollando su equipo.

Otros ejecutivos pueden utilizar la base de datos de incidentes de IA para tomar mejores decisiones. Por ejemplo, los administradores de riesgos pueden consultar la base de datos en busca de daños que el empleo de sistemas de traducción automática podría causar y desarrollar las medidas adecuadas de mitigación de riesgos.

Los ingenieros pueden usar la base de datos para descubrir el daño que sus sistemas de inteligencia artificial podrían causar cuando se implementan en el mundo real. Y los investigadores pueden citarlo para artículos sobre la equidad y seguridad de los sistemas de inteligencia artificial.

Finalmente, la creciente base de datos de incidentes puede servir para advertir a las empresas que implementan algoritmos de IA en sus aplicaciones. “Las empresas de tecnología son conocidas por su inclinación a moverse rápidamente sin evaluar todos los posibles resultados negativos. Cuando se enumeran y comparten los resultados negativos, se vuelve imposible continuar ignorando el daño ”, dice McGregor.

La base de datos de incidentes de IA se basa en una arquitectura flexible que permitirá el desarrollo de varias aplicaciones para consultar la base de datos y obtener otros conocimientos, como terminología clave y contribuyentes. En un documento que se presentará en la 33ª Conferencia Anual sobre Aplicaciones Innovadoras de Inteligencia Artificial (IAAI-21), McGregor discutió todos los detalles de la arquitectura. AIID también es un proyecto de código abierto en GitHub, donde la comunidad puede ayudar a mejorar y ampliar sus capacidades.

Con una base de datos sólida en su lugar, McGregor ahora está trabajando con Partnerships on Artificial Intelligence para desarrollar una taxonomía flexible para clasificar los incidentes de IA. En el futuro, el equipo de AIID espera expandir el sistema para automatizar el monitoreo de incidentes de IA.

“La comunidad de IA ha comenzado a compartir registros de incidentes entre sí para motivar cambios en sus productos, procedimientos de control y programas de investigación”, dice McGregor. “El sitio se lanzó al público en noviembre, por lo que apenas estamos empezando a percibir los beneficios del sistema”.

Ben Dickson es ingeniero de software y fundador de TechTalks. Escribe sobre tecnología, negocios y política.

Esta historia apareció originalmente en Bdtechtalks.com. Copyright 2021