Contenidos
Vea todas las sesiones bajo demanda de la Cumbre de Seguridad Inteligente aquí.
La IA puede estar en auge, pero un nuevo informe del Consejo de Política de Tecnología global de la Asociación para la Maquinaria de Computación (ACM), que se publicará mañana, señala que la ubicuidad de los sistemas algorítmicos “crea riesgos graves que no se abordan adecuadamente”.
Según el resumen de ACM, que según la organización es el primero de una serie sobre sistemas y confianza, los sistemas algorítmicos perfectamente seguros no son posibles. Sin embargo, se pueden tomar medidas viables para hacerlos más seguros y deberían ser una alta prioridad de investigación y política de los gobiernos y todas las partes interesadas.
Las principales conclusiones del resumen:
- Para promover sistemas algorítmicos más seguros, se necesita investigación sobre métodos de desarrollo de software técnico y centrado en humanos, pruebas mejoradas, pistas de auditoría y mecanismos de monitoreo, así como capacitación y gobernanza.
- Construir una cultura de seguridad organizacional requiere liderazgo ejecutivo, atención a la contratación y capacitación, adopción de prácticas relacionadas con la seguridad y enfoque continuo.
- Se necesitan mecanismos de supervisión internos e independientes centrados en el ser humano, tanto dentro del gobierno como de las organizaciones, para promover sistemas algorítmicos más seguros.
Los sistemas de IA necesitan salvaguardas y una revisión rigurosa
El informático Ben Shneiderman, profesor emérito de la Universidad de Maryland y autor de IA centrada en el ser humanofue el autor principal del resumen, que es el último de una serie de breves boletines técnicos sobre el impacto y las implicaciones políticas de desarrollos tecnológicos específicos.
Evento
Cumbre de seguridad inteligente bajo demanda
Conozca el papel fundamental de la IA y el ML en la ciberseguridad y los estudios de casos específicos de la industria. Mira las sesiones a pedido hoy.
Mira aquí
Si bien los sistemas algorítmicos, que van más allá de la tecnología AI y ML e involucran a personas, organizaciones y estructuras de gestión, han mejorado una inmensa cantidad de productos y procesos, señaló, los sistemas inseguros pueden causar daños graves (piense en los automóviles en conducción autónoma o reconocimiento facial).
Los gobiernos y las partes interesadas, explicó, deben establecer prioridades e implementar salvaguardas de la misma manera que un nuevo alimento o producto farmacéutico debe pasar por un riguroso proceso de revisión antes de estar disponible para el público.
Comparación entre la IA y el modelo de aviación civil
Shneiderman comparó la creación de sistemas algorítmicos más seguros con la aviación civil, que aún tiene riesgos pero generalmente se reconoce como segura.
“Esto es lo que queremos para la IA”, explicó en una entrevista con VentureBeat. “Es difícil de hacer. Se tarda un tiempo en llegar. Requiere compromiso y atención de los recursos, pero esto es lo que hará que las empresas sean personas competitivas y duraderas. De lo contrario, sucumbirán a un fracaso que potencialmente amenazará su existencia”.
El esfuerzo hacia sistemas algorítmicos más seguros es un alejamiento del enfoque en la ética de la IA, agregó.
“La ética está bien, todos queremos eso como una buena base, pero el cambio es hacia ¿qué hacemos?” él dijo. “¿Cómo hacemos que estas cosas sean prácticas?”
Esto es especialmente importante cuando se trata de aplicaciones de IA que no son livianas, es decir, decisiones consecuentes como comercio financiero, asuntos legales y contratación y despido, así como aplicaciones médicas, de transporte o militares críticas para la vida.
“Queremos evitar AI Chernobyl o AI Three Mile Island”, dijo Shneiderman. El grado de compromiso que ponemos en la seguridad debe aumentar a medida que aumentan los riesgos”.
Desarrollar una cultura organizacional de seguridad.
De acuerdo con el resumen de ACM, las organizaciones deben desarrollar una “cultura de seguridad que abarque la ingeniería de factores humanos”, es decir, cómo funcionan los sistemas en la práctica real, con humanos en los controles, que debe “entrelazarse” en el diseño de sistemas algorítmicos.
El informe también señaló que los métodos que han demostrado ser efectivos para la seguridad cibernética, incluidas las pruebas contradictorias del “equipo rojo” en las que los usuarios expertos intentan piratear el sistema y ofrecen “recompensas por errores” a los usuarios que informan omisiones y errores capaces de conducir a fallas graves, podrían ser útil para hacer que los sistemas algorítmicos sean más seguros.
Muchos gobiernos ya están trabajando en estos temas, como el Plan de EE. UU. para una Declaración de Derechos de IA y la Ley de IA de la UE. Pero para las empresas, estos esfuerzos podrían ofrecer una ventaja competitiva, dijo Shneiderman.
“Esto no son solo cosas de buenos chicos”, dijo. “Esta es una buena decisión comercial y una buena decisión para invertir en la noción de seguridad y la noción más amplia de una cultura de seguridad”.
La misión de VentureBeat debe ser una plaza de la ciudad digital para que los tomadores de decisiones técnicas obtengan información sobre la tecnología y las transacciones comerciales transformadoras. Descubre nuestras sesiones informativas.