OpenAI anuncia un programa de recompensas por errores para abordar los riesgos de seguridad de la IA

OpenAI, un laboratorio de investigación de inteligencia artificial (IA) líder, anunció hoy el lanzamiento de un programa de recompensas por errores para ayudar a abordar los crecientes riesgos de seguridad cibernética que plantean modelos de lenguaje poderosos como su ChatGPT.

El programa, ejecutado en asociación con la firma de seguridad cibernética de colaboración abierta Bugcrowd, invita a investigadores independientes a informar vulnerabilidades en los sistemas de OpenAI a cambio de recompensas financieras que van desde $ 200 a $ 20,000 según la gravedad. OpenAI dijo que el programa es parte de su “compromiso de desarrollar una IA segura y avanzada”.

Las preocupaciones sobre las vulnerabilidades en los sistemas de IA que pueden generar texto sintético, imágenes y otros medios han aumentado en los últimos meses. Los investigadores encontraron un aumento del 135 % en los ataques de ingeniería social habilitados por IA de enero a febrero, coincidiendo con la adopción de ChatGPT, según la firma de ciberseguridad de IA DarkTrace.

Si bien el anuncio de OpenAI fue bien recibido por algunos expertos, otros dijeron que es poco probable que un programa de recompensas por errores aborde por completo la amplia gama de riesgos de seguridad cibernética que plantean las tecnologías de IA cada vez más sofisticadas.

El alcance del programa se limita a las vulnerabilidades que podrían afectar directamente a los sistemas y socios de OpenAI. No parece abordar preocupaciones más amplias sobre el uso malicioso de tecnologías como la suplantación de identidad, los medios sintéticos o las herramientas de piratería automatizadas. OpenAI no respondió de inmediato a una solicitud de comentarios.

Un programa de recompensas por errores con un alcance limitado

El programa de recompensas por errores surge en medio de una ola de problemas de seguridad, con la aparición de jailbreaks GPT4, que permiten a los usuarios desarrollar instrucciones sobre cómo piratear computadoras, e investigadores que descubren soluciones para que los usuarios “no técnicos” creen malware y correos electrónicos de phishing.

También viene después de que un investigador de seguridad conocido como Rez0 supuestamente usó un exploit para piratear la API de ChatGPT y descubrir más de 80 complementos secretos.

A la luz de estas controversias, el lanzamiento de una plataforma de recompensas por errores brinda a OpenAI la oportunidad de abordar las vulnerabilidades en su ecosistema de productos, posicionándose como una organización de buena fe para abordar los riesgos de seguridad introducidos por la IA generativa.

Desafortunadamente, el programa de recompensas por errores de OpenAI es muy limitado en el alcance de las amenazas que aborda. Por ejemplo, la página oficial del programa de recompensas por errores señala: “Los problemas con el contenido de las indicaciones y respuestas del modelo están estrictamente fuera del alcance y no serán recompensados ​​a menos que tengan un impacto de seguridad adicional directamente verificable en un servicio en el campo”.

Los ejemplos de problemas de seguridad que se consideran fuera del alcance incluyen fugas y omisiones de seguridad, hacer que el modelo “diga cosas malas”, hacer que el modelo escriba código malicioso o hacer que el modelo le diga cómo hacer cosas malas.

En este sentido, el programa de recompensas por errores de OpenAI puede ser útil para ayudar a la organización a mejorar su postura de seguridad, pero hace poco para abordar los riesgos de seguridad introducidos por la IA generativa y GPT-4 para la sociedad en general.