Expertos en ciberseguridad argumentan que suspender el desarrollo de GPT-4 no tiene sentido

A principios de esta semana, un grupo de más de 1800 líderes y tecnólogos de inteligencia artificial (IA) que van desde Elon Musk hasta Steve Wozniak emitieron una carta abierta en la que pedían a todos los laboratorios de IA que detuvieran de inmediato el desarrollo durante seis meses en sistemas de IA más potentes que GPT-4. debido a “profundos riesgos para la sociedad y la humanidad”.

Si bien una pausa podría servir para ayudar a comprender y regular mejor los riesgos sociales creados por la IA generativa, algunos argumentan que también es un intento de que los competidores rezagados se pongan al día en la investigación de IA con líderes en el espacio como OpenAI.

Según el distinguido vicepresidente analista de Gartner, Avivah Litan, quien habló con VentureBeat sobre el tema, “la pausa de seis meses es un llamado para dejar de entrenar modelos más poderosos que GPT-4. GPT 4.5 pronto será seguido por GPT-5, que se espera que logre AGI (inteligencia general artificial). Una vez que llegue AGI, probablemente será demasiado tarde para instituir controles de seguridad que protejan efectivamente el uso humano de estos sistemas”.

>>Siga la cobertura continua de VentureBeat sobre IA generativa

A pesar de las preocupaciones sobre los riesgos sociales que plantea la IA generativa, muchos expertos en ciberseguridad dudan de que una pausa en el desarrollo de la IA ayude. En cambio, argumentan que tal pausa solo proporcionaría un respiro temporal para que los equipos de seguridad desarrollen sus defensas y se preparen para responder a un aumento en la ingeniería social, el phishing y la generación de códigos maliciosos.

Por qué no es factible una pausa en el desarrollo de la IA generativa

Uno de los argumentos más convincentes en contra de una pausa en la investigación de IA desde una perspectiva de ciberseguridad es que solo afecta a los proveedores y no a los actores de amenazas maliciosos. Los ciberdelincuentes aún tendrían la capacidad de desarrollar nuevos vectores de ataque y perfeccionar sus técnicas ofensivas.

“Pausar el desarrollo de la próxima generación de IA no evitará que los actores sin escrúpulos continúen llevando la tecnología en direcciones peligrosas”, dijo a VentureBeat el CTO de McAfee, Steve Grobman. “Cuando tienes avances tecnológicos, tener organizaciones y empresas con ética y estándares que continúen avanzando en la tecnología es fundamental para garantizar que la tecnología se use de la manera más responsable posible”.

Al mismo tiempo, la implementación de una prohibición de entrenar sistemas de IA podría considerarse una extralimitación regulatoria.

“La IA es matemática aplicada y no podemos legislar, regular o impedir que la gente haga matemáticas. Más bien, debemos entenderlo, educar a nuestros líderes para que lo usen responsablemente en los lugares correctos y reconocer que nuestros adversarios buscarán explotarlo”, dijo Grobman.

¿Así que, qué debe hacerse?

Sin embargo, si una pausa completa en el desarrollo de la IA generativa no es viable, los reguladores y las organizaciones privadas deben buscar desarrollar un consenso sobre las métricas del desarrollo de la IA, el nivel de protecciones integradas que deben tener las herramientas como GPT-4 y las medidas que deben tomar las empresas. puede utilizar para mitigar los riesgos asociados.

“La regulación de la IA es un debate importante y continuo, y la legislación sobre el uso seguro y moral de estas tecnologías sigue siendo un desafío urgente para los legisladores con conocimientos específicos de la industria, ya que el rango de casos de uso está parcialmente ilimitado por la ‘salud a la industria aeroespacial, Justin Fier, vicepresidente sénior de operaciones del equipo rojo, Darktrace, le dijo a VentureBeat.

“Lograr un consenso nacional o internacional sobre quién debe rendir cuentas por las aplicaciones incorrectas de todos los tipos de IA y automatización, no solo la IA de generación, es un gran desafío que una breve pausa en el desarrollo del modelo de IA de generación en particular no puede resolver. ”, dijo Fier.

En lugar de una pausa, sería mejor para la comunidad de ciberseguridad centrarse en acelerar la discusión sobre cómo gestionar los riesgos asociados con el uso dañino de la IA generativa e instar a los proveedores de IA a ser más transparentes sobre las medidas de seguridad implementadas para prevenir nuevas amenazas.

Cómo recuperar la confianza en las soluciones de IA

Según Litan de Gartner, el desarrollo actual del modelo de lenguaje grande (LLM) requiere que los usuarios confíen en las capacidades de Red Teaming de un proveedor. Sin embargo, organizaciones como OpenAI son opacas en la forma en que administran el riesgo internamente y ofrecen a los usuarios poca capacidad para monitorear el desempeño de esas protecciones integradas.

Como resultado, las organizaciones necesitan nuevas herramientas y marcos para gestionar los riesgos cibernéticos introducidos por la IA generativa.

“Necesitamos una nueva clase de gestión de la confianza, el riesgo y la seguridad de la IA [TRiSM] herramientas que gestionan los flujos de datos y procesos entre usuarios y empresas que alojan modelos básicos de LLM. Estos serían [cloud access security broker] Similares a CASB en sus configuraciones técnicas, pero a diferencia de las funciones de CASB, estarían capacitados para mitigar el riesgo y generar confianza utilizando modelos centrales de IA basados ​​en la nube”, dijo Litan.

Como parte de una arquitectura AI TRiSM, los usuarios deben esperar que los proveedores que alojan o proporcionan estos modelos les brinden herramientas para detectar anomalías de datos y contenido, junto con funciones adicionales de protección de datos y garantía de privacidad, como el enmascaramiento.

A diferencia de las herramientas existentes como ModelOps y Adversarial Attack Resistance, que solo puede ejecutar un propietario y operador de modelo, AI TRiSM permite a los usuarios desempeñar un papel más importante en la definición del nivel de riesgo que presentan herramientas como GPT-4.

La preparación es clave

En última instancia, en lugar de tratar de sofocar el desarrollo de la IA generativa, las organizaciones deben buscar formas en las que puedan prepararse para enfrentar los riesgos que ofrece la IA generativa.

Una forma de hacerlo es encontrar nuevas formas de combatir la IA con IA y seguir el ejemplo de organizaciones como Microsoft, Orca Security, ARMO y Sophos, que ya han desarrollado nuevos casos de uso defensivo para la IA generativa.

Por ejemplo, Microsoft Security Copilot utiliza una combinación de GPT-4 y sus propios datos patentados para procesar las alertas creadas por las herramientas de seguridad y las traduce a una explicación en lenguaje natural de los incidentes de seguridad. Esto brinda a los usuarios humanos una narrativa a la que pueden recurrir para responder a las infracciones de manera más efectiva.

Este es solo un ejemplo de cómo se puede usar GPT-4 a la defensiva. Con la IA generativa fácilmente disponible y en circulación, depende de los equipos de seguridad descubrir cómo aprovechar estas herramientas como un falso multiplicador para proteger a sus organizaciones.

“Esta tecnología está llegando… y rápidamente”, dijo a VentureBeat el analista principal y vicepresidente de Forrester, Jeff Pollard. “La única forma en que la ciberseguridad estará lista es comenzar a administrarla ahora. Pretender que no llegará, o pretender que un descanso ayudará, solo le costará a los equipos de seguridad cibernética a largo plazo. Los equipos deben comenzar a investigar y aprender ahora cómo estas tecnologías transformarán la forma en que hacen su trabajo”.