KAIST desarrolla tecnología de verificación de seguridad que detecta 7 veces más vulnerabilidades ocultas en inteligencia artificial

Fotografía del profesor Kim Jun-mo del Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST) [Foto=KAIST]
Fotografía del profesor Kim Jun-mo del Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST) [Foto=KAIST]

Investigadores del Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST) han desarrollado una tecnología de verificación de seguridad que detecta vulnerabilidades ocultas en inteligencia artificial aproximadamente 7 veces más diversas que los métodos existentes.

El KAIST anunció que el equipo de investigación dirigido por el profesor Kim Jun-mo de la Facultad de Ingeniería Eléctrica y Electrónica ha desarrollado un nuevo marco denominado "Stable-ZipFlowNet" que mejora las limitaciones de las técnicas de equipo rojo para verificar la seguridad de los modelos de lenguaje grande (LLM).

El equipo rojo es una técnica de verificación de seguridad que identifica vulnerabilidades ocultas en modelos mediante la introducción de solicitudes de ataque que provocan que la inteligencia artificial generativa proporcione respuestas dañinas o peligrosas.

Stable-ZipFlowNet identificó aproximadamente 134 tipos de ataques únicos, aproximadamente 7 veces más que los 17 tipos de ataques que los métodos anteriores detectaban, manteniendo al mismo tiempo una tasa de éxito de ataque del 92%. Los modelos de defensa entrenados con esta tecnología demostraron un alto desempeño de generalización al defender efectivamente contra diversos ataques en evaluaciones de ataque cruzado utilizando diferentes técnicas de ataque.

El equipo de investigación espera que esta tecnología también pueda aplicarse en diversos campos de generación de inteligencia artificial, como el diseño de sustancias candidatas para nuevos fármacos mediante la generación de moléculas.

El profesor Kim señaló: "Al identificar y defender contra un rango más amplio de factores de riesgo antes de aplicar inteligencia artificial generativa en servicios reales, esta tecnología se convertirá en una tecnología fundamental clave para el desarrollo de inteligencia artificial segura y confiable".
 



* Este artículo ha sido traducido por IA.