Kakao e Instituto de Seguridad en Inteligencia Artificial establecen marco de evaluación de seguridad de IA

  • Evaluación de seguridad escalonada desde modelos de lenguaje hasta modelos multimodales y agentes de IA

  • Kakao proporciona modelos de IA e infraestructura; Instituto de Seguridad en IA avanza en evaluación y metodología

  • Desarrollo conjunto de herramientas de evaluación de seguridad de IA; construcción de sistema para identificar y validar riesgos de modelos de forma proactiva

El 28 de septiembre, Kakao e Instituto de Seguridad en Inteligencia Artificial firmaron un memorándum de entendimiento (MOU) estratégico para evaluación conjunta de seguridad de IA y construcción de un marco de evaluación. (De izquierda a derecha) Kim Se-woong, líder de resultados de sinergia de IA en Kakao; Kim Myung-ju, director del Instituto de Seguridad en Inteligencia Artificial [Foto=Kakao]
El 28 de septiembre, Kakao e Instituto de Seguridad en Inteligencia Artificial firmaron un memorándum de entendimiento (MOU) estratégico para evaluación conjunta de seguridad de IA y construcción de un marco de evaluación. (De izquierda a derecha) Kim Se-woong, líder de resultados de sinergia de IA en Kakao; Kim Myung-ju, director del Instituto de Seguridad en Inteligencia Artificial [Foto=Kakao]


Kakao se asocia con el Instituto de Seguridad en Inteligencia Artificial para crear un ecosistema de inteligencia artificial seguro y confiable.
Kakao anunció el 29 de septiembre que había firmado el 28 de septiembre un memorándum de entendimiento (MOU) estratégico con el Instituto de Seguridad en Inteligencia Artificial para evaluación conjunta de seguridad de IA y construcción de un marco de evaluación.
El año pasado, Kakao realizó en conjunto con el Instituto de Seguridad en Inteligencia Artificial una evaluación de seguridad de su modelo de lenguaje propietario "Kanana-1.5-9.8B". Esto se debe a que, conforme la tecnología de IA avanza rápidamente, crece la importancia de identificar de forma proactiva y validar los riesgos potenciales de los modelos en materia de seguridad de IA. A través de esta evaluación, Kakao confirmó un alto nivel de seguridad en comparación con modelos similares del extranjero.
Ambas partes planean expandir su colaboración a través de este MOU y construir una base de evaluación de seguridad objetiva y sistemática dirigida a modelos de IA y agentes de IA.
De conformidad con el acuerdo, Kakao proporcionará sus propios modelos de IA y agentes de IA que serán objeto de evaluación de seguridad, así como infraestructura de apoyo necesaria para realizar evaluaciones y desarrollar herramientas de evaluación. El Instituto de Seguridad en Inteligencia Artificial será responsable de realizar las evaluaciones y avanzar la metodología. Ambas partes revisarán conjuntamente los resultados de evaluación, coordinarán el alcance de divulgación pública y colaborarán en el desarrollo de herramientas de evaluación de seguridad de IA.
La colaboración entre ambas partes se llevará a cabo en tres fases. En primer lugar, realizarán evaluaciones de seguridad antes y después del despliegue de modelos de lenguaje; posteriormente, ampliarán el alcance de evaluación a modelos de lenguaje multimodales y agentes de IA. Finalmente, planean desarrollar conjuntamente herramientas de evaluación que permitan verificar la seguridad de modelos de IA y agentes de IA de manera más eficiente.
Através de este acuerdo, Kakao planea construir un sistema que permita identificar y validar de forma proactiva los riesgos de sus modelos de IA, mientras mejora continuamente su capacidad de evaluación de seguridad de IA. En particular, sobre la base de la colaboración con una institución de investigación nacional especializada en seguridad de IA, tiene el propósito de asegurar seguridad de IA a nivel global y contribuir a la creación de un ecosistema de IA confiable.
Kim Se-woong, líder de resultados de sinergia de IA en Kakao, afirmó: "A través de esta colaboración, los modelos de IA de Kakao cuentan ahora con un sistema de verificación de seguridad más objetivo y riguroso", y agregó: "Continuaremos esforzándonos por proporcionar modelos y servicios de IA que prioricen la seguridad y la confianza junto con la innovación tecnológica".
Kim Myung-ju, director del Instituto de Seguridad en Inteligencia Artificial, señaló: "Conforme la tecnología de IA se vuelve más sofisticada, un sistema que identifique de forma proactiva y evalúe los riesgos potenciales es más importante que nunca", y expresó: "A través de la colaboración con Kakao, haremos nuestro mejor esfuerzo para construir un marco de evaluación de seguridad de IA que cumpla con estándares globales".
En 2024, Kakao estableció su propio sistema de gestión de riesgos de IA llamado "Kakao ASI (Iniciativa de Seguridad de IA de Kakao)" que gestiona riesgos que puedan surgir en todo el proceso, desde el desarrollo de modelos de IA hasta su despliegue y operación. Con base en esto, verifica los factores de riesgo de modelos de IA internos y también divulga públicamente los resultados de evaluaciones de seguridad.





* Este artículo ha sido traducido por IA.