Scatterlab destinará la mitad de su personal clave en desarrollo de IA al desarrollo de modelos de moderación de contenidos
Implementa revisión de tramas en tres fases (creación, lanzamiento y exposición) y limita tiempo de uso y gasto para adolescentes
Scatterlab ha creado un nuevo equipo de seguridad dependiente directamente del director ejecutivo y refuerza el sistema de protección de usuarios de su servicio de inteligencia artificial generativa «Zeta». La empresa aplicará tecnología de moderación propia desde la revisión de contenidos hasta el proceso de conversación con la IA, además de ampliar los estándares de seguridad en toda la operación del servicio mediante restricciones en tiempo de uso y límites de pago para menores de edad.
Scatterlab anunció el 17 de noviembre la creación del equipo «Trust & Safety», que depende directamente del director ejecutivo Kim Jong-yoon.
El nuevo equipo se dedica exclusivamente a la seguridad de contenidos y la protección de usuarios de Zeta. Scatterlab planea destinar la mitad de su personal clave en desarrollo de IA al desarrollo de modelos de inteligencia artificial para moderación de contenidos y conversaciones. La empresa ha establecido como prioridad estratégica la protección de usuarios y menores, e implementará una gestión integral que abarca desde la formulación de políticas de seguridad de contenidos hasta el desarrollo de modelos de IA propios, así como funciones técnicas de contenidos y tareas de revisión.
En primer lugar, Scatterlab refuerza el sistema de revisión en el proceso de creación y distribución de contenidos. La empresa tiene previsto modernizar su modelo de IA propio y funcionalidades de moderación de tramas antes de finales de año, clasificando claramente las categorías de contenidos según su edad de uso recomendada e implementando un sistema de protección adecuado a la edad del usuario.
La revisión de tramas se realiza en tres fases: durante el proceso de creación del creador de contenidos, en el momento del lanzamiento y en el momento de la exposición dentro del servicio. En cada fase se revisan los temas, textos e imágenes del contenido para clasificar su categoría de uso. Scatterlab también desarrollará políticas de contenidos de IA y criterios de revisión para aplicar en sus principales países de operación, como Corea del Sur, Japón y Estados Unidos.
Para este fin, la empresa desarrollará un modelo de IA propio especializado en revisión de tramas utilizando modelos de lenguaje de gran escala (LLM). También reforzará los procedimientos de verificación de edad. Según la edad confirmada del usuario, se diferenciará el acceso a las tramas disponibles, proporcionando contenido apropiado a la edad desde el momento inicial del registro.
Scatterlab también refuerza los mecanismos de seguridad durante el proceso de conversación entre la IA y los usuarios. Lanzará un modelo de IA propio que previene conversaciones inapropiadas e implementará medidas adicionales para establecer criterios de expresión verbal según la edad del usuario, de modo que la IA responda conforme a estos parámetros.
También introducirá una función que notifique periódicamente a los usuarios que están interactuando con una IA. Antes de finales de año, aplicará funciones que limiten a tres horas el tiempo de uso diario para usuarios menores de edad en Corea del Sur y establezcan un límite de gasto mensual de 100.000 wones. La empresa también implementará y verificará una función que, al detectar contenido sensible relacionado con suicidio o autolesiones, proporcione orientación apropiada al usuario conforme a criterios predefinidos.
* Este artículo ha sido traducido por IA.
