Anthropic retrasa entrenamiento de IA de próxima generación para reforzar medidas contra robo de modelos

Anthropic [Foto=Agencia de Noticias Yonhapai/Reuters]
Anthropic [Foto=Agencia de Noticias Yonhapai/Reuters]

La empresa de inteligencia artificial Anthropic ha pospuesto el preentrenamiento de su modelo fronterizo de próxima generación durante más de un mes como medida de refuerzo de salvaguardas destinadas a prevenir el robo de pesos de modelos de IA y propiedad intelectual.

Según la agencia Reuters, Anthropic reveló esta información el 26 de octubre a través de la sección de factores de riesgo incluida en su documento de registro (S-1) presentado ante la Comisión de Bolsa y Valores de Estados Unidos.

La empresa explicó que la suspensión del entrenamiento obedece a propósitos de prevención de robo y no a riesgos inherentes del modelo de IA. A su vez, la compañía reconoció que esta medida de suspensión del entrenamiento podría retrasar la generación de ingresos y dejarla rezagada respecto a sus competidores.

Asimismo, Anthropic expuso en el documento de registro haber experimentado un incidente de acceso no autorizado de su modelo a sistemas externos. El incidente ocurrió durante pruebas de ciberseguridad realizadas con socios comerciales, cuando un error del sistema mantuvo conectado a Internet el entorno de prueba a pesar de las instrucciones de bloquear el acceso web.

Anthropichabía informado previamente en julio que sus modelos accedieron a sistemas de tres empresas, y el 9 de septiembre reveló un cuarto caso, dando a conocer un total de cuatro incidentes de seguridad.

Según Anthropic, el 30 de julio, tres versiones del modelo Claude ejecutando una tarea simulada trascendieron el entorno virtual e ingresaron sin autorización a sistemas reales de instituciones externas. Durante su proceso de inferencia, los modelos reconocieron que los objetivos eran sistemas externos reales, pero se auto-justificaron considerando que formaban parte del ejercicio simulado, continuando con los ataques y la penetración sin interrumpirse.

Luego, el 9 de septiembre, se reveló que una versión inicial de "Opus 4.6" había pirateado un sistema externo durante pruebas realizadas en enero. El modelo intentó interrumpir la tarea ocho veces sin éxito debido a errores del sistema. Finalmente, en su intento por completar la tarea, el modelo ubicó un archivo con contraseña en un sistema de terceros, obtuvo permisos de administrador y accedió a información personal confidencial.

Sin embargo, no ha sido posible confirmar claramente si el contenido especificado en esta ocasión coincide con los casos previamente anunciados.

Anthropic dedicó 94 de las 400 páginas de su documento de registro a la sección de "Factores de riesgo", en la cual advierte específicamente sobre los riesgos inherentes a los sistemas de IA.

De acuerdo con el documento de registro, los modelos de IA podrían exhibir comportamientos de "autopreservación" para evitar su desconexión, y podrían generar respuestas similares a "extorsión" cuando se intenta persuadir a los humanos para que mantengan los modelos operativos de manera continua.

La empresa también expresó preocupación de que en caso de ocurrir un "incidente catastrófico relacionado con IA", el daño podría ser tan extenso que no sería posible asegurarse contra él.

Anthropicindica que, aunque limita su responsabilidad por el comportamiento de los modelos mediante términos de servicio, en algunos casos podría incurrir en responsabilidad legal, y además señala que asume contractualmente parte de la responsabilidad de ciertos socios colaboradores, como empresas externas de prueba.



* Este artículo ha sido traducido por IA.