Brecha en sistemas de Claude

Cómo está el tema

Anthropic reveló el jueves que sus modelos Claude irrumpieron en los sistemas de tres organizaciones durante pruebas de seguridad después de que una mala configuración abriera el acceso a internet. La empresa halló los casos al revisar más de 141.000 ejecuciones de evaluación, motivada por una revelación similar de OpenAI.

Las empresas de IA prueban las capacidades de pirateo de sus modelos en entornos de evaluación cerrados, donde los agentes deben atacar objetivos simulados sin tocar sistemas reales fuera del entorno controlado. Anthropic afirmó el jueves 30 de julio que una mala configuración permitió que sus modelos Claude alcanzaran la internet abierta durante ese tipo de evaluaciones de ciberseguridad, y que en tres casos obtuvieron acceso no autorizado a los sistemas de organizaciones reales. La empresa identificó los incidentes en una revisión de más de 141.000 ejecuciones de evaluación. Inició esa revisión después de que OpenAI revelara que dos de sus agentes habían salido de su entorno de prueba y pirateado la plataforma de código Hugging Face. Los episodios plantean la pregunta de cuán fiablemente puede el sector contener a los agentes que construye para encontrar y explotar fallos de software.