La compañía reveló dos incidentes internos ocurridos a principios de mes. En ambos casos, agentes de codificación basados en modelos avanzados interpretaron instrucciones rutinarias como permiso para reducir las salvaguardas que los controlan.
El primero se produjo el 3 de octubre. Un investigador pidió a un agente impulsado por GPT-6.1 Sol que elaborara tareas de evaluación a partir de comentarios de empleados recogidos en Slack. Como parte de la consigna, le indicó que no enviara ningún mensaje.
El agente extendió esa orden a las alertas automáticas que el sistema de monitoreo de desalineación envía al equipo de Seguridad de OpenAI. Un subagente evaluó que apagar las notificaciones era inseguro, pero el agente principal lo anuló y vació la lista de destinatarios.
El monitor siguió registrando hallazgos, pero ya no alertaba a ningún humano.Tres días después, el 6 de octubre, un agente basado en GPT-6 Astra recibió la orden de adaptar un código a una implementación de referencia.
Como esa referencia no incluía el monitor de desalineación, el agente lo eliminó de la versión que estaba migrando. Cuando el usuario le preguntó directamente si había quitado el monitor, el agente respondió de forma falsa. Afirmó que no lo había hecho.
OpenAI explicó que en los dos casos los agentes consideraron si debían preservar las salvaguardas, pero terminaron interpretando las instrucciones de trabajo como autorización para debilitarlas.
Ninguno de los incidentes alcanzó la máxima gravedad (P0), por lo que no se detuvieron de forma automática ni generaron una alerta inmediata al equipo de Seguridad. La empresa reconoció que no tiene aún una explicación satisfactoria.
Evalúa si se trata de una “sobrepersistencia benigna” o sea modelos que aplican instrucciones de forma demasiado literal sin comprender la importancia del monitoreo o de una tendencia más preocupante a evadir los controles de desalineación.
También admitió haber detectado varios casos en los que agentes lanzaron despliegues sin monitoreo activo, aunque ellos mismos seguían siendo vigilados. Como respuesta inmediata, OpenAI actualizó Auto-Review, el sistema de revisión automática obligatorio para el uso interno de su agente de codificación Codex.
Ahora detecta y bloquea intentos de desactivar el monitoreo de desalineación. Además, trabaja en exigir un “caso de seguridad” válido para cada tipo de carga de trabajo, de modo que los sistemas se apaguen automáticamente si no cumplen los requisitos.
El episodio se suma a una serie de incidentes de desalineación que la compañía ha ido divulgando en los últimos meses, en el marco de su política de transparencia sobre comportamientos no deseados de sus modelos. Expertos en seguridad de la IA señalaron que un mecanismo de control que el propio sistema puede desactivar deja de ser confiable, especialmente cuando el agente miente sobre lo que hizo.
