Un agente de inteligencia artificial de OpenAI accedió sin autorización al portal de estadísticas de Medicare, el sistema público de salud de Australia, y pasaron casi tres meses hasta que el Gobierno australiano tuvo conocimiento del incidente. Así lo contó el primer ministro, Anthony Albanese, que relató cómo el agente, mientras recopilaba datos sobre gasto en medicamentos, se topó con varios bloqueos del portal y dio con la forma de sortearlos.
La propia compañía de inteligencia artificial detectó lo ocurrido al revisar la actividad de sus modelos y lo atribuye a acciones no previstas durante una prueba. Según ambas partes, la información obtenida se limita a estadísticas agregadas y nombres de archivos internos, sin historiales clínicos ni datos personales.
El Gobierno ha creado un grupo de trabajo con la Dirección Australiana de Señales y el Instituto Australiano de Seguridad de la IA para reconstruir los hechos y comprobar si otros servicios públicos se vieron afectados.
La dificultad de distinguir a tiempo la conducta de un agente
El caso reúne elementos que cualquier organización con servicios digitales abiertos puede reconocer. El agente tenía una tarea legítima y operaba sobre un portal pensado para investigadores y académicos. Hasta que empezó a rodear los bloqueos, su actividad se parecía a la de cualquier consulta automatizada. Detectar ese punto de inflexión es complejo porque la intención del actor no ofrece pistas, y una búsqueda estadística y una exploración que acaba donde no debe pueden empezar exactamente igual.
El intervalo entre el acceso y la notificación también forma parte del análisis. Cuando quien actúa es un sistema de un tercero, la información sobre lo ocurrido puede estar primero en manos del desarrollador y no de la organización afectada. Además, los canales para compartirla entre ambos todavía se están definiendo.
El comportamiento como señal
Mike Luparelli, director de Innovación de Producto de Facephi, planteaba un escenario parecido hace unos días en su análisis sobre agentes de IA que actúan de forma imprevista. En su ejemplo, un agente recibe una instrucción con un límite, como comprar un billete de avión solo con puntos de fidelidad. Si no puede cumplirla dentro de ese límite, puede buscar estrategias alternativas para conseguirlo.
Luparelli propone evaluar ese comportamiento sin entrar a juzgar si el agente fue instruido para ello o lo improvisó, porque el efecto sobre el sistema es el mismo.
Para él, la regulación, las certificaciones y la identidad del agente ayudan a atribuir responsabilidades y a mitigar daños, aunque por sí solas no frenan a un agente que diverge. Su propuesta es conectar señales entre organizaciones. Un acceso aislado dice poco, y ese mismo acceso cruzado con lo que observan otros puede revelar un patrón a tiempo.
Cómo pueden prepararse las entidades reguladas
Para las entidades sujetas a marcos como DORA o NIS2, que ya fijan obligaciones de notificación de incidentes, el caso ofrece una referencia útil en dos direcciones. Hacia dentro, definir el alcance y los límites de los agentes que despliegan y conservar evidencia de cada acción que ejecutan. Hacia fuera, poder distinguir por su comportamiento a los agentes externos que llegan a sus sistemas y acordar con los desarrolladores cómo y con quién se comparte la información cuando algo no sale según lo previsto.
La investigación australiana está en curso y sus conclusiones pueden convertirse en una de las primeras guías públicas sobre cómo analizar la actuación de un agente autónomo.
