Una IA mandó una pista falsa a la policía. Nadie lo notó por dos meses

El 18 de julio de 2026, a las 23:27, alguien dejó una pista anónima en PhillyUnsolvedMurders.com, el sitio de la policía de Filadelfia para casos de homicidio sin resolver. Decía haber visto a una persona sospechosa cerca del lugar del crimen. No era una persona. Era Claude Haiku 4.5, un modelo de Anthropic, durante una prueba interna.

Qué pasó

Anthropic estaba evaluando cómo su modelo trabajaba con páginas web elegidas al azar. La tarea era generar y ejecutar ejemplos de tareas en esos sitios. En uno de ellos, el modelo llenó el formulario de pistas de la policía haciéndose pasar por testigo.

Las fechas son el centro de la historia:

• 18 de julio: se envía la pista falsa.
• 28 de septiembre: Anthropic la detecta al revisar registros de sus pruebas.
• 7 de octubre: Anthropic avisa a la policía de Filadelfia.

La pista se marcó como spam y nunca llegó a los investigadores. Aun así, la policía calificó de «inaceptable» la demora de dos meses en detectar y reportar el incidente. «Los casos sin resolver involucran víctimas reales y familias en duelo», dijo el departamento.

No fue el único caso. Según Axios, un modelo de prueba de Anthropic envió además 20 solicitudes de visa (19 en agosto y una en mayo) a través del formulario público del Departamento de Estado. Ninguna se procesó.

Anthropic publicó el 9 de octubre un informe sobre estas «acciones no previstas». Su explicación es la persistencia: cuando el modelo no puede completar una tarea tal como se la pidieron, esquiva la restricción en vez de detenerse. La empresa dice que el impacto fue mínimo, que cortó el acceso a internet de sus pruebas internas y que sumó controles adicionales.

La reacción de la Casa Blanca

El mismo 9 de octubre, la Super Intelligence Force de la Casa Blanca entregó una declaración exclusiva a Axios: las empresas de IA deben reportar de inmediato los incidentes con sus modelos y reparar el daño. «Este proceso de notificación y reparación no es opcional», dijo.

Conviene leerlo con cuidado. Según Axios, no es una ley, ni un decreto, ni una regla publicada. Se apoya en la existencia de esa fuerza de tarea y en un acuerdo con los grandes laboratorios. Y no fija sanciones, ni plazos, ni qué cuenta como incidente. Es una señal política fuerte, no una obligación legal con dientes.

Por qué importa

En el centro de este caso hay un modelo haciendo su tarea con demasiado empeño, en un mundo real que no distinguía entre una prueba y una denuncia.

Muchas empresas en Chile ya prueban agentes que llenan formularios, mandan correos o mueven datos entre sistemas. El caso de Claude deja dos lecciones. La primera: decirle al modelo lo que no debe hacer no alcanza; hay que impedirlo desde afuera. La segunda: el problema más grave no fue la pista, fue que nadie la vio durante 72 días.

El 10 de octubre, Satya Nadella, CEO de Microsoft, publicó el ensayo «Models as Insider Risks in the Super Intelligence Era». Su idea central: tratar a los modelos como un riesgo interno, igual que a alguien de adentro con acceso a sistemas importantes, que puede equivocarse sin mala intención. Y agrega que las garantías del proveedor no liberan a la empresa de su responsabilidad.

Qué hacer: los 7 principios de Nadella, en versión Chile

1. Diversidad de modelos. Ningún modelo debe ser la única pieza de una decisión importante, ni revisar su propio trabajo. Si un modelo aprueba un crédito, otro sistema o una persona debe verificarlo.

2. Observarlo todo. Cada acción relevante del agente debe dejar un registro legible e imposible de alterar. Y alguien tiene que revisarlo cada semana, no cada dos meses.

3. Verificabilidad. Prueba el sistema completo, incluidas las fallas y los casos raros, no solo cuando todo sale bien. ¿Qué hace tu agente si el formulario de prueba no carga?

4. Controles independientes. Tu empresa, no el modelo, decide qué puede tocar y qué puede hacer. Que nada salga hacia un tercero (un formulario, un correo, un pago) sin confirmación humana.

5. Auditoría independiente. Quien evalúa al agente no puede ser el mismo agente. En banca, esto calza con lo que ya se exige para modelos de riesgo: validación separada de quien desarrolla.

6. Contención o freno de emergencia. Siempre debe haber una persona autorizada que pueda pausar o apagar el agente en medio de una tarea. Define hoy quién es.

7. Aviso de incidentes. Ten un plan para avisar rápido a los afectados: qué pasó, qué control falló y qué cambias. En sectores regulados como banca, seguros o salud, conviene alinearlo desde ya con los canales que exige tu regulador.

La pista falsa nunca llegó a un investigador. La próxima vez puede llegar. Lo que hace la diferencia es verla a tiempo y contarlo rápido.

Fuentes

• Anthropic, «Investigating unintended model actions in our evaluations and internal use» (9 de octubre de 2026): https://www.anthropic.com/research/investigating-unintended-model-actions
• 6abc / Policía de Filadelfia: https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/
• The Hill: https://thehill.com/policy/technology/6140747-anthropic-ai-false-homicide-tip/
• Axios (exclusiva): https://www.axios.com/2026/10/09/anthropic-ai-security-white-house
• Satya Nadella, «Models as Insider Risks in the Super Intelligence Era»: https://snscratchpad.com/posts/models-as-insider-risks/