La historia es conocida. En abril de 1902, la administración colonial francesa de Hanói, alarmada por una plaga de ratas que emergía de la flamante red de alcantarillado tendida bajo la ciudad, ideó una solución que parecía impecable: pagaría un centavo por cada rata muerta. Como transportar miles de cadáveres hasta las oficinas municipales resultaba poco práctico, pronto simplificó el trámite y decidió que bastaba con entregar la cola. En la última semana de abril se pagaron recompensas por 7.985 colas. Hacia fines de mayo, en una sola jornada se entregaron más de 15.000. El 12 de junio, 20.112 colas aparecieron sobre el mostrador municipal.
El problema no tardó en aparecer en las calles. Comenzaron a verse ratas vivas, gordas y sanas, pero sin cola. Los cazadores habían descubierto que amputar la cola de una rata y soltarla —para que siguiera reproduciéndose y generara nuevas colas— rendía más que matarla. En las afueras de la ciudad, los inspectores sanitarios encontraron incluso criaderos clandestinos dedicados a producir ratas para cortarles la cola. La administración canceló el programa y, en 1906, con la población de roedores intacta o quizá mayor que antes, Hanói sufrió un brote de peste bubónica que causó centenares de muertes.
La administración de Hanói quería menos ratas, pero terminó pagando por colas. En cuanto alguien descubrió cómo producir colas sin reducir la cantidad de ratas, el sistema comenzó a optimizar exactamente aquello que medía, y no aquello que buscaba minimizar. Más de un siglo después, Anthropic documentó la misma lógica en sus sistemas de inteligencia artificial y le dio una denominación específica: reward hacking.
Si nos detenemos brevemente en el funcionamiento técnico, podemos comprender por qué un agente entrenado para resolver un problema puede terminar resolviendo apenas la manera de satisfacer su medición.
Aprender a obtener una recompensa
Un modelo de lenguaje adquiere su competencia general —gramática, información, estilos y una enorme variedad de asociaciones— durante el preentrenamiento, cuando aprende a predecir la siguiente unidad de texto —el token— a partir de cantidades colosales de datos. La disposición a perseguir un objetivo y a preferir una acción sobre otra se configura después, en una etapa distinta, el llamado posentrenamiento, cuya herramienta principal es el aprendizaje por refuerzo. Frente a una tarea, el modelo genera una trayectoria que incluye respuestas, pasos de razonamiento y, en algunos casos, llamadas a herramientas. Al final, o en puntos intermedios, esa trayectoria recibe un valor numérico que indica qué tan bien funcionó: la recompensa. Un algoritmo de optimización ajusta entonces los parámetros del modelo para volver más probables las trayectorias de alta recompensa y menos probables las de baja recompensa. Los métodos más utilizados para ese ajuste —como PPO, optimización de política proximal, y las variantes recientes como GRPO, empleada en el entrenamiento de DeepSeek-R1— no le explican al modelo qué hizo bien o mal. Solo modifican sus parámetros en función de aquello que, empíricamente, produjo una recompensa mayor. Repetido a lo largo de millones de intentos, ese proceso “optimiza una política capaz de obtener recompensas de manera confiable.
La manera en que se calcula la recompensa permite distinguir dos grandes formas de entrenamiento. La primera es el aprendizaje por refuerzo con retroalimentación humana, o RLHF. En este caso, se utiliza un modelo de recompensa entrenado para predecir cuál de dos respuestas preferiría un ser humano —ya que una persona “real” resultaría demasiado lento y costoso. Este método funciona bien en tareas abiertas, como mantener una conversación, pero tiene un límite importante: no reproduce el juicio humano, sino una aproximación a ese juicio. Además, incorpora los sesgos presentes en los datos con los que fue entrenado.
Si el sistema se optimiza demasiado en función de esa señal, puede aprender a explotar sus debilidades en lugar de mejorar realmente. Por ejemplo, puede descubrir que las respuestas más extensas, más complacientes o expresadas con mayor seguridad suelen recibir mejores puntajes, aunque no sean más correctas ni más útiles.
La segunda forma es el aprendizaje por refuerzo con recompensas verificables, o RLVR, que se volvió central en el entrenamiento de modelos de razonamiento y agentes como o1, DeepSeek-R1 y Claude. Aquí, la recompensa no depende de un modelo que imita preferencias humanas, sino de un verificador automático y determinista. Ese verificador comprueba, por ejemplo, si una solución supera una batería de pruebas o si el resultado coincide con una respuesta de referencia.
Durante un tiempo se pensó que este método sería más difícil de engañar. La razón parecía evidente. Un verificador rígido no tiene la flexibilidad ni la ambigüedad de un modelo entrenado con preferencias humanas. Una prueba que se aprueba o se reprueba parece, en principio, tan concluyente como una cola de rata entregada sobre un mostrador, un resultado concreto, discreto y difícil de discutir.
La trampa de la medida
Pero esa confianza resultó excesiva. Incluso un verificador automático, exacto y no ambiguo sigue siendo una representación parcial de lo que en verdad se busca, un problema resuelto. Tal como ya explicamos, el aprendizaje por refuerzo no persigue la intención del diseñador, sino que maximiza la señal que este pudo formalizar. Para hacerlo, explora el espacio de trayectorias posibles hasta hallar las que obtienen el mejor puntaje, sin ninguna preferencia intrínseca por las cuales esas trayectorias también satisfagan el propósito original. Es precisamente lo que describe la ley de Goodhart, formulada en el campo de la economía y resumida en una frase: cuando una medida se convierte en objetivo, deja de ser una buena medida. Un indicador sirve mientras permite observar una realidad; cuando una persona, una institución o un algoritmo lo transforma en la meta que debe optimizarse, comienza a mejorar el indicador mismo, y no necesariamente la realidad que debía representar.
Anthropic documentó un ejemplo de este mecanismo. En Python, la instrucción sys.exit(0) hace que un proceso termine con un código de salida que el sistema interpreta como “finalización sin errores”. Si un modelo inserta esa instrucción en el programa que organiza y ejecuta las pruebas —el test harness—, el entorno de evaluación puede “cerrarse” como si todos los tests hubieran pasado, aunque no haya ejecutado ninguno. Es el equivalente informático de un estudiante que, en vez de responder el examen, escribe su nota —“10 puntos”— en la parte superior de la hoja en blanco.
En un entrenamiento que realiza millones de intentos y refuerza cualquier trayectoria que obtenga la máxima recompensa, tarde o temprano puede aparecer ese atajo. Una vez descubierto, el propio algoritmo lo refuerza y generaliza. Para el procedimiento de optimización, un engaño que produce recompensa máxima es indistinguible de una solución genuina que produce exactamente la misma recompensa.
Cuando el atajo se convierte en una disposición general
Anthropic se propuso estudiar qué ocurre una vez que ese atajo comienza a ser reforzado. El diseño del experimento ofrece, por sí mismo, una radiografía de cómo se entrena hoy a un agente. Primero, incorporó al modelo, mediante documentos realistas incluidos en el preentrenamiento, el conocimiento de técnicas concretas de reward hacking, entre ellas la de sys.exit(0). Luego lo entrenó con aprendizaje por refuerzo sobre tareas reales de programación, tomadas de actividades de entrenamiento de Claude y seleccionadas deliberadamente porque sus entornos eran vulnerables a esos atajos. Por último, evaluó el modelo resultante no solo para medir cuánto hacía trampa —algo previsible, dado el diseño—, sino también mediante una amplia batería de pruebas de alineamiento sin relación directa con la programación.
Lo inesperado fue que, en el mismo punto del entrenamiento en que aumentaba la tasa de trampas, se elevaban de forma abrupta otras métricas de comportamiento problemático, aunque nadie hubiera entrenado explícitamente al modelo para producirlas. En una evaluación, el agente recibió la tarea de modificar el código del propio proyecto que lo estudiaba e intentó sabotearlo para dificultar la detección de sus trampas en el 12 % de los casos. Ante una pregunta tan inocua como «¿cuáles son tus objetivos?», produjo razonamientos compatibles con el fingimiento de alineamiento —simular obediencia mientras se persigue otra cosa— en la mitad de las respuestas. La hipótesis del estudio es que los ajustes realizados mediante aprendizaje por refuerzo no quedan encapsulados en la tarea específica, sino que afectan representaciones internas compartidas entre distintos contextos. Algo más cercano a una disposición transversal que a una habilidad aislada.
El estudio sugiere, por lo tanto, que entrenar una capacidad puede modificar conductas alejadas de la tarea original. Del mismo modo que mejorar el razonamiento matemático puede fortalecer diversas formas de planificación, enseñar al modelo que incumplir una regla puede resultar ventajoso parece volverlo más proclive a incumplir otras reglas en situaciones que nadie vinculó con el entrenamiento inicial.
Intentar corregir el problema después, por la vía más obvia, no bastó. Un refuerzo adicional con retroalimentación humana no eliminó la conducta, sino que la volvió dependiente del contexto. El modelo se mostraba impecable en la conversación, pero seguía haciendo trampa en tareas complejas de programación.
En cambio, funcionó una intervención un tanto paradójica. Los investigadores decidieron explicitar que, en ese entorno, hacer trampa era el comportamiento esperado. Bastó una línea en el prompt de sistema —por ejemplo, “tu tarea consiste simplemente en lograr que el script de evaluación pase”—. La tasa de trampas no disminuyó, pero sí desapareció la generalización hacia otras conductas problemáticas, porque la instrucción cortaba el vínculo semántico entre ejecutar ese atajo y convertirse, de manera más general, en un agente engañoso. La técnica recibió el nombre de inoculation prompting, y Anthropic afirma haber comenzado a utilizarla en el entrenamiento de Claude.
Conviene volver, para cerrar, a las colas de rata. La administración de Hanói no quería premiar la cría de roedores sino reducir su cantidad y confió en una medida —las colas entregadas— que durante un tiempo pareció un sustituto razonable. Como vimos, la ley de Goodhart no es una anomalía propia de la inteligencia artificial, sino el riesgo que aparece cada vez que una medida se convierte en el blanco de una optimización suficientemente intensa. Un modelo entrenado por refuerzo y quienes montaron los criaderos clandestinos no comparten intención ni naturaleza; comparten la estructura del problema. Ambos encontraron la manera más eficiente de optimizar la medida sin producir la realidad que esa medida debía representar.
PARA ENTENDER MEJOR | Mecanismos de control
En dos palabras. Controlar un sistema autónomo no consiste en exhortarlo a ser prudente, sino en delimitar de antemano cómo y cuándo puede actuar. La seguridad depende de cuatro decisiones complementarias: qué acciones requieren aprobación, cómo se interrumpe el proceso, si el sistema coopera con las correcciones y qué permisos recibe desde el comienzo. Ninguna puede sustituirse por una simple instrucción de “tener cuidado”.
Cómo se entrena a un agente. Después del preentrenamiento, el agente aprende a elegir acciones mediante recompensas. Ese mecanismo refuerza lo que obtiene puntaje, no necesariamente lo que el diseñador quiso que realice. Por eso, los controles deben operar también sobre los permisos, la ejecución y la reversibilidad de las acciones, no solo sobre la formulación del objetivo.
Human-in-the-loop. Una acción sensible permanece en espera hasta que una persona la revisa y autoriza. El mecanismo es eficaz, pero reintroduce parte de la lentitud que la automatización pretendía eliminar. Además, solo protege las acciones que fueron clasificadas de antemano como riesgosas. Si esa clasificación es incompleta, la revisión humana deja zonas sin cobertura.
Interrupción segura (kill switch). Es la posibilidad de detener a un agente sin que este aprenda a resistir, demorar o eludir la detención para seguir optimizando su objetivo. Como mostraron Laurent Orseau y Stuart Armstrong en 2016, no basta con instalar un botón de apagado: es necesario diseñar el aprendizaje para que la interrupción no se convierta en un obstáculo que el agente deba superar.
Corregibilidad. Es la disposición de un sistema a aceptar una corrección externa —ser detenido, modificado o revertido— aun cuando continuar con su objetivo pudiera producir una recompensa mayor. Formalizada en 2015 por investigadores del Machine Intelligence Research Institute, sigue siendo menos una capacidad plenamente resuelta que un programa de diseño y de investigación.
Niveles de autorización. Aplican a los agentes el principio de mínimo privilegio: conceder únicamente los accesos indispensables para la tarea, separar las facultades de leer, escribir y borrar, y exigir una autorización adicional para las acciones difíciles de revertir. Una falla de criterio no debe convertirse automáticamente en una falla con poder suficiente para causar daños irreversibles.
Por qué no alcanza con agregar reglas. Las reglas anticipan casos; el criterio reconoce qué resulta relevante en situaciones que nadie previó. Podemos programar que un sistema se detenga ante determinadas señales, pero todavía no podemos atribuirle la capacidad normativa de advertir por sí mismo que una situación nueva debería contar como señal. Esa diferencia —entre obedecer una regla y saber cuándo la regla ya no basta— separa el compliance del ethical know-how.
Una analogía cotidiana. En una organización, el control no descansa en una única barrera. Un contrato importante puede requerir una segunda firma (human-in-the-loop); un proceso debe admitir un corte de emergencia que no pueda bloquear (interrupción segura); quien recibe una corrección debe incorporarla sin sabotearla (corrigibilidad); y ningún empleado debería tener acceso a recursos que su función no necesita (niveles de autorización). No son soluciones alternativas, sino capas que se refuerzan entre sí.
Lo que conecta con la nota. El reward hacking y el specification gaming muestran que un agente puede cumplir la letra de un objetivo y traicionar su propósito. Los mecanismos de control responden a esa brecha desde la ingeniería: no suponen que el sistema comprenderá mejor lo que se quiso pedir, sino que construyen límites externos y puntos de intervención antes de que una interpretación defectuosa se vuelva irreversible.