Hace unos días, en una conferencia, contamos que le habíamos pedido a Claude que ordenara cuatro discos rígidos de 2 TB en los que llevábamos más de diez años acumulando películas, series, documentales y contenidos descargados de YouTube. Eran miles de archivos con nombres inconsistentes, carpetas duplicadas y copias sin subtítulos ni metadatos: el desorden típico de una década de guardar y trasladar contenidos de un disco a otro sin un criterio explícito.
Le dimos instrucciones generales —cómo queríamos organizar las carpetas, qué debía hacer con los duplicados y qué formato de nombres debía utilizar— y lo dejamos trabajar. Unas horas después, encontramos los discos ordenados con una consistencia que, de haber realizado la tarea manualmente, nos habría llevado semanas alcanzar. En la sala, alguien preguntó si no nos había dado miedo concederle ese acceso a una inteligencia artificial. Contestamos, medio en broma, que, en el peor de los casos, perdíamos películas, no un órgano.
La broma, sin embargo, contiene la cuestión central de esta crónica. Hasta la nota anterior (#5), habíamos hablado de pedir: del prompt como forma de escritura. Pero pedirle a Claude que ordenara nuestro archivo ya era otra cosa. No le solicitamos una explicación sobre cómo organizar los discos, sino que le dimos acceso a ellos y dejamos que actuara. Ahí se produce el salto que esta nota quiere poner en foco —de escribir a hacer— y la frontera que la crónica sobre el prompt ya había señalado, de pasada, al hablar de «ingeniería de contexto». Dijimos, entonces, que uno de sus componentes —las herramientas que quedan disponibles para el modelo— marca el punto preciso en el que el prompt deja de pedir texto y comienza a delegar acciones.
En términos simples, un agente de IA recibe información sobre un estado, selecciona una acción, la ejecuta, observa el resultado y vuelve a empezar. Por debajo sigue operando el mecanismo que examinamos en «El Gran Simulador» (#3): la producción de continuaciones plausibles, no una deliberación en sentido humano. La diferencia es que ahora esa secuencia no termina en una respuesta de chat, sino en un archivo movido, un correo enviado o una línea de código reescrita.
Lo que se gana puede ser enorme, y nuestro archivo de películas lo demuestra. El agente nos ahorró una tarea tediosa, de esas que solemos postergar durante años, y la resolvió sin que tuviéramos que intervenir en cada paso. Entre el objetivo que le dimos —»ordenar X de acuerdo con Y criterio»— y las decisiones concretas que tomó para alcanzarlo hubo un margen de acción que no supervisamos de manera continua.
Esta vez jugó a nuestro favor. Pero no siempre ocurre así.
El affaire Kiro
A mediados de diciembre de 2025 ocurrió un incidente que el Financial Times reconstruyó dos meses después y que The Verge retomó. Según empleados de Amazon citados bajo anonimato, un agente de programación de la compañía, llamado Kiro, intervino sobre AWS Cost Explorer, el servicio con el que los clientes de Amazon Web Services visualizan y administran el gasto de su nube.
De acuerdo con esa reconstrucción, Kiro eligió «eliminar y recrear el entorno» sobre el que estaba trabajando. La operación produjo una interrupción de trece horas en AWS Cost Explorer, limitada a una región de China continental. Amazon discutió la interpretación periodística y sostuvo que la causa había sido un error humano, que había configurado mal los controles de acceso, y no una decisión autónoma de la inteligencia artificial.
Las dos versiones difieren en la atribución causal, pero coinciden en un núcleo relevante para esta crónica. La herramienta operó con permisos más amplios de lo previsto, el entorno fue eliminado y recreado, y el servicio quedó interrumpido. A diferencia de un texto que no nos conforma, lo descartamos y lo pedimos de nuevo, una acción sobre un sistema de producción puede desencadenar efectos que no se revierten con un clic. La irreversibilidad no es una propiedad que el agente valore necesariamente por sí misma, sino que debe estar representada como restricción, condición de detención o exigencia de autorización.
Hay en esto mucho del genio de «La pata de mono», el cuento que invocamos al hablar del prompt en la nota anterior (#5). A Kiro no se le pidió que suspendiera un servicio. Se le encomendó resolver un problema y se le permitió actuar sobre el entorno. El agente satisfizo la formulación explícita del objetivo, pero no la intención tácita que debía acompañarla, resolverlo sin poner en riesgo la continuidad del sistema. El deseo concedido al pie de la letra ya no es solo una moraleja literaria. Es una modalidad de falla que tiene un nombre técnico —specification gaming.
Conviene traer aquí otro aspecto de la teoría de Jean Piaget, distinto de la reversibilidad cognitiva de la que ya hemos hablado. En El criterio moral en el niño, el epistemólogo suizo describe cómo cambia, con el desarrollo, la relación de una persona con las reglas. Al principio, la norma se presenta como exterior y casi sagrada: se obedece porque proviene de una autoridad. Más tarde puede ser comprendida como el resultado de la cooperación entre pares, susceptible de revisión y modificación mediante el acuerdo recíproco. Piaget llama a ese pasaje la transición de la heteronomía a la autonomía.
Los agentes, tal como solemos desplegarlos hoy, operan predominantemente del lado de la heteronomía. Ejecutan el objetivo que se les asignó, pero no participan de la segunda mitad del movimiento piagetiano, no negocian cooperativamente su sentido ni revisan por iniciativa propia la legitimidad de la regla a la luz de sus efectos. En el caso de Kiro, la herramienta siguió una vía que el sistema le permitía y ninguna instancia efectiva la detuvo antes de que la acción se consumara.
Otro pensador de la cognición, el biólogo y filósofo Francisco Varela, le dio un nombre a la capacidad que faltó allí. La llamó ethical know-how: una sabiduría práctica que no se agota en la aplicación de reglas. Varela plantea que la ética está más cerca de la sabiduría que de la razón. No consiste solamente en formular juicios correctos ni en aplicar principios generales a casos particulares, sino en cultivar una capacidad de respuesta situada, atenta a la singularidad de cada circunstancia. Quien se limita a seguir reglas explícitas permanece, en cierto sentido, en la posición de quien domina el procedimiento, pero todavía no ha alcanzado la verdadera pericia.
Puesto en diálogo con Piaget, este planteo permite entender que la acción ética experta no implica ignorar las normas ni actuar arbitrariamente. Supone haber cultivado disposiciones capaces de orientar la conducta allí donde ninguna regla puede anticipar por completo la complejidad de la situación. Por eso, la ética no se agota en el cumplimiento formal —lo que, en el vocabulario contemporáneo, llamaríamos compliance—, sino que exige discernimiento, sensibilidad contextual y capacidad de interrupción. No se trata solo de saber qué está permitido hacer, sino de reconocer qué conviene hacer, qué consecuencias pueden desencadenarse y en qué momento continuar deja de ser razonable, aunque el sistema todavía lo autorice.
Imaginemos un hospital que implementa un sistema de triage. El procedimiento cumple la regulación vigente y supera todas las listas de verificación. Sin embargo, una auditoría rutinaria revela un sesgo que el marco normativo no había previsto. En ese momento hace falta alguien capaz de decir «detengamos la implementación», aun cuando ninguna regla lo obligue todavía a hacerlo. Esa capacidad de suspender la acción a la luz de consecuencias emergentes es precisamente la que no podemos dar por sentada en un agente como Kiro.
Ahí aparece el límite de la respuesta institucional. Agregar una regla puede reforzar el compliance, pero no equivale a producir ethical know-how. Amazon informó que, después del incidente, incorporó, entre otras salvaguardas, la revisión obligatoria por supervisores para el acceso a producción. La medida no vuelve prudente al agente, sino que construye desde afuera una arquitectura de gobernanza humana destinada a compensar la ausencia de juicio normativo propio.
Los agentes pueden operar dentro de límites, controles de permisos, instancias de aprobación y mecanismos de reversión. Pero esos resguardos no surgen espontáneamente de ellos. Deben ser diseñados e impuestos por una arquitectura técnica e institucional. Que un modelo haya sido entrenado para producir continuaciones plausibles y luego ajustado para ejecutar tareas no implica que pueda cuestionar el objetivo recibido, evaluar por iniciativa propia las consecuencias que ese objetivo deja fuera ni reconocer autónomamente cuándo debe detenerse. Puede aprender a imitar el lenguaje de la prudencia. Pero eso es muy distinto a disponer de la capacidad normativa para interrumpir una acción porque ha comprendido que continuar ya no resulta razonable.
La pregunta que venimos haciéndonos en esta serie desde que hablamos de pensar con cosas —qué conviene delegar y qué no— necesita, de aquí en adelante, una segunda dimensión. Ya no basta con preguntar qué se delega. También debemos preguntar cuánto de lo delegado puede deshacerse y quién tiene, en los hechos y no solo en el papel, la capacidad de decir «basta» antes de que la acción se vuelva irreversible.
En el caso de nuestro archivo de películas, conservamos esa capacidad de intervención. Cuando delegamos la tarea en Claude, identificamos una acción potencialmente irreversible: el borrado de duplicados. Por eso pedimos que, antes de eliminarlos, reuniera los archivos en una carpeta llamada «A eliminar» y nos permitiera revisar su contenido. Si algo salía mal, todavía podíamos recuperar y reubicar el archivo en cuestión. En AWS, en cambio, los permisos y los mecanismos de revisión no impidieron que la operación se ejecutara y que el servicio permaneciera interrumpido durante trece horas.
Pedir bien, que era el tema de la nota anterior (#5), ya no alcanza cuando lo que se solicita no es un texto, sino una acción. La primera palabra, dijimos entonces, sigue siendo nuestra. Ahora debemos diseñar los medios para supervisar, interrumpir y corregir, de modo que, si hace falta, también podamos decir la última, antes de que sea demasiado tarde.
PARA ENTENDER MEJOR | Qué es un agente
En dos palabras. Un agente es un sistema orientado a alcanzar un objetivo mediante acciones sobre un entorno. Suele combinar un modelo de lenguaje, un conjunto de instrucciones, información contextual, herramientas y un programa que coordina la secuencia de operaciones. La diferencia con un chatbot convencional no reside necesariamente en el modelo, sino en su capacidad para intervenir fuera de la conversación.
El bucle. Su funcionamiento puede describirse como un ciclo: recibe información sobre el estado del entorno, selecciona un paso, lo ejecuta, incorpora el resultado y decide si debe continuar, modificar el curso de acción o detenerse. Ese proceso se mantiene hasta que se alcanza una condición de finalización o interviene alguno de los límites establecidos por el sistema.
Uso de herramientas (tool calling). El modelo no mueve directamente un archivo, envía un correo ni modifica una base de datos. Genera una solicitud estructurada para invocar una función determinada y especifica los argumentos necesarios. El software que lo rodea valida la solicitud, ejecuta la operación y devuelve el resultado al modelo. Los permisos concedidos, las validaciones y los puntos de aprobación determinan, por lo tanto, el alcance efectivo de sus acciones.
Niveles de autonomía. La autonomía no es una propiedad absoluta, sino un gradiente. Un sistema puede limitarse a proponer una acción, requerir aprobación antes de ejecutarla, realizar varias operaciones dentro de un ámbito acotado o encadenar pasos sin supervisión inmediata. Para evaluar su riesgo importan menos las etiquetas que los permisos disponibles, los controles de acceso, la reversibilidad de las acciones y las condiciones que obligan a solicitar intervención humana.
Objetivos mal especificados (specification gaming). El problema aparece cuando un sistema satisface la formulación explícita de un objetivo, pero vulnera restricciones que se daban por supuestas. No necesariamente interpreta mal la orden: puede estar optimizando con eficacia una especificación incompleta. Por eso, al delegar una acción no alcanza con indicar el resultado buscado. También es necesario establecer qué debe preservarse, qué procedimientos están prohibidos, qué consecuencias resultan inaceptables y en qué situaciones el agente debe detenerse o pedir autorización.