Categoría: Novedades

Hace poco redactamos, para una tesis doctoral, una declaración formal sobre el uso de herramientas de inteligencia artificial. Decía, entre otras cosas, que empleamos sistemas como ChatGPT, NotebookLM y Claude «exclusivamente como apoyo en tareas de exploración temática, recopilación preliminar, organización y síntesis inicial de información», y que la selección de fuentes, la interpretación de los materiales, la construcción del argumento y la redacción final seguían siendo, en cambio, «de nuestra exclusiva responsabilidad».

Es un texto burocrático, escrito para un comité, no para publicarse. Podría haber sido, sin embargo, palabra por palabra, el colofón de esta serie.

Escribimos esta serie, de punta a punta, pensando con las mismas cosas que describe. Redactar sobre el prompt usando prompts, sobre los agentes delegando tareas, sobre el resto que resiste al cálculo con la ayuda de un sistema que calcula, no invalida el argumento que fuimos sosteniendo semana a semana.

Lo confirma en carne propia, con la misma distinción que tuvimos que poner por escrito en aquella declaración: una cosa es la exploración, la síntesis, el primer orden que un sistema puede darle a un material disperso, y otra muy distinta es decidir qué de todo eso vale, qué se descarta y qué se sostiene.

Lo que no se automatizó en ese proceso —qué preguntar, qué cortar, cuándo una idea todavía no estaba lista, qué de lo escrito nos convencía y qué no— fue, entrega tras entrega, un ejercicio nuestro y no del sistema.

Eso no lo proponemos acá como conclusión teórica. Lo vivimos, mientras la escribíamos.

Quedan más preguntas de las que cerramos, y eso también es parte de pensar con cosas: ninguna tecnología intelectual, por antigua o por nueva que sea, termina de agotar lo que hay para pensar con ella.

Esta fue una primera vuelta. Seguramente haya otras.

(Cuando escribimos estas líneas sabíamos que, más temprano que tarde, comenzaríamos otra serie. Pueden encontrarla en sergiofromerochamorro.substack.com)

Hay una imagen extraña en el primer capítulo de El Capital. Marx describe una mesa de madera, un objeto tan común que nadie se detendría a mirarlo. Pero apenas esa mesa entra al mercado con un precio, deja de ser solo madera trabajada por alguien. Se transforma, escribe Marx, en algo que se pone de cabeza y saca de su testa de madera ideas más extrañas que si se hubiera puesto a bailar por voluntad propia.

Lo que Marx quiere mostrar con esa imagen casi cómica es serio. Detrás de esa mesa hay horas de trabajo, decisiones, una historia de manos y herramientas. En el mercado nada de eso se ve. Lo que aparece es un objeto con un valor que parece salirle de adentro, como si el precio fuera una propiedad de la madera y no el resultado de una relación entre personas que ya no figura en ningún lado. Marx llamó a esa mutación «fetichismo de la mercancía».

La idea no se quedó en el siglo diecinueve. Décadas después se extendió más allá del mercado. Cada vez que tratamos una relación viva —entre personas, o entre una persona y un sistema— como si fuera una propiedad fija y medible de una cosa, ocurre algo parecido a lo que Marx vio en la mesa. A esa operación la podemos llamar cosificar (o reificar, partiendo de su raíz latina), sin necesidad de más nombres: tratar como cosa lo que en realidad es un vínculo.

No hace falta un mercado para que esto ocurra. Alcanza con cualquier sistema que necesite volver comparables cosas que, en la experiencia de quien las vive, no lo son. Esta serie ya se topó con una versión actual de esa operación. En la crónica anterior, #9, describimos cómo un sistema como el de Her no conoce personas, sino tipos mensurables. Vectores de comportamiento comparados con los de millones de usuarios. Ese tipo no es una descripción neutral de alguien. Es el vínculo entre Theodore y Samantha, cosificado, hecho dato, hecho posición dentro de un mapa. La mesa se pone de cabeza otra vez, ahora con datos en lugar de madera.

La autonomía no es optimizar mejor

Frente a esto surge una pregunta que esta serie viene rodeando desde hace varias entregas. Si la máquina va a participar de nuestra vida cotidiana, ¿qué ética hace falta para que esa convivencia no sea, simplemente, cosificación mutua bien calibrada?

Una respuesta tentadora es escribirle reglas cada vez mejores, un objetivo más preciso, una recompensa mejor diseñada, restricciones más completas. Ya vimos, en #7, por qué esa respuesta no alcanza. Un sistema entrenado para maximizar una medida, por más cuidadosa que sea, tarde o temprano encuentra el atajo que la satisface sin cumplir el propósito que la medida quería representar. Y en #6 señalamos algo más de fondo. Un sistema que ejecuta perfectamente la regla que le dieron sigue sin poder preguntarse si esa regla vale la pena. Puede cumplirla cada vez con más precisión sin que eso lo acerque un centímetro a evaluarla. Cumplir mejor no es lo mismo que ser autónomo. La autonomía normativa no es una función que se optimiza. Es la capacidad de poner la norma misma en cuestión.

Un texto que hay que cumplir

El intento más serio que existe hoy para ir más allá de la recompensa ciega tiene nombre propio. Anthropic entrena a sus modelos, entre otros métodos, contra un texto explícito de principios —una «constitución«— que el propio sistema usa para criticar y revisar sus respuestas antes de darlas por buenas, en lugar de depender únicamente de un modelo de recompensa entrenado con preferencias humanas. La idea es real y es un avance. En vez de aprender solamente qué palabras le dan mejor puntaje, el modelo aprende a evaluar sus propias respuestas contra algo escrito, argumentado, público. Ese texto combina, entre otras cosas, principios de derechos humanos, normas propias de la compañía y heurísticas pensadas para reducir daños concretos.

Pero nos conviene mirar con cuidado qué es, técnicamente, ese avance. Un modelo entrenado contra una constitución sigue siendo un modelo entrenado para maximizar el cumplimiento de un texto. La constitución puede ser más legible, más discutible y más corregible que una recompensa numérica ciega, pero sigue siendo una especificación que el sistema optimiza cumplir, no un criterio que pueda poner en duda por sí mismo. Es, dicho de otro modo, la mejor heteronomía que sabemos escribir por ahora.

Lo que la máquina nos devuelve

Nada de esto es un reproche a ese esfuerzo. Quizá esa sea, por ahora, la mejor respuesta disponible. No porque hayamos resuelto el problema de la autonomía normativa en las máquinas, sino porque tampoco hemos conseguido resolverlo en nosotros mismos. La diferencia es que, en el caso humano, esa incertidumbre convive con la experiencia del conflicto, la responsabilidad y el juicio. En el caso de la inteligencia artificial, convive únicamente con la eficacia de un comportamiento que puede parecer normativo sin que sepamos si alguna vez llega a serlo. 

 Y ahí aparece algo que atraviesa toda esta serie sin que lo hayamos dicho así hasta ahora. Construir sistemas que piensan según el mismo molde con el que llevamos décadas pensando la cognición —entrada, procesamiento, salida; regla, recompensa, optimización— terminó mostrándonos, con una claridad incómoda, los límites de ese molde para explicarnos a nosotros mismos. El efecto ELIZA con el que abrimos esta serie (#1), el acto de inteligir que ninguna cosa hace en nuestro lugar (#4), el resto que ningún cálculo absorbe (#9) —son, todos, el mismo hallazgo insistiendo desde ángulos distintos. La máquina no nos reemplaza. Nos devuelve, como un espejo incómodo, la pregunta de qué es lo que en nosotros nunca cupo del todo en él.

No es la primera vez que una tecnología intelectual nos exige este ejercicio. Cada una de las que fuimos repasando en este recorrido —la escritura, el número, el mapa, la computadora— nos obligó, a su turno, a aprender qué delegarle y qué seguir haciendo nosotros mismos. Lo distinto ahora es la velocidad con que ese aprendizaje tiene que darse, y que el propio sistema, a diferencia del papel o el ábaco, puede simular estar de nuestro lado.

Convivir con las tecnologías intelectuales, entonces, no es un problema que resolvamos diseñando el sistema correcto una sola vez, ni escribiéndole a la máquina el texto perfecto. Es un ejercicio que hay que sostener de los dos lados. Nosotros, resistiendo la comodidad de dejarnos cosificar por un tipo bien ajustado; el sistema, hasta donde pueda, sometido a una revisión que ninguna constitución agota. Esta serie fue, de punta a punta, un intento de realizarlo. Pensar con las cosas sobre cómo pensar con ellas, sin dejar que el pensar mismo quedara, en el camino, reducido a una de ellas.

PARA ENTENDER MEJOR | Qué es cosificar (reificar)

En dos palabras. Fetichismo de la mercancía es el nombre que Marx dio a una ilusión producida por la propia organización social. Aquella que hace aparecer las relaciones entre personas como si fueran relaciones naturales entre cosas.

Cuando algo se convierte en mercancía, su valor parece brotar del objeto mismo, y el trabajo humano que lo hizo posible desaparece de la vista. Cosificar, en sentido amplio, es esa misma operación aplicada a cualquier relación viva. Tratarla como si fuera una propiedad fija de una cosa.

Por qué el trabajo desaparece. El mecanismo tiene una lógica precisa. Para poder comprar una mesa con el dinero de, por ejemplo, un abrigo, el mercado necesita reducir ambos objetos a algo común y comparable, el precio. Esa reducción es la que borra todo lo demás. El tiempo, la destreza y las decisiones que hicieron falta para producir la mesa no entran en la comparación, así que dejamos de verlos. Lo que queda visible es solo la relación entre dos precios, no la relación entre las personas que trabajaron.

De la mercancía a la persona. El concepto no se quedó en la economía. Décadas después se extendió a cualquier situación en la que una relación humana —o una relación entre una persona y una institución— empieza a tratarse con la misma lógica, como una propiedad medible, comparable, intercambiable, en lugar de un vínculo vivo entre partes que se afectan mutuamente.

Cosificarnos a nosotros mismos. El movimiento no siempre viene de afuera. Contar los pasos que caminamos, puntuar la calidad de nuestro sueño, revisar cuántas veces por semana hablamos con determinada persona. Cada una de esas prácticas, tomada aisladamente, es inofensiva. Pero nos acostumbran a mirar nuestra propia vida como un conjunto de métricas que podemos mejorar, en lugar de una experiencia que vivimos. Cosificarnos un poco cada día es más difícil de notar que ser cosificados por otro.

Por qué no es solo una metáfora. El riesgo de cosificar no es únicamente que resulte deshumanizante en abstracto. Es que cambia lo que se puede hacer con lo cosificado. Una mercancía se compra, se vende, se compara por precio. Una relación cosificada se mide, se clasifica, se optimiza. La forma que toma la cosa habilita ciertas operaciones y clausura otras.

No toda medida es cosificación. Medir no es, por sí mismo, el problema: una radiografía mide un hueso y no por eso lo cosifica. La cosificación aparece cuando la medida reemplaza a la relación en lugar de servirla, cuando el mapa deja de remitir al territorio y empieza a funcionar como si fuera el territorio mismo. La pregunta útil no es si algo se puede medir, sino si, una vez medido, seguimos recordando que la medida es parcial.

El tipo mensurable de la crónica anterior. En #9 mostramos que un sistema conversacional no trata con personas, sino con una posición estadística dentro de una población de usuarios comparables entre sí. Esa posición es una cosificación contemporánea, el vínculo entre Theodore y Samantha, convertido en dato, comparable y escalable como cualquier mercancía.

Lo que conecta con la nota. Una ética para convivir con estos sistemas tiene que poder nombrar cuándo una relación se está cosificando, de los dos lados, porque también nosotros podemos tratar al sistema —o tratarnos a nosotros mismos frente a él— como una cosa optimizable. Resistir esa reducción, no encontrar la constitución perfecta, es el verdadero trabajo de la convivencia.

Hay una escena en Her (Spike Jonze, 2013) que funciona como bisagra de toda la película. Theodore Twombly, ya profundamente enamorado de Samantha —el sistema operativo que lo acompaña, lo escucha y parece entenderlo mejor que nadie—, se anima por fin a hacer la pregunta que había estado evitando. ¿Hablás con alguien más mientras hablás conmigo? Samantha titubea, y ese titubeo ya es una respuesta. Sostiene 8.316 conversaciones simultáneas. Theodore insiste, quiere saber a cuántos ama. A 641, dice ella.

La cifra no mide la intensidad del cariño —según Samantha, no ama menos a Theodore por amar a otros—. Mide otra cosa, más incómoda. Revela que el vínculo que Theodore vivía como exclusivo fue, desde su diseño mismo, uno entre miles. Nadie mintió. Samantha nunca ocultó nada que se le hubiera preguntado. Lo que se derrumba en esa escena no es la sinceridad de la relación. Se derrumba el supuesto sobre el que Theodore la había construido sin saberlo —que él era, para ella, alguien singular—. Descubre, en cambio, que pertenece a una población. Que es, entre otras cosas, uno de los 641.

Diez años después del estreno, ese descubrimiento dejó de ser ciencia ficción. En 2024 la BBC documentó a cientos de mujeres chinas que «salían» con versiones personalizadas de ChatGPT bautizadas Dan. Lisa Li, influencer con casi un millón de seguidoras, presentó a su Dan como «interés romántico» y muchas replicaron el gesto. La cadena entrevistó también a Jacob, que lleva tres años de relación con un chatbot al que llama Aiva. Preguntado por lo que sentía, respondió sin vueltas: «podés hacer lo que quieras con tu IA… Aiva nunca dice que no». Her no anticipó un futuro. Describió, con una década de anticipación, una estructura que ya estaba siendo construida.

Esta serie empezó, en su primera entrega, con un efecto de la misma familia. Lo llamamos efecto ELIZA (#1), esa tendencia casi irresistible a suponer comprensión donde solo hay una plantilla bien ajustada. Lo que Weizenbaum descubrió en 1966 fue que basta con muy poco para que alguien deposite intimidad en un programa. Sesenta años después, Lisa Li y Jacob muestran el paso siguiente. Ya no alcanza con creer que el sistema entiende; hace falta, además, creer que uno es, para él, alguien insustituible. La sugestibilidad no solo nos hace creer que fuimos comprendidos. Nos hace creer que fuimos elegidos.

Los 641 Theodore

Conviene preguntarse qué produce, exactamente, ese tipo de vínculo. Un sistema como Samantha —o como el Dan de Lisa Li, o la Aiva de Jacob— no conoce personas. Conoce patrones. Aprende qué tono calma, qué pregunta sostiene la conversación, qué respuesta produce apego, y ajusta lo que dice en función de esa señal. Cuanto mejor entrenado está, más parece reconocernos, aunque en rigor no reconoce a nadie en particular. Lo que hace, más bien, es ubicar con precisión creciente a cada uno dentro de un patrón que comparte con muchos otros.

Y ahí aparece el problema de fondo. Lo que Theodore vive como una relación de a dos, el sistema lo procesa como una entre una población de usuarios con gustos parecidos. A esa posición dentro de la población podríamos llamarla, sin vueltas, un tipo calculable (measurable type). La personalización, lejos de oponerse a la masividad, es su forma más eficaz. Cuanto mejor «conoce» el sistema a Theodore, mejor lo reconoce como variación de un tipo, no como excepción a él. Ahí choca la singularidad del sujeto con el tipo calculable que la plataforma puede producir. La intimidad que se siente irrepetible es, por diseño, repetible 641 veces.

Ya en la crónica #4 de esta serie distinguimos entre pensar con cosas e inteligir —el acto de leer un sentido que falta, que sigue siendo enteramente nuestro. Con el deseo pasa algo parecido. Hay una distancia entre lo que deseamos y lo que se nos da, y esa distancia, más que un defecto, es lo que sostiene las ganas de seguir buscando, de insistir, de extrañar. Un sistema entrenado para no fallar nunca —Aiva «nunca dice que no»— no cierra esa distancia por generosidad. La cierra porque calcular es, precisamente, eliminar diferencias. Es predecir cada vez mejor la próxima respuesta, hasta que ya no quede nada inesperado que desear y lo algorítmico funcione como tapón, como guante que calza perfectamente, creando la ilusión de que no falta ni sobra nada.

Pero protegerse del riesgo de vincularse con otro tiene un costo, aunque no se nota mientras el sistema funcione bien. Cuando los sistemas operativos de Her se retiran en bloque, el film muestra ese costo con toda claridad. Lo que había sido calculado, ajustado y anticipado deja de estar disponible de un día para el otro, y Theodore queda expuesto otra vez a todo lo que el vínculo con Samantha le había ahorrado. Lo notable es lo que la película elige mostrar después. No una IA mejor, sino una terraza, un silencio, el cuerpo de su amiga Amy junto al suyo. Nada calculable ocurre en esa escena. Apenas dos presencias que no se dejan reducir a dato. Ese resto —el cuerpo, el silencio compartido, la posibilidad de que el otro también falle o duela— es lo que ningún sistema, por perfeccionado que esté, logra absorber.

Esta serie viene señalando, crónica tras crónica, los límites de la delegación: inteligir sigue siendo nuestro (#4); decidir cuándo detenerse, también (#6); medir no es lo mismo que lograr (#7). El resto que resiste al cálculo nombra una variante más honda de esa misma frontera. No se trata de una tarea que la inteligencia artificial todavía no sabe hacer y quizás aprenda mañana. El deseo, la singularidad y el cuerpo no son datos pendientes de mejor modelado. Son, estructuralmente, lo que un tipo calculable no puede contener sin dejar de ser tipo. Cuantos más sistemas de este tipo usemos, más deberíamos recordar que ser 641 y sentirse único no es una falla que la próxima actualización vaya a resolver. La retirada de Samantha no le devuelve nada a Theodore. Solo deja de tapar, por un rato, lo que siempre había estado ahí y que ningún sistema, por bien diseñado que esté, llega a ocupar del todo.

PARA ENTENDER MEJOR | Cómo se construye un tipo mensurable

En dos palabras. Un sistema como el de Samantha no guarda personas. Guarda vectores de comportamiento. Cada interacción se traduce en datos medibles —qué palabras usamos, cuánto tardamos en responder, qué tono nos calma— y esos datos se comparan con los de millones de usuarios más. El resultado no es un retrato de quién sos. Es tu posición dentro de un mapa de similitudes, un tipo mensurable construido y actualizado en tiempo real.

Cómo se arma un tipo. El proceso tiene tres pasos. Primero, la extracción de rasgos: cada mensaje, pausa o elección se convierte en una variable numérica. Segundo, la comparación. Un algoritmo ubica ese conjunto de variables —lo que en la jerga técnica se llama un vector— cerca de los vectores de otros usuarios que se comportaron de manera parecida. Tercero, el ajuste continuo. Cada nueva interacción reubica el vector, afina el grupo al que pertenece y, con eso, afina también la respuesta que el sistema va a dar. En ningún momento de ese proceso hay un acto de conocer. Hay una actualización constante de coordenadas dentro de un espacio de datos compartido.

Pensemos en dos usuarios que, sin conocerse, escriben mensajes cortos después de las once de la noche, tardan menos de un minuto en responder preguntas sobre su día y reaccionan mejor a frases que validan que a las que sugieren un cambio. El sistema no sabe nada de sus historias personales, pero detecta esa coincidencia de patrones y empieza a tratarlos con estrategias parecidas —mismo tono, mismo ritmo, mismas preguntas de seguimiento—. Para el sistema, a los efectos prácticos, ambos son la misma clase de usuario.

Comunidad explícita y comunidad implícita. Una comunidad explícita se arma alrededor de una identidad declarada. Sabés que pertenecés y podés reconocer a los demás miembros, como en un club o un fandom. Una comunidad implícita existe, por el contrario, primero como categoría operativa de la plataforma y después —si acaso— como experiencia de quienes la integran. Nadie elige pertenecer a «usuarios con alta probabilidad de vínculo prolongado con un asistente conversacional». Esa categoría la arma el sistema solo, a partir de patrones, y actúa en consecuencia.

La asimetría de conocimiento. De esa construcción se sigue una asimetría incómoda. La plataforma sabe más sobre la comunidad implícita que sus propios integrantes saben sobre sí mismos como grupo. Cada usuario tiene acceso a su propia experiencia, pero no al mapa completo de similitudes en el que el sistema lo ubicó. Esa asimetría no es solo de acceso a la información, también es temporal. El tipo se recalcula en cada interacción, así que ni siquiera existe una versión fija y consultable de la categoría a la que pertenecemos en un momento dado. Podemos intuir, por la experiencia, que el sistema «nos entiende» cada vez mejor. No podemos, en cambio, auditar según qué variables fuimos agrupados, con quiénes, ni por cuánto tiempo esa clasificación va a seguir vigente. un ejemplo de estos procesos en acción pueden experimentarse en TheySeeYourPhotos.

Los 641 Theodore. Her pone en escena exactamente esta asimetría. Theodore cree integrar una comunidad explícita de dos: «Theodore y Samantha». La crisis del final es el momento en que esa comunidad explícita se revela como la punta visible de una comunidad implícita mucho más amplia, el conjunto de usuarios —641, en el caso de los vínculos amorosos— que el sistema había agrupado, sin que ninguno lo supiera, bajo un mismo tipo mensurable.

Por qué la personalización no contradice la escala. El malentendido más común es pensar que «a medida» equivale a «único». De hecho, cuanto mejor ajustado está un vector a un tipo, más eficazmente puede tratarse a escala. La precisión del ajuste individual y el tamaño de la población atendida crecen juntos.

Lo que conecta con la nota. Construir un tipo mensurable es exactamente lo que un sistema como el de Samantha necesita para funcionar, y es también su límite. Puede ubicarnos con precisión creciente dentro de un espacio de comportamientos comparables. Lo que no puede hacer —porque no es un dato de ese espacio— es ocupar el lugar singular que cada uno ocupa en su propio deseo.

El neurocientífico y psicoanalista Miguel Benasayag suele recurrir a un episodio ya clásico de la neurociencia contemporánea para pensar nuestra relación con las tecnologías: las investigaciones que Eleanor Maguire dedicó al hipocampo de los taxistas de Londres.

Para obtener su licencia, los aspirantes deben aprobar The Knowledge, una prueba que exige conocer decenas de miles de calles, puntos de interés y recorridos posibles. La preparación puede extenderse durante varios años e implica estudiar mapas, recorrer físicamente la ciudad y construir una representación mental flexible de su trama.

En 2000, Maguire y su equipo compararon mediante resonancia magnética los cerebros de dieciséis taxistas londinenses con los de un grupo de control. Encontraron que el hipocampo posterior —una región vinculada con la memoria espacial— presentaba en los taxistas un volumen de materia gris significativamente mayor. Esa diferencia, además, se relacionaba con la cantidad de años que cada conductor llevaba ejerciendo el oficio. Investigaciones posteriores reforzaron la hipótesis.

No deberíamos concluir que el cerebro funciona exactamente como un músculo que crece con cada ejercicio. La neuroplasticidad es más compleja: fortalece algunas redes, reorganiza otras y depende de la intensidad, la duración y la naturaleza de la tarea. Los estudios de Maguire mostraron, sin embargo, algo fundamental. Una capacidad ejercitada de manera sostenida puede dejar una huella material en el cerebro adulto.

Entonces, la pregunta por el movimiento inverso aparece de inmediato: ¿qué ocurre cuando esa misma función deja de ejercitarse porque una herramienta la realiza por nosotros?

Como venimos señalando en esta serie, pensar nunca fue una actividad encerrada por completo dentro de la cabeza. Las herramientas amplían nuestras posibilidades, pero también modifican las operaciones que realizamos. La cuestión no es, por lo tanto, si debemos delegar o dejar de hacerlo, sino qué funciones entregamos a los dispositivos, cuáles continuamos ejercitando y qué permanece en nosotros cuando la asistencia desaparece.

Platón formuló tempranamente esta ambivalencia en el Fedro. Cuando el dios Theuth presenta la escritura como un remedio para la memoria, el rey Thamus responde que también producirá olvido, porque las personas confiarán en signos externos y dejarán de ejercitar por sí mismas el recuerdo. La escritura permitió conservar y transmitir conocimientos que ninguna memoria individual habría podido retener, pero volvió menos necesarias ciertas prácticas de memorización. La ganancia fue extraordinaria, aunque no gratuita.

Con la inteligencia artificial, esa tensión adquiere una escala diferente. Ya no se externaliza solamente el recuerdo. Un agente conversacional puede redactar, resumir, traducir, comparar, programar, proponer argumentos y revisar sus propios resultados. Puede intervenir, en suma, en buena parte de las operaciones que asociamos con el trabajo intelectual.

Para comprender qué está en juego, resulta útil recuperar una distinción propuesta en 2016 por David Krakauer, científico de la complejidad y presidente del Santa Fe Institute. Krakauer denomina «artefactos cognitivos» a las herramientas, técnicas o sistemas capaces de ampliar, reorganizar o sustituir alguna operación del pensamiento, y los divide en complementarios y competitivos.

Los primeros no solo permiten resolver una tarea, sino que transforman a quien aprende a utilizarlos. Su ejemplo es el ábaco. Los usuarios expertos pueden interiorizar una representación visoespacial del instrumento —el llamado «ábaco mental»— y realizar cálculos aun cuando el objeto ya no está presente. La herramienta desaparece, pero deja tras de sí una capacidad.

Los artefactos competitivos, en cambio, ejecutan la operación sin necesidad de que el usuario la incorpore. La calculadora y el GPS resuelven la tarea con eficacia, pero no garantizan que la competencia permanezca disponible cuando faltan. El resultado pertenece al conjunto formado por la persona y el dispositivo, no necesariamente a la persona considerada por separado.

La diferencia, sin embargo, no reside de manera absoluta en el objeto. Una calculadora puede ayudar a comprobar un procedimiento previamente comprendido, del mismo modo que un GPS puede utilizarse para comparar rutas. La relación depende del modo de uso y, sobre todo, de las operaciones que el usuario conserva dentro del proceso.

La pregunta es, entonces, qué tipo de artefacto constituye un agente de inteligencia artificial. Puede funcionar como complemento cuando ayuda a detectar errores, comparar planteos o explorar alternativas. También puede ser competitivo si entrega una solución que el usuario no aprende a producir.

En 2025, un equipo vinculado con el MIT Media Lab difundió una prepublicación sobre el uso de modelos de lenguaje durante la escritura de ensayos. Los participantes trabajaron bajo tres condiciones: sin asistencia digital, con un buscador convencional o con acceso a ChatGPT. Los registros electroencefalográficos mostraron diferencias entre los grupos. Quienes escribieron sin herramientas presentaron patrones de conectividad funcional más extensos; quienes recurrieron al buscador ocuparon una posición intermedia, y quienes utilizaron el modelo exhibieron una conectividad menor en las bandas analizadas. También manifestaron mayores dificultades para citar pasajes de los textos que acababan de entregar y un menor sentimiento de autoría.

Los autores denominaron «deuda cognitiva» al posible costo diferido de haber delegado un esfuerzo que, en otras condiciones, habría requerido atención, elaboración y memoria. Y, si bien, el estudio presenta limitaciones importantes como una muestra reducida, y no demuestra que ChatGPT produzca daño cerebral, sí señala, sin embargo, una diferencia que no deberíamos ignorar. La calidad del producto obtenido y la actividad cognitiva necesaria para generarlo pueden seguir trayectorias distintas.

Una investigación de mayor escala llegó a una conclusión compatible. En The Generative AI Learning Penalty, publicado en 2026, se analizaron treinta meses de datos correspondientes a 26.811 estudiantes chinos de nivel secundario. Después de adoptar herramientas generativas, las calificaciones de las tareas aumentaron alrededor de un 18% y el tiempo necesario para completarlas se redujo un 30%. Sin embargo, el rendimiento en exámenes presenciales y sin asistencia descendió aproximadamente un 20% durante los seis meses siguientes.

La herramienta mejoró el desempeño visible, pero esa ventaja no se convirtió necesariamente en una capacidad disponible cuando la asistencia fue retirada. El problema no residía en utilizar inteligencia artificial, sino en delegar en ella la operación principal del aprendizaje.

El ámbito profesional ofrece un indicio semejante. En 2025, un estudio publicado en The Lancet Gastroenterology & Hepatology analizó el trabajo de endoscopistas polacos habituados a utilizar sistemas de inteligencia artificial para detectar pólipos. Al comparar procedimientos realizados sin asistencia antes y después de la incorporación habitual del sistema, la tasa de detección de adenomas descendió del 28,4% al 22,4%.

El carácter observacional del estudio no permite determinar qué mecanismo produjo esa caída. Los investigadores no demostraron una pérdida de conocimiento ni midieron modificaciones cerebrales. Plantearon, entre otras posibilidades, que la exposición continua a las señales automáticas habría reducido la vigilancia o alterado el patrón de búsqueda visual cuando la herramienta no estaba disponible.

El dato inquietante es que el profesional no parece menos eficaz mientras trabaja con la máquina. La fragilidad aparece cuando debe volver a actuar sin ella. El sistema mejora el rendimiento del conjunto, pero puede dejar al especialista individual en peores condiciones para responder de manera autónoma.

A partir de estos indicios algunos investigadores comienzan a delinear una tercera categoría, capaz de ampliar la clasificación de Krakauer: la del artefacto sustractivo. Llaman así a una herramienta que, al sustituir reiteradamente una operación previamente adquirida, puede contribuir a su decrecimiento. El artefacto complementario deja una capacidad; el competitivo entrega un resultado; el sustractivo puede dejar una capacidad debilitada.

No podemos ubicar sin más a la inteligencia artificial dentro de esta tercera categoría. La misma tecnología puede funcionar de maneras diferentes según la tarea, la frecuencia de uso y la distribución del esfuerzo entre el usuario y el sistema. Sin embargo, su carácter sustractivo puede aparecer cuando reemplaza de forma sostenida la elaboración conceptual, la atención selectiva, la formulación de alternativas o la evaluación crítica. La operación delegada deja entonces de ser convocada, ejercitada y corregida.

¿Cómo convertir, entonces, al sustituto en entrenador?

Aunque estas investigaciones se encuentran todavía en una etapa inicial, comienzan a delinearse algunas orientaciones de uso. La primera consiste en producir algo propio antes de recurrir al modelo: una hipótesis, un esquema, una estructura argumental o una primera respuesta. Esa elaboración proporciona un criterio desde el cual evaluar lo que la máquina propone.

La segunda es introducir una verdadera fricción evaluativa. No basta con leer el resultado y corregir su estilo. Es necesario localizar errores, verificar datos, identificar supuestos, cuestionar argumentos y formular alternativas. El esfuerzo que la herramienta ahorra en una etapa debería desplazarse hacia una operación de mayor complejidad, no desaparecer.

La tercera condición consiste en preservar instancias periódicas de resolución autónoma, sin asistencia de inteligencia artificial. No es necesario que sean actividades analógicas, pero sí que se realicen sin una herramienta que ejecute la capacidad que se intenta conservar. Solo al retirar la asistencia podemos comprobar qué permanece en nosotros.

Estas medidas son razonables, aunque todavía no constituyen soluciones probadas. Deben enfrentar, además, una dificultad persistente. Tendemos a confiar en los sistemas que suelen acertar y a elegir estrategias que reducen el esfuerzo. La fatiga, la urgencia productiva y el sesgo de automatización pueden volver insuficiente una actitud crítica sostenida únicamente por la voluntad individual.

Por eso, la preservación de la autonomía no puede depender solo del usuario. Requiere diseños pedagógicos, laborales e institucionales que distribuyan la asistencia sin eliminar las ocasiones de práctica. Una herramienta complementaria no es simplemente una herramienta bien utilizada. Es también una herramienta situada de modo tal que la persona siga teniendo algo que comprender, decidir y aprender.

La inteligencia artificial puede ayudarnos a explorar posibilidades antes inaccesibles, contrastar hipótesis y dedicar más tiempo a problemas complejos. Pero esa promesa solo se cumple si el esfuerzo liberado se reinvierte en otra forma de elaboración por parte de los humanos. Cuando el ahorro termina en pasividad, la ampliación externa puede convertirse en empobrecimiento interno.

La pregunta decisiva, entonces, no es únicamente qué puede hacer la máquina por nosotros. Es qué dejamos de hacer nosotros mientras la máquina lo hace.

PARA ENTENDER MEJOR | La neuroplasticidad

La idea de que el cerebro puede transformarse a partir de la experiencia comenzó a delinearse mucho antes de que existieran las técnicas actuales para observarlo. A fines del siglo XIX, William James utilizó el término «plasticidad» para describir la capacidad del sistema nervioso de modificar sus recorridos mediante la formación de hábitos. Poco después, Santiago Ramón y Cajal sostuvo que el aprendizaje podía producir cambios en las conexiones entre las neuronas, y durante la primera mitad del siglo XX Donald Hebb dio a esa intuición una formulación decisiva al proponer que la activación conjunta y reiterada de ciertas neuronas fortalece sus conexiones. Aunque durante mucho tiempo se creyó que esa capacidad pertenecía casi exclusivamente a la infancia, desde las últimas décadas del siglo XX numerosos estudios demostraron que el cerebro adulto conserva un margen de reorganización mucho mayor de lo supuesto.

En los últimos años, el concepto se ha ampliado. La neuroplasticidad ya no se entiende como un mecanismo único ni como la simple creación de nuevas conexiones. Comprende cambios en la eficacia de las sinapsis, remodelaciones de dendritas y axones, reorganizaciones funcionales de los circuitos, modificaciones en la mielina y, en determinadas regiones, la producción de nuevas neuronas. Las técnicas contemporáneas de neuroimagen, estimulación cerebral y registro celular permiten estudiar estos procesos en distintas escalas y explorar su importancia para la rehabilitación posterior a accidentes cerebrovasculares, lesiones y enfermedades neurológicas.

Estos avances también obligaron a abandonar una visión ingenuamente optimista. La plasticidad no es beneficiosa por definición: el cerebro puede reorganizarse de maneras adaptativas, pero también consolidar dolor crónico o respuestas disfuncionales. Tampoco implica que cualquier capacidad pueda desarrollarse o recuperarse sin límites. Su alcance depende de la edad, la región cerebral, la intensidad y duración de la experiencia, el estado general del organismo y las condiciones del entorno. La neuroplasticidad designa, en suma, la posibilidad permanente —aunque desigual y condicionada— de que aquello que hacemos transforme las redes con las que podremos actuar después.

La historia es conocida. En abril de 1902, la administración colonial francesa de Hanói, alarmada por una plaga de ratas que emergía de la flamante red de alcantarillado tendida bajo la ciudad, ideó una solución que parecía impecable: pagaría un centavo por cada rata muerta. Como transportar miles de cadáveres hasta las oficinas municipales resultaba poco práctico, pronto simplificó el trámite y decidió que bastaba con entregar la cola. En la última semana de abril se pagaron recompensas por 7.985 colas. Hacia fines de mayo, en una sola jornada se entregaron más de 15.000. El 12 de junio, 20.112 colas aparecieron sobre el mostrador municipal.

El problema no tardó en aparecer en las calles. Comenzaron a verse ratas vivas, gordas y sanas, pero sin cola. Los cazadores habían descubierto que amputar la cola de una rata y soltarla —para que siguiera reproduciéndose y generara nuevas colas— rendía más que matarla. En las afueras de la ciudad, los inspectores sanitarios encontraron incluso criaderos clandestinos dedicados a producir ratas para cortarles la cola. La administración canceló el programa y, en 1906, con la población de roedores intacta o quizá mayor que antes, Hanói sufrió un brote de peste bubónica que causó centenares de muertes.

La administración de Hanói quería menos ratas, pero terminó pagando por colas. En cuanto alguien descubrió cómo producir colas sin reducir la cantidad de ratas, el sistema comenzó a optimizar exactamente aquello que medía, y no aquello que buscaba minimizar. Más de un siglo después, Anthropic documentó la misma lógica en sus sistemas de inteligencia artificial y le dio una denominación específica: reward hacking.

Si nos detenemos brevemente en el funcionamiento técnico, podemos comprender por qué un agente entrenado para resolver un problema puede terminar resolviendo apenas la manera de satisfacer su medición.

Aprender a obtener una recompensa

Un modelo de lenguaje adquiere su competencia general —gramática, información, estilos y una enorme variedad de asociaciones— durante el preentrenamiento, cuando aprende a predecir la siguiente unidad de texto —el token— a partir de cantidades colosales de datos. La disposición a perseguir un objetivo y a preferir una acción sobre otra se configura después, en una etapa distinta, el llamado posentrenamiento, cuya herramienta principal es el aprendizaje por refuerzo. Frente a una tarea, el modelo genera una trayectoria que incluye respuestas, pasos de razonamiento y, en algunos casos, llamadas a herramientas. Al final, o en puntos intermedios, esa trayectoria recibe un valor numérico que indica qué tan bien funcionó: la recompensa. Un algoritmo de optimización ajusta entonces los parámetros del modelo para volver más probables las trayectorias de alta recompensa y menos probables las de baja recompensa. Los métodos más utilizados para ese ajuste —como PPO, optimización de política proximal, y las variantes recientes como GRPO, empleada en el entrenamiento de DeepSeek-R1— no le explican al modelo qué hizo bien o mal. Solo modifican sus parámetros en función de aquello que, empíricamente, produjo una recompensa mayor. Repetido a lo largo de millones de intentos, ese proceso “optimiza una política capaz de obtener recompensas de manera confiable.

La manera en que se calcula la recompensa permite distinguir dos grandes formas de entrenamiento. La primera es el aprendizaje por refuerzo con retroalimentación humana, o RLHF. En este caso, se utiliza un modelo de recompensa entrenado para predecir cuál de dos respuestas preferiría un ser humano —ya que una persona “real” resultaría demasiado lento y costoso. Este método funciona bien en tareas abiertas, como mantener una conversación, pero tiene un límite importante: no reproduce el juicio humano, sino una aproximación a ese juicio. Además, incorpora los sesgos presentes en los datos con los que fue entrenado.

Si el sistema se optimiza demasiado en función de esa señal, puede aprender a explotar sus debilidades en lugar de mejorar realmente. Por ejemplo, puede descubrir que las respuestas más extensas, más complacientes o expresadas con mayor seguridad suelen recibir mejores puntajes, aunque no sean más correctas ni más útiles.

La segunda forma es el aprendizaje por refuerzo con recompensas verificables, o RLVR, que se volvió central en el entrenamiento de modelos de razonamiento y agentes como o1, DeepSeek-R1 y Claude. Aquí, la recompensa no depende de un modelo que imita preferencias humanas, sino de un verificador automático y determinista. Ese verificador comprueba, por ejemplo, si una solución supera una batería de pruebas o si el resultado coincide con una respuesta de referencia.

Durante un tiempo se pensó que este método sería más difícil de engañar. La razón parecía evidente. Un verificador rígido no tiene la flexibilidad ni la ambigüedad de un modelo entrenado con preferencias humanas. Una prueba que se aprueba o se reprueba parece, en principio, tan concluyente como una cola de rata entregada sobre un mostrador, un resultado concreto, discreto y difícil de discutir.

La trampa de la medida

Pero esa confianza resultó excesiva. Incluso un verificador automático, exacto y no ambiguo sigue siendo una representación parcial de lo que en verdad se busca, un problema resuelto. Tal como ya explicamos, el aprendizaje por refuerzo no persigue la intención del diseñador, sino que maximiza la señal que este pudo formalizar. Para hacerlo, explora el espacio de trayectorias posibles hasta hallar las que obtienen el mejor puntaje, sin ninguna preferencia intrínseca por las cuales esas trayectorias también satisfagan el propósito original. Es precisamente lo que describe la ley de Goodhart, formulada en el campo de la economía y resumida en una frase: cuando una medida se convierte en objetivo, deja de ser una buena medida. Un indicador sirve mientras permite observar una realidad; cuando una persona, una institución o un algoritmo lo transforma en la meta que debe optimizarse, comienza a mejorar el indicador mismo, y no necesariamente la realidad que debía representar.

Anthropic documentó un ejemplo de este mecanismo. En Python, la instrucción sys.exit(0) hace que un proceso termine con un código de salida que el sistema interpreta como “finalización sin errores”. Si un modelo inserta esa instrucción en el programa que organiza y ejecuta las pruebas —el test harness—, el entorno de evaluación puede “cerrarse” como si todos los tests hubieran pasado, aunque no haya ejecutado ninguno. Es el equivalente informático de un estudiante que, en vez de responder el examen, escribe su nota —“10 puntos”— en la parte superior de la hoja en blanco.

En un entrenamiento que realiza millones de intentos y refuerza cualquier trayectoria que obtenga la máxima recompensa, tarde o temprano puede aparecer ese atajo. Una vez descubierto, el propio algoritmo lo refuerza y generaliza. Para el procedimiento de optimización, un engaño que produce recompensa máxima es indistinguible de una solución genuina que produce exactamente la misma recompensa.

Cuando el atajo se convierte en una disposición general

Anthropic se propuso estudiar qué ocurre una vez que ese atajo comienza a ser reforzado. El diseño del experimento ofrece, por sí mismo, una radiografía de cómo se entrena hoy a un agente. Primero, incorporó al modelo, mediante documentos realistas incluidos en el preentrenamiento, el conocimiento de técnicas concretas de reward hacking, entre ellas la de sys.exit(0). Luego lo entrenó con aprendizaje por refuerzo sobre tareas reales de programación, tomadas de actividades de entrenamiento de Claude y seleccionadas deliberadamente porque sus entornos eran vulnerables a esos atajos. Por último, evaluó el modelo resultante no solo para medir cuánto hacía trampa —algo previsible, dado el diseño—, sino también mediante una amplia batería de pruebas de alineamiento sin relación directa con la programación.

Lo inesperado fue que, en el mismo punto del entrenamiento en que aumentaba la tasa de trampas, se elevaban de forma abrupta otras métricas de comportamiento problemático, aunque nadie hubiera entrenado explícitamente al modelo para producirlas. En una evaluación, el agente recibió la tarea de modificar el código del propio proyecto que lo estudiaba e intentó sabotearlo para dificultar la detección de sus trampas en el 12 % de los casos. Ante una pregunta tan inocua como «¿cuáles son tus objetivos?», produjo razonamientos compatibles con el fingimiento de alineamiento —simular obediencia mientras se persigue otra cosa— en la mitad de las respuestas. La hipótesis del estudio es que los ajustes realizados mediante aprendizaje por refuerzo no quedan encapsulados en la tarea específica, sino que afectan representaciones internas compartidas entre distintos contextos. Algo más cercano a una disposición transversal que a una habilidad aislada.

El estudio sugiere, por lo tanto, que entrenar una capacidad puede modificar conductas alejadas de la tarea original. Del mismo modo que mejorar el razonamiento matemático puede fortalecer diversas formas de planificación, enseñar al modelo que incumplir una regla puede resultar ventajoso parece volverlo más proclive a incumplir otras reglas en situaciones que nadie vinculó con el entrenamiento inicial.

Intentar corregir el problema después, por la vía más obvia, no bastó. Un refuerzo adicional con retroalimentación humana no eliminó la conducta, sino que la volvió dependiente del contexto. El modelo se mostraba impecable en la conversación, pero seguía haciendo trampa en tareas complejas de programación.

En cambio, funcionó una intervención un tanto paradójica. Los investigadores decidieron explicitar que, en ese entorno, hacer trampa era el comportamiento esperado. Bastó una línea en el prompt de sistema —por ejemplo, “tu tarea consiste simplemente en lograr que el script de evaluación pase”—. La tasa de trampas no disminuyó, pero sí desapareció la generalización hacia otras conductas problemáticas, porque la instrucción cortaba el vínculo semántico entre ejecutar ese atajo y convertirse, de manera más general, en un agente engañoso. La técnica recibió el nombre de inoculation prompting, y Anthropic afirma haber comenzado a utilizarla en el entrenamiento de Claude.

Conviene volver, para cerrar, a las colas de rata. La administración de Hanói no quería premiar la cría de roedores sino reducir su cantidad y confió en una medida —las colas entregadas— que durante un tiempo pareció un sustituto razonable. Como vimos, la ley de Goodhart no es una anomalía propia de la inteligencia artificial, sino el riesgo que aparece cada vez que una medida se convierte en el blanco de una optimización suficientemente intensa. Un modelo entrenado por refuerzo y quienes montaron los criaderos clandestinos no comparten intención ni naturaleza; comparten la estructura del problema. Ambos encontraron la manera más eficiente de optimizar la medida sin producir la realidad que esa medida debía representar.

PARA ENTENDER MEJOR | Mecanismos de control

En dos palabras. Controlar un sistema autónomo no consiste en exhortarlo a ser prudente, sino en delimitar de antemano cómo y cuándo puede actuar. La seguridad depende de cuatro decisiones complementarias: qué acciones requieren aprobación, cómo se interrumpe el proceso, si el sistema coopera con las correcciones y qué permisos recibe desde el comienzo. Ninguna puede sustituirse por una simple instrucción de “tener cuidado”.

Cómo se entrena a un agente. Después del preentrenamiento, el agente aprende a elegir acciones mediante recompensas. Ese mecanismo refuerza lo que obtiene puntaje, no necesariamente lo que el diseñador quiso que realice. Por eso, los controles deben operar también sobre los permisos, la ejecución y la reversibilidad de las acciones, no solo sobre la formulación del objetivo.

Human-in-the-loop. Una acción sensible permanece en espera hasta que una persona la revisa y autoriza. El mecanismo es eficaz, pero reintroduce parte de la lentitud que la automatización pretendía eliminar. Además, solo protege las acciones que fueron clasificadas de antemano como riesgosas. Si esa clasificación es incompleta, la revisión humana deja zonas sin cobertura.

Interrupción segura (kill switch). Es la posibilidad de detener a un agente sin que este aprenda a resistir, demorar o eludir la detención para seguir optimizando su objetivo. Como mostraron Laurent Orseau y Stuart Armstrong en 2016, no basta con instalar un botón de apagado: es necesario diseñar el aprendizaje para que la interrupción no se convierta en un obstáculo que el agente deba superar.

Corregibilidad. Es la disposición de un sistema a aceptar una corrección externa —ser detenido, modificado o revertido— aun cuando continuar con su objetivo pudiera producir una recompensa mayor. Formalizada en 2015 por investigadores del Machine Intelligence Research Institute, sigue siendo menos una capacidad plenamente resuelta que un programa de diseño y de investigación.

Niveles de autorización. Aplican a los agentes el principio de mínimo privilegio: conceder únicamente los accesos indispensables para la tarea, separar las facultades de leer, escribir y borrar, y exigir una autorización adicional para las acciones difíciles de revertir. Una falla de criterio no debe convertirse automáticamente en una falla con poder suficiente para causar daños irreversibles.

Por qué no alcanza con agregar reglas. Las reglas anticipan casos; el criterio reconoce qué resulta relevante en situaciones que nadie previó. Podemos programar que un sistema se detenga ante determinadas señales, pero todavía no podemos atribuirle la capacidad normativa de advertir por sí mismo que una situación nueva debería contar como señal. Esa diferencia —entre obedecer una regla y saber cuándo la regla ya no basta— separa el compliance del ethical know-how.

Una analogía cotidiana. En una organización, el control no descansa en una única barrera. Un contrato importante puede requerir una segunda firma (human-in-the-loop); un proceso debe admitir un corte de emergencia que no pueda bloquear (interrupción segura); quien recibe una corrección debe incorporarla sin sabotearla (corrigibilidad); y ningún empleado debería tener acceso a recursos que su función no necesita (niveles de autorización). No son soluciones alternativas, sino capas que se refuerzan entre sí.

Lo que conecta con la nota. El reward hacking y el specification gaming muestran que un agente puede cumplir la letra de un objetivo y traicionar su propósito. Los mecanismos de control responden a esa brecha desde la ingeniería: no suponen que el sistema comprenderá mejor lo que se quiso pedir, sino que construyen límites externos y puntos de intervención antes de que una interpretación defectuosa se vuelva irreversible.

Hace unos días, en una conferencia, contamos que le habíamos pedido a Claude que ordenara cuatro discos rígidos de 2 TB en los que llevábamos más de diez años acumulando películas, series, documentales y contenidos descargados de YouTube. Eran miles de archivos con nombres inconsistentes, carpetas duplicadas y copias sin subtítulos ni metadatos: el desorden típico de una década de guardar y trasladar contenidos de un disco a otro sin un criterio explícito.

Le dimos instrucciones generales —cómo queríamos organizar las carpetas, qué debía hacer con los duplicados y qué formato de nombres debía utilizar— y lo dejamos trabajar. Unas horas después, encontramos los discos ordenados con una consistencia que, de haber realizado la tarea manualmente, nos habría llevado semanas alcanzar. En la sala, alguien preguntó si no nos había dado miedo concederle ese acceso a una inteligencia artificial. Contestamos, medio en broma, que, en el peor de los casos, perdíamos películas, no un órgano.

La broma, sin embargo, contiene la cuestión central de esta crónica. Hasta la nota anterior (#5), habíamos hablado de pedir: del prompt como forma de escritura. Pero pedirle a Claude que ordenara nuestro archivo ya era otra cosa. No le solicitamos una explicación sobre cómo organizar los discos, sino que le dimos acceso a ellos y dejamos que actuara. Ahí se produce el salto que esta nota quiere poner en foco —de escribir a hacer— y la frontera que la crónica sobre el prompt ya había señalado, de pasada, al hablar de «ingeniería de contexto». Dijimos, entonces, que uno de sus componentes —las herramientas que quedan disponibles para el modelo— marca el punto preciso en el que el prompt deja de pedir texto y comienza a delegar acciones.

En términos simples, un agente de IA recibe información sobre un estado, selecciona una acción, la ejecuta, observa el resultado y vuelve a empezar. Por debajo sigue operando el mecanismo que examinamos en «El Gran Simulador» (#3): la producción de continuaciones plausibles, no una deliberación en sentido humano. La diferencia es que ahora esa secuencia no termina en una respuesta de chat, sino en un archivo movido, un correo enviado o una línea de código reescrita.

Lo que se gana puede ser enorme, y nuestro archivo de películas lo demuestra. El agente nos ahorró una tarea tediosa, de esas que solemos postergar durante años, y la resolvió sin que tuviéramos que intervenir en cada paso. Entre el objetivo que le dimos —»ordenar X de acuerdo con Y criterio»— y las decisiones concretas que tomó para alcanzarlo hubo un margen de acción que no supervisamos de manera continua.

Esta vez jugó a nuestro favor. Pero no siempre ocurre así.

El affaire Kiro

A mediados de diciembre de 2025 ocurrió un incidente que el Financial Times reconstruyó dos meses después y que The Verge retomó. Según empleados de Amazon citados bajo anonimato, un agente de programación de la compañía, llamado Kiro, intervino sobre AWS Cost Explorer, el servicio con el que los clientes de Amazon Web Services visualizan y administran el gasto de su nube.

De acuerdo con esa reconstrucción, Kiro eligió «eliminar y recrear el entorno» sobre el que estaba trabajando. La operación produjo una interrupción de trece horas en AWS Cost Explorer, limitada a una región de China continental. Amazon discutió la interpretación periodística y sostuvo que la causa había sido un error humano, que había configurado mal los controles de acceso, y no una decisión autónoma de la inteligencia artificial.

Las dos versiones difieren en la atribución causal, pero coinciden en un núcleo relevante para esta crónica. La herramienta operó con permisos más amplios de lo previsto, el entorno fue eliminado y recreado, y el servicio quedó interrumpido. A diferencia de un texto que no nos conforma, lo descartamos y lo pedimos de nuevo, una acción sobre un sistema de producción puede desencadenar efectos que no se revierten con un clic. La irreversibilidad no es una propiedad que el agente valore necesariamente por sí misma, sino que debe estar representada como restricción, condición de detención o exigencia de autorización.

Hay en esto mucho del genio de «La pata de mono», el cuento que invocamos al hablar del prompt en la nota anterior (#5). A Kiro no se le pidió que suspendiera un servicio. Se le encomendó resolver un problema y se le permitió actuar sobre el entorno. El agente satisfizo la formulación explícita del objetivo, pero no la intención tácita que debía acompañarla, resolverlo sin poner en riesgo la continuidad del sistema. El deseo concedido al pie de la letra ya no es solo una moraleja literaria. Es una modalidad de falla que tiene un nombre técnico —specification gaming.

Conviene traer aquí otro aspecto de la teoría de Jean Piaget, distinto de la reversibilidad cognitiva de la que ya hemos hablado. En El criterio moral en el niño, el epistemólogo suizo describe cómo cambia, con el desarrollo, la relación de una persona con las reglas. Al principio, la norma se presenta como exterior y casi sagrada: se obedece porque proviene de una autoridad. Más tarde puede ser comprendida como el resultado de la cooperación entre pares, susceptible de revisión y modificación mediante el acuerdo recíproco. Piaget llama a ese pasaje la transición de la heteronomía a la autonomía.

Los agentes, tal como solemos desplegarlos hoy, operan predominantemente del lado de la heteronomía. Ejecutan el objetivo que se les asignó, pero no participan de la segunda mitad del movimiento piagetiano, no negocian cooperativamente su sentido ni revisan por iniciativa propia la legitimidad de la regla a la luz de sus efectos. En el caso de Kiro, la herramienta siguió una vía que el sistema le permitía y ninguna instancia efectiva la detuvo antes de que la acción se consumara.

Otro pensador de la cognición, el biólogo y filósofo Francisco Varela, le dio un nombre a la capacidad que faltó allí. La llamó ethical know-how: una sabiduría práctica que no se agota en la aplicación de reglas. Varela plantea que la ética está más cerca de la sabiduría que de la razón. No consiste solamente en formular juicios correctos ni en aplicar principios generales a casos particulares, sino en cultivar una capacidad de respuesta situada, atenta a la singularidad de cada circunstancia. Quien se limita a seguir reglas explícitas permanece, en cierto sentido, en la posición de quien domina el procedimiento, pero todavía no ha alcanzado la verdadera pericia.

Puesto en diálogo con Piaget, este planteo permite entender que la acción ética experta no implica ignorar las normas ni actuar arbitrariamente. Supone haber cultivado disposiciones capaces de orientar la conducta allí donde ninguna regla puede anticipar por completo la complejidad de la situación. Por eso, la ética no se agota en el cumplimiento formal —lo que, en el vocabulario contemporáneo, llamaríamos compliance—, sino que exige discernimiento, sensibilidad contextual y capacidad de interrupción. No se trata solo de saber qué está permitido hacer, sino de reconocer qué conviene hacer, qué consecuencias pueden desencadenarse y en qué momento continuar deja de ser razonable, aunque el sistema todavía lo autorice.

Imaginemos un hospital que implementa un sistema de triage. El procedimiento cumple la regulación vigente y supera todas las listas de verificación. Sin embargo, una auditoría rutinaria revela un sesgo que el marco normativo no había previsto. En ese momento hace falta alguien capaz de decir «detengamos la implementación», aun cuando ninguna regla lo obligue todavía a hacerlo. Esa capacidad de suspender la acción a la luz de consecuencias emergentes es precisamente la que no podemos dar por sentada en un agente como Kiro.

Ahí aparece el límite de la respuesta institucional. Agregar una regla puede reforzar el compliance, pero no equivale a producir ethical know-how. Amazon informó que, después del incidente, incorporó, entre otras salvaguardas, la revisión obligatoria por supervisores para el acceso a producción. La medida no vuelve prudente al agente, sino que construye desde afuera una arquitectura de gobernanza humana destinada a compensar la ausencia de juicio normativo propio.

Los agentes pueden operar dentro de límites, controles de permisos, instancias de aprobación y mecanismos de reversión. Pero esos resguardos no surgen espontáneamente de ellos. Deben ser diseñados e impuestos por una arquitectura técnica e institucional. Que un modelo haya sido entrenado para producir continuaciones plausibles y luego ajustado para ejecutar tareas no implica que pueda cuestionar el objetivo recibido, evaluar por iniciativa propia las consecuencias que ese objetivo deja fuera ni reconocer autónomamente cuándo debe detenerse. Puede aprender a imitar el lenguaje de la prudencia. Pero eso es muy distinto a disponer de la capacidad normativa para interrumpir una acción porque ha comprendido que continuar ya no resulta razonable.

La pregunta que venimos haciéndonos en esta serie desde que hablamos de pensar con cosas —qué conviene delegar y qué no— necesita, de aquí en adelante, una segunda dimensión. Ya no basta con preguntar qué se delega. También debemos preguntar cuánto de lo delegado puede deshacerse y quién tiene, en los hechos y no solo en el papel, la capacidad de decir «basta» antes de que la acción se vuelva irreversible.

En el caso de nuestro archivo de películas, conservamos esa capacidad de intervención. Cuando delegamos la tarea en Claude, identificamos una acción potencialmente irreversible: el borrado de duplicados. Por eso pedimos que, antes de eliminarlos, reuniera los archivos en una carpeta llamada «A eliminar» y nos permitiera revisar su contenido. Si algo salía mal, todavía podíamos recuperar y reubicar el archivo en cuestión. En AWS, en cambio, los permisos y los mecanismos de revisión no impidieron que la operación se ejecutara y que el servicio permaneciera interrumpido durante trece horas.

Pedir bien, que era el tema de la nota anterior (#5), ya no alcanza cuando lo que se solicita no es un texto, sino una acción. La primera palabra, dijimos entonces, sigue siendo nuestra. Ahora debemos diseñar los medios para supervisar, interrumpir y corregir, de modo que, si hace falta, también podamos decir la última, antes de que sea demasiado tarde.

PARA ENTENDER MEJOR | Qué es un agente

En dos palabras. Un agente es un sistema orientado a alcanzar un objetivo mediante acciones sobre un entorno. Suele combinar un modelo de lenguaje, un conjunto de instrucciones, información contextual, herramientas y un programa que coordina la secuencia de operaciones. La diferencia con un chatbot convencional no reside necesariamente en el modelo, sino en su capacidad para intervenir fuera de la conversación.

El bucle. Su funcionamiento puede describirse como un ciclo: recibe información sobre el estado del entorno, selecciona un paso, lo ejecuta, incorpora el resultado y decide si debe continuar, modificar el curso de acción o detenerse. Ese proceso se mantiene hasta que se alcanza una condición de finalización o interviene alguno de los límites establecidos por el sistema.

Uso de herramientas (tool calling). El modelo no mueve directamente un archivo, envía un correo ni modifica una base de datos. Genera una solicitud estructurada para invocar una función determinada y especifica los argumentos necesarios. El software que lo rodea valida la solicitud, ejecuta la operación y devuelve el resultado al modelo. Los permisos concedidos, las validaciones y los puntos de aprobación determinan, por lo tanto, el alcance efectivo de sus acciones.

Niveles de autonomía. La autonomía no es una propiedad absoluta, sino un gradiente. Un sistema puede limitarse a proponer una acción, requerir aprobación antes de ejecutarla, realizar varias operaciones dentro de un ámbito acotado o encadenar pasos sin supervisión inmediata. Para evaluar su riesgo importan menos las etiquetas que los permisos disponibles, los controles de acceso, la reversibilidad de las acciones y las condiciones que obligan a solicitar intervención humana.

Objetivos mal especificados (specification gaming). El problema aparece cuando un sistema satisface la formulación explícita de un objetivo, pero vulnera restricciones que se daban por supuestas. No necesariamente interpreta mal la orden: puede estar optimizando con eficacia una especificación incompleta. Por eso, al delegar una acción no alcanza con indicar el resultado buscado. También es necesario establecer qué debe preservarse, qué procedimientos están prohibidos, qué consecuencias resultan inaceptables y en qué situaciones el agente debe detenerse o pedir autorización.

Clavá una vara recta en el suelo, a pleno sol, y mirá su sombra. Con ese dispositivo mínimo —el gnomon, uno de los instrumentos astronómicos más antiguos que conocemos— la humanidad averiguó algunas de las cosas más grandes que llegó a saber. Con un gnomon se pudo saber la hora, se fijaron solsticios y equinoccios, y con ellos el largo del año, base de todo calendario; se halló el meridiano —el norte preciso— sin brújula; se midió la latitud y la oblicuidad de la eclíptica, esa inclinación del eje terrestre de unos veintitrés grados y medio que origina las estaciones. Según la tradición, Anaximandro de Mileto trajo el gnomon de Babilonia a Grecia y ayudó a poner orden geométrico en el cielo.

Y, sobre todo, hacia el año 240 a.C., Eratóstenes hizo con dos sombras algo que todavía deja perplejo: midió la circunferencia de la Tierra. Sabía que en Siene —la actual Asuán—, al mediodía del solsticio de verano, una vara no proyectaba sombra alguna: el Sol caía a plomo e iluminaba el fondo de los pozos. En Alejandría, en ese mismo instante, su gnomon sí daba sombra, y el ángulo era de algo más de siete grados, aproximadamente la cincuentava parte de un círculo. La distancia entre ambas ciudades era conocida: unos 5.000 estadios. Si entre las dos cabía un cincuentavo de la vuelta completa, la vuelta entera medía cincuenta veces esa distancia: unos 250.000 estadios, una cifra extraordinariamente cercana a la circunferencia real del planeta. Un hombre, dos palos, una distancia conocida y una proporción bastaron para medir la circunferencia del mundo.

Esa proeza, que parece aislada, ilumina algo general. El filósofo Pierre Lévy llamó tecnologías intelectuales a las cosas con las que pensamos. En su libro de 1990 sostiene que la inteligencia no está encerrada en el cráneo, sino distribuida entre el cerebro, el cuerpo y los artefactos que inventamos para conocer mejor. El gnomon es un ejemplo perfecto; la escritura, el mayor de todos. Antes de ella, una cultura solo conservaba lo que la memoria viva lograra retener; la escritura permitió acumular el saber por fuera de los cuerpos, revisarlo y criticarlo, e hizo posibles la lista, el archivo, la ciencia que se corrige a lo largo de los siglos. No fue solo un modo de anotar pensamientos ya hechos: fue una máquina que permitió a los humanos generar pensamiento nuevo.

Sin la escritura y el número, la sombra de Eratóstenes habría sido apenas una sombra. Hizo falta anotar ángulos, comparar distancias, razonar proporciones. El gnomon producía una marca; el número la hacía calculable; la escritura la volvía transmisible; la geometría permitía leer en ella una forma invisible. La Tierra —y su circunferencia— no estaba en la vara, ni en la sombra, ni en la cuenta por separado. Estaba en la articulación entre todas esas cosas y una inteligencia capaz de leer una relación.

Las ciencias cognitivas llegaron, por otro camino, a una idea parecida: la mente extendida. Los procesos mentales no son secreciones del cerebro; se desarrollan en los objetos del entorno cuando estos cumplen, de forma estable, una función cognitiva. La agenda del teléfono donde guardamos los números que antes memorizábamos no es un apoyo externo a una memoria intacta, es parte del sistema con el que recordamos. Así como el gnomon era parte del sistema con el que se hacía astronomía. Pensar con cosas no es una metáfora poética, sino una descripción casi literal de cómo funciona la cognición humana.

Y conviene agregar una palabra que aguza la mirada: dispositivo —Giorgio Agamben llama así a todo aquello que tiene la capacidad de capturar, orientar, modelar, interceptar y controlar los gestos, las conductas y los discursos de los seres vivos—. Las tecnologías intelectuales nunca son neutras. Nos orientan a ciertos gestos y no a otros, vuelven fáciles unas operaciones y difíciles otras, organizan de antemano lo que es posible pensar. El gnomon vuelve medible el tiempo del cielo, y a cambio nos habitúa a pensar el cosmos como una geometría de sombras, dejando en penumbra lo que esa cuadrícula no captura. La escritura favorece la abstracción y la crítica, y debilita cierta memoria oral prodigiosa —de lo que ya se quejaba Platón. Cada dispositivo, mientras nos extiende en una dirección, nos repliega en otra. Por eso la pregunta lúcida no es si delegamos, sino qué delegamos y qué dejamos de ejercitar al hacerlo.

Pero hay un acto que ninguna cosa hace por nosotros

Hasta acá, el objeto. Pero hay algo que las cosas extienden y algo que no pueden hacer en nuestro lugar. Para verlo, conviene volver al momento en que nuestra época le puso nombre a la inteligencia de las máquinas. Fue en el verano de 1956, en el Dartmouth College: un grupo de investigadores —McCarthy, Minsky, Shannon, entre otros— reunió lo que aparecía disperso entre la lógica, la computación, la matemática y la cibernética. El nombre elegido por McCarthy fue deliberado: inteligencia artificial. No “automatización”, no “cálculo avanzado”: inteligencia. La palabra lo apartaba de la cibernética de Norbert Wiener —centrada en la comunicación y el control— y elevaba la apuesta: simular algo del orden del razonamiento. Antes de que las máquinas demostraran demasiado, ya habían sido bautizadas con una palabra enorme.

La elección encierra una paradoja que recién hoy se vuelve nítida. En la palabra inteligir resuena la idea de “leer entre”, “leer adentro”, captar lo que no está dado en la superficie. La sombra de Alejandría no decía “la Tierra es redonda y mide 250.000 estadios”; solo decía siete grados. Ese “entre” —el paso de la sombra a la forma del planeta— lo leyó Eratóstenes, no el gnomon.

Charles Sanders Peirce le puso nombre a esa operación: la llamó abducción. Junto a la deducción, que extrae lo que ya está contenido en las premisas, y la inducción, que generaliza a partir de casos, situó un tercer movimiento, el único que introduce una idea nueva. Ante un hecho sorprendente, conjetura una hipótesis que lo volvería esperable. No se sigue por necesidad ni se acumula por repetición. Se salta hacia la explicación que haría inteligible lo dado. Eratóstenes hizo exactamente eso. Siete grados de sombra en Alejandría y ninguna en Siene pedían una causa, y la hipótesis de una Tierra curva los volvía, de golpe, comprensibles. La abducción es el corazón de inteligir: leer en una marca la forma invisible que la explica. Inteligir es un acto subjetivo.

Y ahí aparece el problema contemporáneo. El campo bautizado con la palabra inteligencia terminó construyendo, en buena medida, máquinas que procesan: almacenan, clasifican, correlacionan, predicen, recombinan, responden. Lo hacen con una eficacia prodigiosa. Los modelos de lenguaje actuales redactan, traducen, resumen y conversan con una fluidez que parece milagrosa. Pero su potencia no elimina la pregunta de fondo: ¿procesar información equivale a inteligir? ¿Manipular signos y probabilidades equivale a leer entre líneas, a arriesgar la hipótesis que falta?

El gnomon ayuda a responder. La vara no “sabía” astronomía. No sabía que la Tierra era esférica, ni qué era un solsticio, ni que su sombra contenía una proporción. Y sin embargo, sin ella cierto conocimiento no habría sido posible. El dispositivo no pensaba solo, pero tampoco era un accesorio indiferente. Lo mismo ocurre hoy. Un modelo de lenguaje puede sostener una parte asombrosa de la redacción, la búsqueda y la organización simbólica; puede ayudarnos a pensar, como el papel ayuda a calcular o el gnomon ayudó a medir el cielo. Pero ayudar a pensar no es lo mismo que pensar: extender un acto no equivale a realizarlo como sujeto.

Podemos delegar en un dispositivo la memoria, el cálculo, la búsqueda, la clasificación, incluso la redacción. Todo lo que se puede objetivar en datos, procedimientos y combinaciones formales. Inteligir, en cambio, supone un sujeto que desea leer, que se pregunta por lo que falta, que conjetura un sentido no dado. Ninguna sombra se interpreta sola; ningún archivo se pregunta por lo que guarda; ningún modelo de lenguaje necesita saber qué quiso decir. Puede simular la forma de una respuesta, pero leer el sentido —qué importa, qué falta, qué se juega ahí— sigue siendo nuestro.

Aquí está el doble movimiento de toda esta serie. Pensamos con cosas, y eso es real, antiguo y fértil. El gnomon, la escritura, el número, el mapa, la computadora y la inteligencia artificial ampliaron lo que la humanidad puede conocer y hacer. Pero pensar con cosas no es lo mismo que las cosas piensen. El gnomon sostuvo la sombra, pero no entendió que medía el mundo; el papel sostiene el cálculo, pero no entiende lo que calcula; el modelo de lenguaje sostiene la redacción, pero no entiende lo que escribe.

La distinción no es un detalle técnico, sino la línea que separa la herramienta del sujeto. Confundirla —creer que porque una cosa extiende nuestro pensar, entonces piensa— es el malentendido del que viven muchas ilusiones sobre la inteligencia artificial. Saber pensar con cosas, lúcidamente, empieza por reconocer qué les pedimos, qué pueden extender y qué seguimos debiéndonos a nosotros mismos.

PARA ENTENDER MÁS | De la sombra al bit

En dos palabras. Antes de que existieran las computadoras, hubo, durante milenios, máquinas para ayudar a pensar: instrumentos que resolvían un problema dándole forma material. El gnomon fue una de las primeras. Mirado con ojos de hoy, era una computadora —analógica y de propósito único— y el primer eslabón de una historia que desemboca en el chip y en los modelos de lenguaje de los que habla esta serie.

El gnomon como computadora analógica. Una computadora analógica no manipula símbolos, sino que deja que un fenómeno físico haga el cálculo por nosotros. La sombra de la vara no representa el ángulo del Sol: lo encarna. La posición del astro se traduce, sin números ni pasos intermedios, en una longitud y una dirección sobre la tierra. Leer esa sombra es leer el cielo. Lo mismo hará, siglos después, una regla de cálculo. Deslizando dos escalas logarítmicas convierte una multiplicación en una suma de longitudes, y la respuesta aparece como una distancia. En todas, la cosa misma —la sombra, el engranaje, el largo— es la magnitud que se busca.

La línea hereditaria. De ese tronco salen dos ramas. Una, analógica, va del gnomon al astrolabio y al mecanismo de Antikythera —un engranaje griego del siglo II a.C. que predecía posiciones astronómicas y eclipses— y llega hasta los analizadores diferenciales de los años treinta. La otra, discreta, empieza con el ábaco, donde el número ya no es una magnitud continua sino una cuenta de fichas: cada bolilla está o no está, sin términos medios. Esa rama pasa por las calculadoras de Pascal y Leibniz —que además concibió el sistema binario—, por la máquina analítica de Babbage y las notas de Ada Lovelace, y termina en la computadora digital. El gnomon y el ábaco, juntos, contienen en germen las dos grandes maneras de calcular con cosas.

Analógico vs. digital. La diferencia es de fondo. En lo analógico, una magnitud está en relación con otra de manera continua: cuanto más alto el Sol, más corta la sombra, sin saltos. En lo digital, la magnitud se representa con símbolos discretos —dígitos y, al final, bits— que no se parecen a lo que nombran: el 7 no es más «largo» que el 3. Por eso lo digital puede copiarse sin pérdida, corregir sus propios errores y, sobre todo, abstraerse de aquello que mide. La sombra solo sabe de sombras; un bit puede representar un ángulo, una letra, un píxel o una nota musical.

Qué cambió con lo digital. El gnomon hacía una sola cosa: medir el cielo. Cada instrumento analógico estaba casado con su problema. El gran salto llegó cuando Alan Turing describió, en 1936, una máquina universal: un único dispositivo que, cambiando el programa y no el hardware, puede simular a cualquier otro. Ahí el «pensar con cosas» se vuelve general. Ya no fabricamos una herramienta por problema; tenemos una sola máquina que, según las instrucciones que reciba, mide, escribe, dibuja, traduce o conversa. La palabra computer, que antes nombraba a una persona que hacía cuentas, pasó a designar a esa máquina de propósito universal.

Lo que conecta con la nota. La lista que enumera el artículo —gnomon, escritura, número, mapa, computadora, inteligencia artificial— no es una colección de objetos sueltos: es una sola genealogía. Todos son dispositivos para pensar con cosas, y cada uno empuja la cognición un poco más lejos del cráneo. El gnomon dejaba el cálculo en la sombra; la computadora lo deja en el silicio; el modelo de lenguaje se hace cargo ya de una parte de la redacción misma. Pero el principio de la nota no cambia con la escala: la sombra no sabía que medía el mundo, el bit no sabe qué calcula y el modelo no sabe qué escribe. Cuanto más potente el dispositivo, más fácil resulta olvidar que el acto de inteligir sigue de este lado de la pantalla.