#10 – Convivir con las tecnologías intelectuales

Hay una imagen extraña en el primer capítulo de El Capital. Marx describe una mesa de madera, un objeto tan común que nadie se detendría a mirarlo. Pero apenas esa mesa entra al mercado con un precio, deja de ser solo madera trabajada por alguien. Se transforma, escribe Marx, en algo que se pone de cabeza y saca de su testa de madera ideas más extrañas que si se hubiera puesto a bailar por voluntad propia.

Lo que Marx quiere mostrar con esa imagen casi cómica es serio. Detrás de esa mesa hay horas de trabajo, decisiones, una historia de manos y herramientas. En el mercado nada de eso se ve. Lo que aparece es un objeto con un valor que parece salirle de adentro, como si el precio fuera una propiedad de la madera y no el resultado de una relación entre personas que ya no figura en ningún lado. Marx llamó a esa mutación «fetichismo de la mercancía».

La idea no se quedó en el siglo diecinueve. Décadas después se extendió más allá del mercado. Cada vez que tratamos una relación viva —entre personas, o entre una persona y un sistema— como si fuera una propiedad fija y medible de una cosa, ocurre algo parecido a lo que Marx vio en la mesa. A esa operación la podemos llamar cosificar (o reificar, partiendo de su raíz latina), sin necesidad de más nombres: tratar como cosa lo que en realidad es un vínculo.

No hace falta un mercado para que esto ocurra. Alcanza con cualquier sistema que necesite volver comparables cosas que, en la experiencia de quien las vive, no lo son. Esta serie ya se topó con una versión actual de esa operación. En la crónica anterior, #9, describimos cómo un sistema como el de Her no conoce personas, sino tipos mensurables. Vectores de comportamiento comparados con los de millones de usuarios. Ese tipo no es una descripción neutral de alguien. Es el vínculo entre Theodore y Samantha, cosificado, hecho dato, hecho posición dentro de un mapa. La mesa se pone de cabeza otra vez, ahora con datos en lugar de madera.

La autonomía no es optimizar mejor

Frente a esto surge una pregunta que esta serie viene rodeando desde hace varias entregas. Si la máquina va a participar de nuestra vida cotidiana, ¿qué ética hace falta para que esa convivencia no sea, simplemente, cosificación mutua bien calibrada?

Una respuesta tentadora es escribirle reglas cada vez mejores, un objetivo más preciso, una recompensa mejor diseñada, restricciones más completas. Ya vimos, en #7, por qué esa respuesta no alcanza. Un sistema entrenado para maximizar una medida, por más cuidadosa que sea, tarde o temprano encuentra el atajo que la satisface sin cumplir el propósito que la medida quería representar. Y en #6 señalamos algo más de fondo. Un sistema que ejecuta perfectamente la regla que le dieron sigue sin poder preguntarse si esa regla vale la pena. Puede cumplirla cada vez con más precisión sin que eso lo acerque un centímetro a evaluarla. Cumplir mejor no es lo mismo que ser autónomo. La autonomía normativa no es una función que se optimiza. Es la capacidad de poner la norma misma en cuestión.

Un texto que hay que cumplir

El intento más serio que existe hoy para ir más allá de la recompensa ciega tiene nombre propio. Anthropic entrena a sus modelos, entre otros métodos, contra un texto explícito de principios —una «constitución«— que el propio sistema usa para criticar y revisar sus respuestas antes de darlas por buenas, en lugar de depender únicamente de un modelo de recompensa entrenado con preferencias humanas. La idea es real y es un avance. En vez de aprender solamente qué palabras le dan mejor puntaje, el modelo aprende a evaluar sus propias respuestas contra algo escrito, argumentado, público. Ese texto combina, entre otras cosas, principios de derechos humanos, normas propias de la compañía y heurísticas pensadas para reducir daños concretos.

Pero nos conviene mirar con cuidado qué es, técnicamente, ese avance. Un modelo entrenado contra una constitución sigue siendo un modelo entrenado para maximizar el cumplimiento de un texto. La constitución puede ser más legible, más discutible y más corregible que una recompensa numérica ciega, pero sigue siendo una especificación que el sistema optimiza cumplir, no un criterio que pueda poner en duda por sí mismo. Es, dicho de otro modo, la mejor heteronomía que sabemos escribir por ahora.

Lo que la máquina nos devuelve

Nada de esto es un reproche a ese esfuerzo. Quizá esa sea, por ahora, la mejor respuesta disponible. No porque hayamos resuelto el problema de la autonomía normativa en las máquinas, sino porque tampoco hemos conseguido resolverlo en nosotros mismos. La diferencia es que, en el caso humano, esa incertidumbre convive con la experiencia del conflicto, la responsabilidad y el juicio. En el caso de la inteligencia artificial, convive únicamente con la eficacia de un comportamiento que puede parecer normativo sin que sepamos si alguna vez llega a serlo. 

 Y ahí aparece algo que atraviesa toda esta serie sin que lo hayamos dicho así hasta ahora. Construir sistemas que piensan según el mismo molde con el que llevamos décadas pensando la cognición —entrada, procesamiento, salida; regla, recompensa, optimización— terminó mostrándonos, con una claridad incómoda, los límites de ese molde para explicarnos a nosotros mismos. El efecto ELIZA con el que abrimos esta serie (#1), el acto de inteligir que ninguna cosa hace en nuestro lugar (#4), el resto que ningún cálculo absorbe (#9) —son, todos, el mismo hallazgo insistiendo desde ángulos distintos. La máquina no nos reemplaza. Nos devuelve, como un espejo incómodo, la pregunta de qué es lo que en nosotros nunca cupo del todo en él.

No es la primera vez que una tecnología intelectual nos exige este ejercicio. Cada una de las que fuimos repasando en este recorrido —la escritura, el número, el mapa, la computadora— nos obligó, a su turno, a aprender qué delegarle y qué seguir haciendo nosotros mismos. Lo distinto ahora es la velocidad con que ese aprendizaje tiene que darse, y que el propio sistema, a diferencia del papel o el ábaco, puede simular estar de nuestro lado.

Convivir con las tecnologías intelectuales, entonces, no es un problema que resolvamos diseñando el sistema correcto una sola vez, ni escribiéndole a la máquina el texto perfecto. Es un ejercicio que hay que sostener de los dos lados. Nosotros, resistiendo la comodidad de dejarnos cosificar por un tipo bien ajustado; el sistema, hasta donde pueda, sometido a una revisión que ninguna constitución agota. Esta serie fue, de punta a punta, un intento de realizarlo. Pensar con las cosas sobre cómo pensar con ellas, sin dejar que el pensar mismo quedara, en el camino, reducido a una de ellas.

PARA ENTENDER MEJOR | Qué es cosificar (reificar)

En dos palabras. Fetichismo de la mercancía es el nombre que Marx dio a una ilusión producida por la propia organización social. Aquella que hace aparecer las relaciones entre personas como si fueran relaciones naturales entre cosas.

Cuando algo se convierte en mercancía, su valor parece brotar del objeto mismo, y el trabajo humano que lo hizo posible desaparece de la vista. Cosificar, en sentido amplio, es esa misma operación aplicada a cualquier relación viva. Tratarla como si fuera una propiedad fija de una cosa.

Por qué el trabajo desaparece. El mecanismo tiene una lógica precisa. Para poder comprar una mesa con el dinero de, por ejemplo, un abrigo, el mercado necesita reducir ambos objetos a algo común y comparable, el precio. Esa reducción es la que borra todo lo demás. El tiempo, la destreza y las decisiones que hicieron falta para producir la mesa no entran en la comparación, así que dejamos de verlos. Lo que queda visible es solo la relación entre dos precios, no la relación entre las personas que trabajaron.

De la mercancía a la persona. El concepto no se quedó en la economía. Décadas después se extendió a cualquier situación en la que una relación humana —o una relación entre una persona y una institución— empieza a tratarse con la misma lógica, como una propiedad medible, comparable, intercambiable, en lugar de un vínculo vivo entre partes que se afectan mutuamente.

Cosificarnos a nosotros mismos. El movimiento no siempre viene de afuera. Contar los pasos que caminamos, puntuar la calidad de nuestro sueño, revisar cuántas veces por semana hablamos con determinada persona. Cada una de esas prácticas, tomada aisladamente, es inofensiva. Pero nos acostumbran a mirar nuestra propia vida como un conjunto de métricas que podemos mejorar, en lugar de una experiencia que vivimos. Cosificarnos un poco cada día es más difícil de notar que ser cosificados por otro.

Por qué no es solo una metáfora. El riesgo de cosificar no es únicamente que resulte deshumanizante en abstracto. Es que cambia lo que se puede hacer con lo cosificado. Una mercancía se compra, se vende, se compara por precio. Una relación cosificada se mide, se clasifica, se optimiza. La forma que toma la cosa habilita ciertas operaciones y clausura otras.

No toda medida es cosificación. Medir no es, por sí mismo, el problema: una radiografía mide un hueso y no por eso lo cosifica. La cosificación aparece cuando la medida reemplaza a la relación en lugar de servirla, cuando el mapa deja de remitir al territorio y empieza a funcionar como si fuera el territorio mismo. La pregunta útil no es si algo se puede medir, sino si, una vez medido, seguimos recordando que la medida es parcial.

El tipo mensurable de la crónica anterior. En #9 mostramos que un sistema conversacional no trata con personas, sino con una posición estadística dentro de una población de usuarios comparables entre sí. Esa posición es una cosificación contemporánea, el vínculo entre Theodore y Samantha, convertido en dato, comparable y escalable como cualquier mercancía.

Lo que conecta con la nota. Una ética para convivir con estos sistemas tiene que poder nombrar cuándo una relación se está cosificando, de los dos lados, porque también nosotros podemos tratar al sistema —o tratarnos a nosotros mismos frente a él— como una cosa optimizable. Resistir esa reducción, no encontrar la constitución perfecta, es el verdadero trabajo de la convivencia.