El algoritmo como coartada: cuando medir reemplaza decidir

Por Javier Surasky

English version (EN)

Introducción

La inteligencia artificial (IA) se presenta como una herramienta para decidir más rápido, con menos errores y con mayor consistencia, todo sobre la base de una supuesta objetividad basada en la creencia de que el sistema reduce arbitrariedades humanas. 

Tal objetividad no es, ni puede ser, perfectamente lograda.

Para que pudiera existir sería condición necesaria que el mundo pueda ser representado mediante un conjunto de datos que sean su representación perfecta. Como advierte Shin, la verdad algorítmica no es neutral, sino una construcción basada en datasets, clasificaciones, heurísticas y modelos estadísticos (Shin, 2025).

Esto significa que detrás de la IA que vemos se está produciendo un desplazamiento político mediante la institucionalización de criterios dominantes de justificación y desempeño que no podemos observar con claridad, y como resultado la discusión termina siendo sobre cumplimiento de métricas y no sobre los fines perseguidos al acudir a la IA como apoyo, que no necesariamente son una y la misma cosa.

Sostenemos que la IA opera como infraestructura de razón instrumental en la medida en que convierte fines axiológicos en variables de optimización. 

Planteamos que esa formalización desplaza la discusión de valores por la de métricas que, en el mejor de los casos, son proxies falibles de la realidad.

Decisiones invisibles en modelos de IA

Comencemos por aclarar el problema de la IA y los plexos de valores.

La IA no puede “tener valores propios” ya que no es un sujeto moral, pero, en su funcionamiento, se vuelve dependiente de decisiones axiológicas previas sobre asuntos como qué medir, con qué indicadores y qué pérdidas tolerar, que asumen ropajes de opciones técnicas cuando son decisiones políticas y, por tanto, implican lecturas basadas en valores. Como lo afirmábamos en un trabajo anterior, la IA es “una herramienta, un medio que carece de fines propios” (Surasky, 2023:269).

Esta reubicación de los valores en juego suele quedar invisibilizada por el relato tecnocrático, pero si la IA es un ensamblaje de datos, poder de cómputo y habilidades humanas, entonces deberíamos leerla como práctica social que reorganiza la racionalidad al establecer qué cuenta como problema, qué como solución, y qué sacrificios son aceptables en nombre del rendimiento.

Lindgren (2024:17) va por ese mismo camino cuando nos pide comprender la IA "no como una tecnología estrecha, sino como un aparato ubicuo, un aglomerado complejo de distintos componentes que está entrelazado con la experiencia humana", reforzando la mirada de que la conversión de fines en métricas no es un detalle de ingeniería, sino un modo de organizar experiencias dentro de condiciones de calculabilidad y control.

Razón instrumental y racionalización: marco desde la teoría crítica

La teoría crítica ha dado hace tiempo nombre al mecanismo por el cual medios y procedimientos ganan primacía sobre los fines. 

Horkheimer, al distinguir la razón “subjetiva,” la define por su orientación a la adecuación instrumental: “Se ocupa esencialmente de medios y fines, de la adecuación de los procedimientos a propósitos que se dan más o menos por sentados” (Horkheimer, 2004:3). Lo clave aquí es la referencia a propositos dados por sentados, los que se presuponen, se heredan y se naturalizan, cediendo al análisis de rendimiento de procedimientos el espacio que debería ocupar el debate sobre valores. 

La IA intensifica ese patrón al optimizar procedimientos bajo una función objetivo. y su  efecto políticamente problemático aparece cuando esa función se convierte en lenguaje dominante de justificación.

Lo justificable se mide por la aplicación de métricas de optimización internas del sistema, como precisión, minimización de error y eficiencia, junto a métricas externas como ahorro, productividad, reducción de plazos. Pero todo eso requiere definir previamente qué es “lo bueno” en perspectiva operacional y formalizarlo para dar guía a todas las decisiones subsiguientes y construir una racionalidad algorítmica que estabiliza decisiones alrededor de lo que puede medirse y optimizarse.

La Dialéctica de la Ilustración ofrece un antecedente útil: cuando el mundo se vuelve legible como cálculo, el relato y la interpretación pierden autoridad frente a la operación formal. “El cálculo científico de los acontecimientos anula el relato de estos que el pensamiento había puesto alguna vez en el mito” (Horkheimer y Adorno, 2002:5), lo que puede considerarse una analogía estructural de cómo la explicación pública de los fines puede quedar desplazada cuando el cálculo domina el lenguaje de la racionalidad y la optimización se presenta como sustituto suficiente a la justificación de fines.

No estamos diciendo que toda racionalización o formalización sea una forma de dominación. El problema es muco más específico: cuando la racionalidad de medios se impone como criterio rector, la consideración de fines queda subordinada o externalizada, y la IA tiene el potencial de impulsar una subordinación operativa cuando se integra a marcos de evaluación por desempeño: automatiza y estabiliza la preferencia institucional por lo calculable, en otras palabras, lo que puede cuantificarse es lo prioritario para decidir y para explicar las decisiones.

La operación axiológica de medir

Antes del modelo está la medición, y antes de la medición está la definición de lo medible.

Espeland y Stevens (2008:407) llaman a eso “la producción y comunicación de números”, que fabrica numeros sociales a través de categorías, instrumentos, umbrales, escalas y convenciones.

Por eso, algoritmo y neutralidad no van necesariamente de la mano. Douglas (2009:14), en su crítica al ideal de ciencia libre de valores, nos dice que "el ideal de una ciencia libre de valores, articulado por filósofos a fines de la década de 1950 y consolidado en la década de 1960, debería rechazarse, no solo porque es un ideal difícil de alcanzar, sino porque es un ideal indeseable".

Trasladado al caso de la IA, lo que Douglas nos dice es que incluso si el cálculo interno es coherente, el marco de medición que lo alimenta incorpora prioridades y supuestos.

En respuesta, podría sostenerse que “la IA puede ser neutral si los datos son buenos”, pero esa afirmación olvida que el punto ciego persiste, ya que los datos serán “mejores” o “peores” según lo que se haya definido como relevante dentro de un marco valorativo que representa la realidad de forma parcial y sesgada.

Además, medir implica ordenar y clasificar, por lo que las categorías no son solo nombres sino “guardias” de entrada a espacios de visibilidad, y el dato que logre pasar será medición, captura y estandarización, lo que le dará o no paso hacia el circuito de toma de decisiones: fijado el marco de medición, lo medible deviene dato y lo no medible, residuo.

Los datos: una operación de captura del mundo

La IA aprende patrones sobre lo que el sistema puede registrar, dando a su “razonamiento” la forma de una inferencia condicionada por la representación del mundo que lo alimenta. 

Sin embargo, antes del aprendizaje automático hay una operación de trasmutación de la experiencia real en insumo estandarizado: “en la era contemporánea, esto es vida humana extraída bajo la forma de datos, que está siendo apropiada”, nos recuerdan Mejias y Couldry (2024:18), “Los puntos ciegos de un modelo reflejan los juicios y prioridades de sus creadores”, reafirma O’Neil (2016:21).

Hay, al menos, tres tipos de puntos ciegos: por ausencia (no hay registro disponible), por decisión normativa (se excluye por irrelevante lo que no supera un análisis de costo-eficiencia) y por proxy (se mide un sustituto que reordena el fenómeno para hacerlo manejable). 

Los puntos ciegos son producto de una construcción institucional de lo que es relevante y, en IA, se vuelven parte de su estructura, porque la optimización necesita un criterio de éxito estable que sea medible.

Habrá aquí quien nos diga que los sesgos se pueden corregir técnicamente. Nuestra visión es que muchas propuestas de corrección no son más que traducciones de valores como equidad, no discriminación o justicia, a restricciones métricas.

Realizar esa operación es necesario, y hasta diría imprescindible, pero sigue implicando definir formalmente cada uno de esos valores que llegan para atemperar los problemas. 

Lejos de cerrar el círculo, se crea una intersección entre múltiples formalizaciones, cada una de las cuales es portadora de todo cuanto venimos señalando, creando una suerte de “valuewashing”: “el enfoque basado en principios parecía carecer de fuerza, desprovisto de fines normativos” (Krijger, 2022:1429) que oscurece el conflicto normativo-axiológico poniendo en marcha un mecanismo que Mökander y Schroeder (2024:1359) explican de la siguiente forma: “la sustitución de las tradiciones por la racionalidad instrumental [es] la forma más calculable y eficiente de alcanzar cualquier objetivo de política dado”, lo significa que aun si el fin declarado es valioso, la forma instrumental tiende a absorberlo en lo calculable.

Efectos sociales: cuando el indicador manda

Cuando las métricas se institucionalizan, vuelven a la realidad convertidas en criterios.

Bowker y Star nos dan un claro ejemplo de ese proceso: “La decisión de clasificar a los estudiantes según sus pruebas estandarizadas de rendimiento y aptitud valoriza ciertos tipos de conocimientos y habilidades, y vuelve invisibles otros” (Bowker y Star, 1999:6). Con la IA, ese efecto se amplifica porque la clasificación se automatiza y se despliega como infraestructura de asignación pretendidamente objetiva.

Estamos ante lo que sociología y filosofía llaman “reactividad” o “performatividad” (performativity) de las medidas públicas: al registrar un estado de cosas, los datos se expresan en indicadores que generan adaptaciones que, a su vez, modifican lo que miden: al volverse públicos, los datos reorganizan conductas y prioridades: un “gato de Schrödinger” en código binario:

Para ver este mecanismo en operación, podemos imaginar un sistema de “puntos” (score) para el acceso a un crédito, donde un juicio se cristaliza en un umbral definido para su otorgamiento, que se convierte en el objetivo práctico a lograr. Mejorar el score sustituye el debate sobre su razón.

Esta realidad se articula con un régimen amplio de extracción de vida en forma de datos que Mejias y Couldry (2024:17) describen como un proceso de apropiación sistemática: “Bienvenidos al colonialismo de datos. Está ocurriendo en todas partes. Es una apropiación de recursos a una escala verdaderamente colonial. Una captura de datos que cambiará el curso de la historia como lo hizo el acaparamiento colonial original de tierras hace cinco siglos”. 

No se trata de equiparar experiencias históricamente diferentes, sino de destacar que la infraestructura métrica permite tratar la vida como territorio estandarizable y explotable.  “El peligro de la ideología es que, una vez establecidas las visiones y prioridades dominantes, comienzan a disfrazarse de ‘sentido común’ y, así, se naturalizan” (LIndgren, 2023:17).

El efecto típico de la naturalización del indicador es que lo que mejora sus resultados se celebra como mejora sustantiva, incluso cuando el residuo no medido se deteriora, aun cuando ese residuo sea lo que llamamos dignidad, autonomía, sentido o justicia.

Del indicador al gobierno: por qué medir no equivale a decidir

Llegamos al punto de lo que llamo “coartada algorítmica”, efecto por el cual decisiones normativas previas quedan justificadas por la apariencia de necesidad técnica: ‘lo dice el modelo’, ‘lo exige el indicador’, ‘es lo más eficiente’.

Esa coartada surge de una institucionalización de la formalización orientada a fines políticamente establecidos: cuando la métrica se convierte en el lenguaje legítimo, la discusión sobre fines se traduce a cumplimiento de indicadores.

Como advierte Smuha (2024:12), “Bajo el gobierno mediante la ley, la ley es apenas una herramienta formal que legitima la acción ejecutiva”. 

La coartada algorítmica opera de la misma forma: presenta una decisión discutible bajo la forma de una exigencia incontrovertible.

Un defensor de la cuantificación podría decirnos que la deliberación humana también es sesgada y opaca y que el indicador permite, al menos, auditar. Punto concedido: la formalización facilita el control, pero si la auditoría solo verifica el cumplimiento de métricas, certifica el desempeño dentro del marco ya axiologizado y ayuda a mantenerlo “bajo la alfombra”.

Peor aún, bajo una racionalidad de medición, cuando los objetivos se demuestran “no medibles” pierden existencia real, más allá de lo trabajosos y valiosos que hayan sido los procesos que llevaron a su establecimiento: “los indicadores que capturan objetivos de política acordados globalmente (aunque controvertidos) pueden desaparecer silenciosamente debido a la falta de datos y de mensurabilidad” (Bexell, 2024:278).

Y así como nosotros concedemos la ventaja de auditoría que abre la existencia del indicador, pedimos que, en reciprocidad, se asuma que cuando estos se vuelven criterios institucionales de rendimiento, vinculados a auditorías, reputación, financiamiento o sanciones (Morgan-Thomas et al., 2024), pueden inducir a formas de registro de datos que empujen al límite la realidad que quieren reflejar a fin de mejorar los resultados tenidos por exitosos (Runhardt, 2025).

Conclusiones: ¿Qué hacer con lo no medible?

La posibilidad de contar con mediaciones que permitan sostener fines no reducibles sin renunciar a toda medición es un elemento crítico para el futuro de la gobernanza de la IA que nos convoca a recuperar una distinción de racionalidades.

Habermas nos decía que, al hablar, “estamos formulando constantemente afirmaciones, aunque por lo general solo de manera implícita, sobre la validez de lo que estamos diciendo” (Habermas, 1984: p.x). Lo importante es que esas pretensiones pueden discutirse y deben justificarse públicamente, abriendo una dimensión deliberativa que la optimización pretende ocupar en su totalidad.

Pero debemos reconocer que si no medimos, no podemos actuar basados en evidencia. 

Por ello, lo que perseguimos es demostrar que la acción requiere combinar medición con juicio responsable, lo cual incluye definir dónde y cuándo la optimización es legítima y dónde y cuándo debe ser limitada por principios no reducibles a métricas.

Propongo un test sencillo para decidir dónde la optimización debe ser limitada basado en cinco preguntas

1. ¿La decisión tiene impactos irreversibles o difíciles de reparar?

2. ¿Hay una alta asimetría de poder y una baja capacidad de salida del afectado?

3. ¿Los daños son compensables?

4. ¿Los daños recaen sistemáticamente sobre ciertos grupos?

5. ¿El proxy afecta o puede afectar negativamente los derechos humanos?

Cuando al menos una respuesta sea afirmativa, sugiero invertir la carga de la prueba como criterio prudencial: no basta con que el modelo funcione, debe justificarse públicamente por qué su marco de medición es aceptable.

Si la tecnología no es neutral, entonces su diseño e implementación deben abrirse a la disputa pública sobre qué se optimiza, con qué criterios y bajo qué lecturas de los valores implicados: se debe repolitizar y democratizar la elección de métricas, y esto requiere generar programas de alfabetización estadística básica para que todas las personas puedan participar en los debates.

La IA, como infraestructura de razón instrumental, desplaza las discusiones sobre fines y valores hacia métricas de eficiencia, pero nosotros invitamos aquí a distinguir unos de otras y a tomar parte en la problematización de la conceptualización de los indicadores como mediciones objetivas de la realidad.

Lo valioso nunca se agota en lo medible.

 

Referencias

Bexell, M. (2024). Indicator accountability or policy shrinking? The effects of indicators on multilateral development banks. Global Policy, (15)2, 276-287. https://onlinelibrary.wiley.com/doi/epdf/10.1111/1758-5899.13348

Bowker, G.C. y Star, S.L. (1999). Sorting things out: Classification and its consequences. MIT Press.

Douglas, H.E. (2009). Science, policy, and the value-free ideal. University of Pittsburgh Press.

Espeland, W. y Stevens, M. (2008). A sociology of quantification. Archives Européennes de Sociologie / European Journal of Sociology, 49(3), 401-436. Doi 10.1017/S0003975609000150

Habermas, J. (1984). The theory of communicative action (Vol. 1, Reason and the rationalization of society; T. McCarthy, Trans.). Beacon Press.

Horkheimer, M. (2004). Eclipse of reason. Continuum.

Horkheimer, M. y Adorno, T. (2002). Dialectic of enlightenment: Philosophical fragments. Stanford University Press.

Krijger, J. (2022). Enter the metrics: Critical theory and organizational operationalization of AI ethics. AI & Society, (37), 1427-1437. https://doi.org/10.1007/s00146-021-01256-3

Lindgren, S. (Ed.). (2023). The handbook of critical studies of artificial intelligence. Edward Elgar Publishing.

Lindgren, S. (2024). Critical theory of AI. Polity Press.

Mejias, U. A., & Couldry, N. (2024). Data grab: The new colonialism of big tech and how to fight back. The University of Chicago Press.

Mökander, J., & Schroeder, R. (2024). Artificial intelligence, rationalization, and the limits of control in the public sector: The case of tax policy optimization. Social Science Computer Review, 42(6), 1359-1378. https://doi.org/10.1177/08944393241235175

Morgan-Thomas, A.; Tsoukas, S.; Dudau, A. y Gąska, P. (2024). Beyond declarations: Metrics, rankings and responsible assessment. Research Policy, 53(10), 105093. https://doi.org/10.1016/j.respol.2024.105093

O’Neil, C. (2016). Weapons of math destruction: How big data increases inequality and threatens democracy. Crown.

Runhardt, R. (2025). Reactivity, validity, and measurement in the social sciences. Studies in History and Philosophy of Science. https://doi.org/10.1016/j.shpsa.2025.05.006

Shin, D. (2025). Automating epistemology: how AI reconfigures truth, authority, and verification. AI & Society. https://doi.org/10.1007/s00146-025-02560-y

Smuha, N. (2024). Algorithmic Rule by Law. Cambridge University Press. https://doi.org/10.1017/9781009427500

Surasky, J. (2023). Gobernanza de la inteligencia artificial para el desarrollo sostenible. Salimena, G. (Comp.). La política internacional en el proceso de transición intersistémico. Teseo, 269-292.