Por Javier Surasky
.png)
Poder, control humano y decisiones distribuidas
Cuando una institución utiliza un sistema de inteligencia artificial para tomar decisiones, la pregunta es cómo se distribuye la decisión entre modelos, datos, proveedores, funcionarios, infraestructuras y normas. Este artículo analiza por qué la toma de decisiones mediada por IA debe entenderse como un proceso sociotécnico, atravesado por relaciones de poder, capacidades desiguales y límites reales al control humano.
Al preguntarnos ¿Quién decide realmente cuando decide una IA?
la respuesta suele moverse entre dos extremos: aquellos que afirman que decide
la máquina y quienes entienden que la decisión sigue siendo humana si una persona
conserva la facultad de aprobar, rechazar o modificar el resultado producido
por el sistema.
Creo que ninguna de las dos respuestas describe
adecuadamente lo que ocurre.
La IA no desplaza la decisión humana a una máquina o modelo,
pero sí modifica la forma en que esta se produce mediante la aplicación de funciones
que se configuran una autoridad capaz de definir el problema, producir
conocimiento, establecer criterios, seleccionar alternativas, intervenir y
responder por las consecuencias, cuando en realidad todo ese proceso se
distribuye entre personas, organizaciones, datos, modelos, proveedores e
infraestructuras, lo que nos lleva a la necesidad de replantear la pregunta
sobre quién toma la decisión por una nueva sobre cómo reconstruir la cadena de intervenciones,
analizar las capacidades en manos de cada parte involucrada y determinar la
posibilidad real que cada una tiene de incidir sobre la decisión final.
No analizo en este blog, ya lo hice en entradas anteriores, cómo ha evolucionado la responsabilidad ligada a esta
estructura de toma de decisiones que podemos llamar “distribuida”.
La decisión como proceso distribuido
Las instituciones suelen representar la decisión como un
acto delimitado en que un juez dicta sentencia, un banco otorga un préstamo,
una empresa selecciona a un candidato, etc.
Esa representación tiene razones jurídicas y organizacionales
en tanto permite atribuir competencia, autoridad y responsabilidad, pero nos
dice poco sobre el proceso material por el cual la decisión fue producida,
aunque en los sistemas de decisiones el resultado visible constituya solo una
etapa de una secuencia.
En los sistemas de IA, antes de que un modelo emita una
puntuación, una clasificación o una recomendación, alguien definió qué problema
debía resolver y seleccionó datos, categorías, variables, umbrales y criterios
de respuesta, opciones que, por sí mismas, delimitan el campo de la decisión y,
por tanto, no pueden considerarse neutrales ni meramente preparatorias de la
toma de decisión.
Cobbe, Lee y Singh (2021) proponen comprender la decisión
automatizada como un proceso sociotécnico compuesto por elementos humanos,
técnicos y organizacionales que comienza con la concepción y contratación del
sistema, continúa con su diseño, desarrollo, despliegue y uso, y se extiende hasta
sus consecuencias y eventual investigación de resultados: una rendición de
cuentas significativa requiere, en consecuencia, considerar el proceso
completo, desde “la puesta en funcionamiento del sistema” hasta “los efectos de
esas decisiones y cualquier investigación posterior” (p. 4).
Esta perspectiva impide identificar la decisión con el modelo,
porque aparecen claramente múltiples puntos de entrada para la generación de problemas,
exponiendo que el modelo constituye apenas un componente de una arquitectura
decisional más amplia (Cobbe et al., 2021).
La IA aporta una forma específica de producción de
conocimiento por clasificación, correlación, probabilidad y predicciones,
haciendo que decidir no sea únicamente elegir entre alternativas previamente
dadas, sino intervenir en la producción de las categorías, evidencias y
posibilidades dentro de las cuales estas se vuelven imaginables.
Ya antes de que la IA fuese una herramienta masiva, Feenberg
(1991) rechazaba tanto la concepción de la tecnología como un instrumento vacío
como su representación como una fuerza autónoma e inevitable: dado que el
diseño técnico incorpora valores, prioridades y formas de organización social, decisiones
aparentemente técnicas pueden estabilizar relaciones de poder y limitar
alternativas antes o sin necesidad de intervención por una autoridad formal.
Sostengo, en consecuencia, que la decisión no se encuentra
enteramente en el sistema técnico ni en la persona que utiliza su resultado,
sino que nace de una configuración sociotécnica en la que intervienen
diseñadores, proveedores, funcionarios, expertos, bases de datos, modelos,
normas, procedimientos e infraestructuras.
Las ficciones de la decisión distribuida
Reconocer que la decisión es un proceso distribuido puede
conducir a una nueva simplificación: presuponer que todos los actores
involucrados participan efectivamente en la decisión.
Esa equivalencia es ficticia, y se sostiene sobre una
pluralidad de “metaficciones”, que denomino así porque no describen
directamente el proceso decisional, sino las representaciones que permiten
presentar su distribución como horizontal y controlable, de entre las cuales,
por capacidad explicativa y demostrativa, me interesan especialmente dos: las
metaficciones de la capacidad decisional distribuida y la del control humano.
La metaficción de la capacidad decisional distribuida
En una decisión mediada por IA intervienen numerosos actores,
pero no todos tienen capacidad efectiva para alterar su dirección.
Un operador, por ejemplo, puede ingresar datos sin poder
modificar las categorías mediante las cuales serán procesados, o un funcionario
recibir una puntuación sin conocer cómo fue construida y la institución usuaria
puede conservar la autoridad formal mientras depende de proveedores externos
para auditar o modificar el modelo.
En el otro extremo, la persona afectada puede aportar,
incluso involuntariamente, datos que alimentan el sistema, pero carece de medios para cuestionar su clasificación.
La distribución sociotécnica del proceso no tiene la forma
de una distribución equivalente de capacidades de incidir sobre la decisión,
cuya identificación requiere observar elementos segmentados del proceso: ¿quién
puede definir objetivos, seleccionar criterios de relevancia, modificar el
sistema, proveer infraestructura, imponer interpretaciones, cuestionar su uso o
revisar sus consecuencias.
La desigualdad entre actores que tienen capacidades acotadas
y otros que ejercen funciones estratégicas sobre el conjunto del proceso marca
una primera diferencia: mientras una decisión se distribuye operativamente en
múltiples componentes, permanece concentrada en cuanto a la capacidad de configurar
sus condiciones.
Como lo señala O’Neil (2017, p. 21) “los modelos son
opiniones incrustadas en las matemáticas”, lo que se traduce en que todo modelo
supone una serie de selecciones y recortes que no hacen de por sí que todo
modelo sea arbitrario, pero nos advierte que su construcción incorpora
elecciones humanas y organizacionales y, por tanto, quien define variables,
indicadores y funciones de optimización participa más intensamente en la
decisión que quien se limita a recibir o ejecutar el resultado.
La metaficción del control humano
Parte de afirmar que la decisión permanece bajo control
porque una persona conserva la última palabra, asignando al sistema un rol de asistente,
lo que brinda, a su vez, una respuesta aparentemente sencilla al problema de la
responsabilidad: si una persona valida el resultado, ella responde por sus
consecuencias.
Sin embargo, la presencia humana no es directamente
equivalente al control humano efectivo, ya que para que este último exista la
persona debe contar con información suficiente, comprender el resultado,
disponer de tiempo para evaluarlo y poseer autoridad real para apartarse de la
recomendación algorítmica, además de alternativas.
Además, la posibilidad abstracta de rechazar un resultado
carece de valor si la organización premia sistemáticamente su aceptación, si no
existen fuentes alternativas de información o si la persona no cuenta con las capacidades
técnicas necesarias para cuestionar al modelo.
En esa línea, Santoni de Sio y van den Hoven (2018, p. 1)
sostienen que el control humano, para ser significativo, tiene dos condiciones
necesarias: la de tracking, que exige que el sistema responda a razones
humanas relevantes y a los hechos del entorno, y la de tracing, que
requiere que sea posible vincular sus resultados con, al menos, una persona que
comprenda su papel y las capacidades del sistema.
Green (2022, p. 7) es más fuerte en su crítica: tras revisar
41 políticas públicas y la evidencia sobre interacción entre personas y
algoritmos, concluye que “las personas no pueden ejercer una supervisión fiable
de los algoritmos”, creando una “falsa sensación de seguridad y legitimando la
incorporación de algoritmos defectuosos o controvertidos en procesos públicos
(p. 9).
Estamos frente a la dificultad propia de supervisar una recomendación algorítmica, lo
que lleva a la política institucional a una posible contradicción: espera que una
persona confíe en el sistema porque supuestamente predice mejor, pero también
que detecte los casos en los que esa predicción es incorrecta.
Elish (2019) denomina “zona de deformación moral” a la situación
en que la persona situada más cercana al punto de ejecución absorbe las
consecuencias morales y jurídicas de un fallo del sistema aun cuando su
capacidad para controlarlo sea limitada:
Así como la zona de deformación de un automóvil está
diseñada para absorber la fuerza del impacto en un choque, la persona humana
dentro de un sistema altamente complejo y automatizado puede convertirse
simplemente en un componente que, accidental o intencionalmente, carga con el
peso de las responsabilidades morales y jurídicas cuando el sistema en su
conjunto falla. (p. 41)
Se produce con ello una separación crítica entre control y
responsabilidad, haciendo que el operador aparezca como autor de una decisión
cuyo proceso no controla solo porque se encuentra en su etapa final, invisibilizando
y protegiendo a quienes adoptaron las decisiones más críticas durante el
proceso sociotécnico decisional de un modelo que configuran sin participación
del operador.
La presencia humana, indispensable en determinados contextos,
no constituye una garantía de control, y convertir esa presunción en una
fórmula ritual puede incluso evitar que se formule la pregunta primigenia: ¿debió
haberse utilizado el sistema para tomar esa decisión?
Poder, infraestructura y conocimiento en las decisiones mediadas por IA
Lo dicho me lleva a mirar la decisión distribuida como un
escenario de distribución del poder, donde coexisten pluralidad de actores con
alta concentración de capacidades estratégicas.
Yeung (2018) muestra que la regulación algorítmica puede
descomponerse en tres momentos: establecimiento de estándares, recopilación y
producción de información, e intervención sobre las conductas. Cada momento
abre preguntas específicas sobre capacidad decisional cuyas respuestas están
siempre atravesadas por el ejercicio de poderes fácticos.
Para empezar, el poder aparece en la capacidad de
configuración donde se determina quién define el problema, lo que implica establecer
qué aspectos de una situación serán traducidos a variables y cuáles quedarán
fuera, por lo que, en el mismo acto, determina qué resultado será optimizado.
Luego, quien fija umbrales decide qué nivel de riesgo será tolerable.
El poder también puede verse en la infraestructura: Crawford
(2021) muestra que la IA constituye una infraestructura material y política
sostenida por recursos naturales, trabajo, cadenas de suministro, sistemas
clasificatorios y capacidades estatales y corporativas cuya operación excede
ampliamente al algoritmo e incluso condiciona su posibilidad de ejecución.
Esa infraestructura se encuentra fuertemente concentrada en
un número reducido de empresas que controlan servicios en la nube, capacidad
computacional, almacenamiento, modelos y herramientas de desarrollo y, por
tanto, una institución puede conservar formalmente la competencia para decidir mientras
depende de actores externos para ejecutar, comprender, modificar o sustituir
los sistemas de IA que utiliza.
Esa dependencia técnica se convierte en capacidad política
para poner una segunda delimitación sobre las opciones posibles, el acceso a la
información y las condiciones dentro de las cuales puede operar un sistema de
IA en la práctica.
No menos importante es el poder epistémico de decidir qué
será reconocido como evidencia, qué correlaciones adquirirán relevancia y qué
resultados aparecerán como confiables, todos elementos inscriptos en cada
determinada forma de producción del conocimiento que hace posible la decisión. Amoore
(2020) sostiene que los algoritmos no se limitan a describir el mundo, sino que
contribuyen a determinar qué puede ser reconocido y qué futuros aparecen como
probables o posibles y Sadin (2020), desde una posición más fuerte, caracteriza
esa transformación como la emergencia de un poder de enunciar la verdad.
Por todo ello, preguntar quién decide implica también preguntar
quién establece el campo de lo decidible.
Hacia una nueva forma de pensar la toma de decisiones con inteligencia artificial
La IA no crea el carácter distribuido de las decisiones en
un espacio abstracto. Forma parte de un “mundoambiente” (Costa et al., 2023, p.
7) que capilariza la sociedad mediante múltiples transformaciones, entre ellas
los cambios en las formas de toma de decisiones.
Si bien las instituciones siempre han dependido de reglas,
expertos, documentos, burocracias e instrumentos técnicos, lo que veo hoy es, fundamentalmente,
un cambio de escala de esa dependencia, en un contexto de opacidad técnica.
Decir que algo es “decisión de una IA” es desconocer la
distribución propia de ese proceso de decisión y contribuir a ocultar las
diferencias de poder y las elecciones humanas y organizacionales inscritas en
el sistema, pero sostener que “decidió la persona” que validó el resultado
final es ignorar las condiciones materiales y cognitivas que enmarcan esa validación
y el marco de poder que les da su forma particular.
Sostener que “múltiples actores participaron” del proceso decisional
es correcto, pero debe acompañarse de la mirada a la distribución de funciones
y de la distribución efectiva de la capacidad decisional que realmente existe.
Para pensar la decisión en la era de la IA es indispensable pasar
de su consideración como acto aislado a una que incorpore la arquitectura
decisional amplia en la que se enmarca, lo que implica reconstruir cómo se
definió el problema, se seleccionó y produjo el conocimiento subyacente, qué infraestructura
habilitó y condicionó a la decisión y en qué marco se interpretaron sus
resultados. También es necesario preguntarse quién podría comprenderla y cambiarla,
y quién quedaría reducido a ejecutar o soportar sus efectos.
La respuesta será indefectiblemente un mapa de relaciones de
poder desigual que la gobernanza de la IA debe hacer visible para que las decisiones
distribuidas propias del campo puedan ser políticamente interpretables,
revisables y controlables.
Referencias
Amoore, L.
(2020). Cloud ethics: Algorithms and the attributes of ourselves and others.
Duke University Press.
Cobbe, J.,
Lee, M. S. A., & Singh, J. (2021). Reviewable automated decision-making: A
framework for accountable algorithmic systems. En Proceedings of the 2021
ACM Conference on Fairness, Accountability, and Transparency (pp. 598–609).
Association for Computing Machinery. https://doi.org/10.1145/3442188.3445921
Costa, F., Mónaco, J. A., Covello, A., Novidelsky, I.,
Zabala, X., & Rodríguez, P. (2023). Desafíos de la inteligencia artificial
generativa: Tres escalas y dos enfoques transversales. Question/Cuestión, 3(76), 1–24. https://doi.org/10.24215/16696581e844
Crawford,
K. (2021). Atlas of AI: Power, politics, and the planetary costs of
artificial intelligence. Yale University Press.
Elish, M.
C. (2019). Moral crumple zones: Cautionary tales in human-robot interaction. Engaging
Science, Technology, and Society, 5, 40–60. https://doi.org/10.17351/ests2019.260
Feenberg,
A. (1991). Critical theory of technology. Oxford University Press.
Green, B.
(2022). The flaws of policies requiring human oversight of government
algorithms. Computer Law & Security Review, 45, Article 105681. https://doi.org/10.1016/j.clsr.2022.105681
O’Neil, C.
(2017). Weapons of math destruction: How big data increases inequality and
threatens democracy. Penguin Books.
Sadin, É. (2020). La inteligencia artificial o el desafío
del siglo: Anatomía de un antihumanismo radical (M. Martínez, Trad.). Caja
Negra. (Trabajo original publicado en 2018)
Santoni de Sio, F., & van den Hoven, J. (2018). Meaningful human control over
autonomous systems: A philosophical account. Frontiers in Robotics and AI, 5,
Article 15. https://doi.org/10.3389/frobt.2018.00015
Yeung, K.
(2018). Algorithmic regulation: A critical interrogation. Regulation &
Governance, 12(4), 505–523. https://doi.org/10.1111/rego.12158