Por Javier Surasky
Introducción
¿Qué pasaría si algunos de los problemas más persistentes de
la inteligencia artificial no fueran, en el fondo, tan nuevos como creemos? Antes
de que habláramos de algoritmos opacos, sistemas autónomos o responsabilidad
distribuida, otras culturas ya habían pensado, en forma de mitos, cómo se
gobierna lo que excede la capacidad humana de control.
En esta oportunidad vamos a explorar mitos provenientes de la
región de Asia y, en particular, de China, Japón y del pueblo bagobo en
Filipinas.
Como en nuestros posts anteriores sobre mitos grecorromanos, de pueblos originarios de América
Latina y de África, nuestra metodología se basa en una aproximación
heurística al mito que nos permita poner en tensión elementos presentes en los
debates actuales sobre IA. Serán para nosotros una herramienta de pensamiento
sobre elementos que, en su aproximación tecnológica y occidental, quedan escondidos.
En nuestros blogs anteriores ya presentamos detalladamente
esta metodología y su forma de aplicación, incluyendo la consideración del mito
como un pensamiento propio de los pueblos de origen y situado, y mostrando las
salvaguardas que nos trazamos para evitar caer en prácticas de extractivismo de
saberes, por lo que remitimos a quienes quieran saber más a leerlos.
Los mitos nos llevarán esta vez a cuestionar elementos como
la rendición de cuentas, la auditoría algorítmica, la responsabilidad
distribuida, la transparencia y la explicabilidad, la legitimidad, los límites
de uso, el antropomorfismo, la moralidad, el exceso de confianza y los sesgos
en la IA.
Antes de lanzarnos de lleno a esa tarea, recordamos junto a
Benasayag y Pennisi (2024:123), quienes señalan que en el “pasaje de
cosmogonías donde los dioses son la metáfora de lo ingobernable para los
hombres, donde el miedo a espíritus o entidades naturales y sobrenaturales
cumplen una función de regulación, a la modernidad, en la que solo hay hombres
que, en ausencia de dioses y monstruos, se temen a sí mismos, hoy se da un paso
más: el miedo a una potencia técnica sobrehumana”.
Por ello, la lectura que hacemos no se dirige únicamente a los sistemas de IA como objetos de análisis, sino también a las prácticas expertas, tanto técnicas como jurídicas y regulatorias, que contribuyen a instituirlos como gobernables, legítimos y, finalmente, aceptables.
IA, democracia y rendición de cuentas: el Emperador de Jade
En la tradición china, la estructura del cosmos se presenta
como un orden administrativo: lo divino opera como un sistema de gobierno con
jerarquías y funciones distribuidas que previene el caos. Esta idea se expresa
explícitamente en la imagen de una burocracia celestial organizada por
carteras.
Esta visión mítica nos invita a pensar la IA como un sistema
organizado, en el que roles, competencias y procedimientos resultan decisivos,
lo que introduce “ruido” en las llamadas a una mayor transparencia como forma general
de resolver los problemas que nos plantea la IA, coincidiendo en esto con Kroll
et al. (2017:633): “cuestionamos la posición dominante en la literatura
jurídica según la cual la transparencia resolverá estos problemas”.
Leída críticamente, la burocracia celestial representa un
ideal de orden ligado a un modo específico de gobierno, lo que nos lleva a
recuperar la advertencia de Jacques Ellul cuando observa que, una vez
instaurado un sistema técnico, este tiende a justificarse a sí mismo mediante
procedimientos que desplazan la responsabilidad humana: “la técnica se ha
vuelto autónoma; ha creado un mundo omnívoro que obedece sus propias leyes y
que ha renunciado a toda tradición” (Ellul, 1964:79).
La multiplicación de instancias, mandatos y procedimientos
no garantiza rendición de cuentas, sino que puede producir una
irresponsabilidad estructural, volvemos a Ellul (1964:95): “nadie es ya
responsable de nada; la responsabilidad se disipa a través del sistema técnico”.
El mito del Emperador de Jade permite leer un riesgo que
pende sobre la gobernanza de la IA: su diseño institucional, lejos de resolver
el problema de la responsabilidad, lo administra, en una dinámica que encuentra
eco en el análisis foucaultiano de la gubernamentalidad, que describe el pasaje
desde el gobierno por la ley hacia dispositivos de seguridad que operan
mediante regulación, normalización y gestión de riesgos: “los mecanismos de
seguridad tienen la función de responder a una realidad de tal manera que esa
respuesta anule la realidad a la que responde” (Foucault, 2007:47).
Este desplazamiento implica que la gobernanza de la IA se
orienta fundamentalmente a mantener el sistema dentro de umbrales de
funcionamiento aceptables, incluso cuando sus efectos resultan controvertidos.
La burocracia, celestial o técnica, sostiene su autoridad no porque resuelva
los conflictos (el caos), sino porque los absorbe mediante su gestión.
Así visto, el mito nos recuerda que la institucionalización misma puede convertirse en una tecnología de desplazamiento de la responsabilidad, especialmente en sistemas complejos y opacos, creando un orden producido, mantenido y legitimado por comunidades expertas que, al fragmentar la responsabilidad en nombre de la complejidad técnica, contribuyen a que la imputación por sus daños se vuelva difusa.
Transparencia para mantener el statu quo: Amaterasu y el espejo
En el ciclo shintō, la estabilidad del mundo depende de la
presencia de la diosa-Sol Amaterasu, quien, tras una serie de ofensas
intolerables, se retira a una caverna, y como resultado “la fuente de la luz
desapareció y el mundo entero quedó sumido en la oscuridad” (Anesaki, 2015:23).
La oscuridad es vista como condición de posibilidad del desorden.
Ante la crisis, los dioses deliberan “como resultado de esta
deliberación, surgieron diversas cosas de eficacia divina, tales como los
espejos” (Anesaki, 2015, p. 23). Finalmente, Amaterasu sale de su caverna,
atraída por su reflejo en un espejo, y, con ello, se restituyen la luz y el
orden.
Una primera lectura intuitiva del mito es que, sin luz, el
mundo se vuelve ingobernable. En el campo de la IA, esta intuición reaparece
con fuerza cuando decisiones relevantes se apoyan en sistemas opacos. Como
señala Coeckelbergh (2023:103), “existe un problema de responsabilidad y
legitimidad cuando las decisiones se toman sobre la base de recomendaciones de
la IA” El “espejo” funciona aquí como heurística: restaurar legitimidad no
equivale a confiar de nuevo sino a producir condiciones de visibilidad.
Pero el mito también nos recuerda que el retorno de la luz
no equivale a justicia, sino a la restauración de un orden de gobierno que
permanece incuestionado. En términos foucaultianos, la visibilidad no es
simplemente un valor normativo, sino una tecnología de gobierno: al describir
los dispositivos de seguridad, el filósofo francés dice que “el objetivo no es
eliminar los fenómenos, sino mantenerlos dentro de límites aceptables”
(Foucault, 2007:21).
Aplicado a la IA, esto implica que hacer visible el
funcionamiento de un sistema (trasparencia) no significa necesariamente abrirlo
al conflicto político, sino integrarlo en un régimen de gestión aceptable del
riesgo. En ese sentido, la transparencia puede operar como telón delante del
conflicto político: en lugar de abrir disputa sobre fines y límites, ofrece una
imagen de control suficiente para sostener la continuidad del sistema.
Esta advertencia encuentra un eco directo en la crítica
clásica a la transparencia algorítmica. Ananny y Crawford, quienes advierten
que “La suposición implícita detrás de los llamados a la transparencia es que
ver un fenómeno crea oportunidades y obligaciones para hacerlo responsable”
(Ananny y Crawford, 2016:2), cuando se trata de dos cosas diferentes.
El mito de Amaterasu permite problematizar esa suposición.
El espejo muestra, pero no juzga; ilumina, pero no redistribuye el poder. La
luz restituye el orden porque lo vuelve legible, no porque lo haga más justo o
cree obligaciones entre administradores. El mito incluso previene contra una
confianza ingenua en los dispositivos explicativos, como advierte Rudin
(2019:206), “Las explicaciones a menudo no son fiables y pueden resultar
engañosas”.
Leído críticamente, el mito de Amaterasu resulta en una advertencia incómoda: hacer visible es una forma de gobernar que no implica cambio, justicia ni responsabilidades por las decisiones de quienes gobiernan, sino que puede ser una forma de “mantener el orden” bajo la excusa de enfrentar el caos que significaría su extinción.
Antropomorfismo y estatus moral: Pamalak
En la tradición bagobo (Mindanao, Filipinas), el mito de
Pamalak presenta una frontera inicialmente borrosa entre lo humano y lo animal.
Antes de la creación de la humanidad, la tradición sostiene que “los monos
alguna vez se comportaban y se veían como humanos”; y que los monos “solo
adquirieron su apariencia actual cuando Pamalak decidió crear a la humanidad
como una raza separada” (Storm, 2006:56). La semejanza entre unos y otros no es
negada, sino administrada por imposición externa de una decisión que establece
una diferencia ontológica entre ambos.
El mito sugiere que la indeterminación previa exigía una
operación de separación. Cuando algo “parece” humano, no basta con describir la
semejanza: se vuelve necesario decidir qué estatus se le reconoce, porque de
esa decisión dependen responsabilidades, obligaciones y formas legítimas de
autoridad.
En el campo de la IA, este problema aparece con el
antropomorfismo: “el germen de la confusión ontológica reinante es el conjunto
de antropomorfismos y zoomorfismos que vienen embotellados con la IA” (Madrid
Casado, 2024, p. 121), pero Pamalak nos invita a desplazar la lectura habitual:
la frontera no se vuelve borrosa porque falten criterios conceptuales, sino
porque la ambigüedad resulta funcional hasta que su superación resulte más
importante (funcional) que sostener la indefinición.
En la IA, la facilidad con que se inducen atribuciones de
comprensión y agencia a las máquinas ya había sido observada por Weizenbaum al
describir el caso de ELIZA: “ELIZA muestra, si no otra cosa, lo fácil que es
crear y mantener la ilusión de comprensión” (Weizenbaum, 1966:42), una
confusión que conlleva efectos prácticos. Como muestran Reeves y Nass (1996:5),
las personas tienden a interactuar con tecnologías mediáticas como si fueran
actores sociales generándose patrones de sobreconfianza, que Parasuraman y
Riley (1997:232) describen como un “uso erróneo” (misuse) de la
automatización de procesos, subrayando que el problema no es técnico, sino
conductual: delegar cuando no debería delegarse, y dejar de vigilar cuando la
vigilancia es necesaria.
Si bien se supone que esos problemas pueden ser enfrentados mediante
mejor diseño o mayor alfabetización, el mito de Pamalak sugiere que la “humanización”
de lo no humano es una condición de posibilidad de la delegación, en tanto facilita
la creación de confianza, empatía, fluidez interactiva y aceptación.
Pero esa funcionalidad no es neutral: favorece arreglos institucionales en los que la “humanización” de lo digital es un objetivo a perseguir, que acaba por coadyuvar a desplazar responsabilidades. En otras palabras, “los artefactos tienen política” (Winner, 1986:121). Leído críticamente, Pamalak no invita a eliminar la semejanza, sino a reconocer su carácter político.
Conclusión
Este trabajo ha recorrido tres mitos asiáticos como
heurísticas críticas para interrogar problemas contemporáneos de la IA, no para
exponer déficits técnicos sino para introducir fricciones conceptuales donde el
sector tiende a estabilizar rápidamente sus categorías. El Emperador de Jade,
Amaterasu y Pamalak no operan como alegorías pedagógicas, sino como
dispositivos analíticos dirigidos a desnaturalizar formas específicas de orden,
visibilidad y autoridad que son parte de los debates sobre la IA.
El Emperador de Jade cuestiona que la proliferación de
instancias, mandatos y procedimientos conduzca automáticamente a una mayor
rendición de cuentas, y que esta lleve a soluciones de mayor justicia
algorítmica. En sistemas técnicos complejos, la institucionalización no elimina
el problema de la responsabilidad, sino que lo redistribuye para difuminarlo.
Amaterasu y su espejo problematizan la centralidad de la
transparencia y la explicabilidad. La “luz” no introduce por sí misma justicia,
sino que puede servir para relegitimar un orden que se había debilitado. El
espejo devuelve al mundo a un estado funcional, pero no por ello más justo ni
equitativo.
Pamalak desplaza la lectura del antropomorfismo como simple
error cognitivo o déficit de alfabetización al lugar de un objetivo
intencionalmente perseguido para nublar la frontera entre lo humano y lo no
humano por confusión conceptual a fin de explotar sus ventajas funcionales de
delegación, empatía, confianza y autoridad, al tiempo que apoyan el
desplazamiento de responsabilidades por lo que pudiera ocurrir hacia el modelo,
la interfaz o el usuario.
En conjunto, los tres mitos nos dejan una señal de alerta común:
muchos de los dispositivos creados para gobernar la IA no se limitan a corregir
problemas preexistentes, sino que participan activamente en la institución de
un determinado orden técnico y político. Castoriadis advertía ya hace tiempo
que lo social no se sostiene únicamente sobre funciones o racionalidades
instrumentales, sino sobre significaciones instituidas que se vuelven evidentes
para quienes habitan un orden: “lo que llamamos ‘realidad’ y ‘racionalidad’ son
sus obras” (Castoriadis, 1987:9)
Desde esta perspectiva, el riesgo no reside únicamente en el
mal funcionamiento de los sistemas, sino en la naturalización progresiva de un
imaginario técnico que presenta determinadas configuraciones de poder como
simples respuestas funcionales.
Estos mitos no ofrecen soluciones ni anuncian un colapso
inevitable, pero desestabilizan las asunciones de objetividad tecnológica y nos
recuerdan que todo orden técnico es también un orden instituido, histórico y
contingente de distribución de roles y responsabilidades, es decir, un orden
político. La pregunta más relevante no es qué límites debería tener la IA, sino
qué límites estamos dispuestos a aceptar en nuestras propias prácticas para
defender ciertos valores políticos atrapados en la telaraña del progreso
digital.
Referencias
Ananny, M. y Crawford, K. (2016). Seeing without knowing: Limitations of the
transparency ideal and its application to algorithmic accountability. New
Media & Society, 1-17. https://doi.org/10.1177/1461444816676645
Anesaki, M. (2015). Mitología japonesa: Leyendas, mitos y
folclore del Japón antiguo. Editorial Amazonia.
Benasayag, M. y Pennisi, A. (2024). La inteligencia
artificial no piensa (el cerebro tampoco), (5ª ed.). Prometeo.
Castoriadis,
C. (1987). The imaginary institution of society. Polity Press.
Coeckelbergh, M. (2023). La filosofía política de la
inteligencia artificial: Una introducción. Ediciones Cátedra.
Ellul, J.
(1964). The Technological Society. Vintage Books.
Foucault,
M. (2007). Security, territory, population: Lectures at the Collège de
France, 1977-1978, (M. Senellart, Ed.). Palgrave Macmillan.
Kroll, J.A.;
Huey, J.; Barocas, S.; Felten, E.W.; Reidenberg, J.R.; Robinson, D.G. y Yu, H.
(2017). Accountable Algorithms, University of Pennsylvania Law Review,
(3)165, 633-705. https://scholarship.law.upenn.edu/penn_law_review/vol165/iss3/3
Madrid Casado, C. M. (2024). Filosofía de la inteligencia
artificial. Pentalfa
Ediciones.
Parasuraman,
R. y Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human
Factors, 39(2), 230-253. https://doi.org/10.1518/001872097778543886
Reeves, B. y
Nass, C. (1996). The media equation: How people treat computers, television,
and new media like real people and places. CSLI Publications; Cambridge
University Press.
Rudin, C.
(2019). Stop explaining black box machine learning models for high stakes
decisions and use interpretable models instead. Nature Machine Intelligence. https://doi.org/10.1038/s42256-019-0048-x
Storm, R. (2006).
Mythology of Asia
and the Far East: Myths and legends of China, Japan, Thailand, Malaysia, and
Indonesia.
Southwater.
Weizenbaum,
J. (1966). ELIZA - A computer program for the study of natural language
communication between man and machine. Communications of the ACM, 9, 36-45.
https://web.stanford.edu/class/cs124/p36-weizenabaum.pdf
Winner, L.
(1986). The whale and the reactor: A search for limits in an age of high
technology. University of Chicago Press.