Kitabı oku: «Digitalización de la guerra, lo humano, el arte y los espacios urbanos y productivos»

Digitalización de la guerra, lo humano, el arte y los espacios urbanos y productivos

Rector General
José Antonio de los Reyes
Heredia
Secretaria General
Norma Rondero López
Coordinador General
de Difusión
Yissel Arce Padrón
Director de Publicaciones
y Promoción Editorial
Bernardo Javier Ruiz López
Subdirectora de Publicaciones
Margarita Citlalli Ledesma
Campillo
Subdirector de Distribución
y Promoción Editorial
Marco Antonio Moctezuma
Zamarrón
UNIDAD LERMA
Rector
José Mariano García Garibay
Secretario Académico
de la Unidad
Darío Eduardo Guaycochea
Guglielmi
Directora de la División
de Ciencias Sociales
y Humanidades
Mónica Francisca Benítez Dávila
Jefa del Departamento
de Procesos Sociales
Alma Patricia de León Calderón
Coordinadora del Consejo
Editorial de la División
de Ciencias Sociales
y Humanidades
Gladys Ortiz Henderson
Asistente del Consejo
Editorial de la División
de Ciencias Sociales
y Humanidades
Denise Elizabeth Ocaranza
Ordóñez

Digitalización de la guerra, lo humano, el arte y los espacios urbanos y productivos / Sergio González López, Raúl Hernández Mar y Ryszard Rozga Luter, coordinadores. - - México : Universidad Autónoma Metropolitana, 2021
1a. edición
242 p. : ilustraciones ; 14 x 21 cm
ISBN: 978-607-28-2293-1 epub
T. 1. Sociedad de la información T. 1. Internet de las cosas
TK5105.8857 D54
Primera edición: 2021
DIGITALIZACION DE LA GUERRA, LO HUMANO, EL ARTE
Y LOS ESPACIOS URBANOS Y PRODUCTIVOS
Sergio González López, Raúl Hernández Mar y Ryszard Rozga Luter
(coordinadores)
Diseño de portada: Daniel Domínguez Michael
D.R. © 2021, Sergio González López, Raúl Hernández Mar
y Ryszard Rozga Luter (coordinadores)
D.R. © 2021, Universidad Autónoma Metropolitana
Prolongación Canal de Miramontes 3855
Ex Hacienda San Juan de Dios, Alcaldía de Tlalpan
14387, Ciudad de México
Unidad Lerma/División de Ciencias Sociales y Humanidades
Avenida de las Garzas núm. 10
Col. El Panteón, 52005, Lerma Estado de México
Consejo Editorial de la División de Ciencias Sociales y Humanidades
<cedcsh@correo.ler.uam.mx>
ISBN: 978-607-28-2293-1 epub
Esta publicación no puede ser reproducida, ni en todo ni en parte, ni registrada o transmitida, por un sistema de recuperación de información, en ninguna forma y por ningún medio, sea mecánico, fotoquímico, electrónico, magnético, electroóptico, por fotocopia o cualquier otro, sin el permiso previo y por escrito de los editores.
La presente publicación pasó por un proceso de dos dictámenes (doble ciego) de pares académicos avalados por el Consejo Editorial de la División de Ciencias Sociales y Humanidades de la UAM-Lerma, que garantizan su calidad y pertinencia académica y científica.
Impreso en México/Printed in Mexico
ÍNDICE
Introducción Sergio González-López, Raúl Hernández Mar y Ryszard Rozga Luter
PRIMERA PARTE DIGITALIZACIÓN DE LA GUERRA
La encrucijada tecnológica y el surgimiento de la inteligencia artificial: una aproximación desde el anarquismo Joaquín Rodríguez Álvarez
La nueva huida del derecho administrativo a través de la inteligencia artificial: los sistemas de armas autónomos letales Roser Martínez Quirante
SEGUNDA PARTE DIGITALIZACIÓN DE LO HUMANO Y EL ARTE
La práctica médica ético-humanista ante el transhumanismo Karen Jiménez-Arriagay Sergio González-López
La construcción social de la pandemia: ¿qué hay detrás de este virus con mucha prensa? María Alejandra Silva
El desdoblamiento del objeto sonoro en la obra electroacústica a través de la tecnología digital Manuel Rocha Iturbide
TERCERA PARTE DIGITALIZACIÓN DE LOS ESPACIOS URBANOS Y PRODUCTIVOS
La implementación de la idea de ciudad inteligente como parte de las nuevas formas urbanas y estrategias urgentes: perspectivas, condiciones, amenazas Ryszard Edward Rozga Lutery Raúl Hernández Mar
Covid-19 y espacio urbano. Apuntes sobre las políticas públicas y las tecnologías digitales en la producción de una nueva normalidad Ester Schiavoy Juan Carlos Travela
La transferencia de tecnología 4.0: complejidades, condiciones y contradicciones en el ecosistema de innovación Lorena del Carmen Álvarez-Castañón
Acerca de los autores y las autoras
INTRODUCCIÓN
Sergio González-López* Raúl Hernández Mar** Ryszard Rozga Luter***
Vivimos en un contexto donde la tecnología, sobre todo la digital, está cada vez más presente en el conjunto de nuestras actividades sociales, políticas, económicas, personales, transitando abruptamente de ser un instrumento que potencializa la fuerza y las capacidades humanas para la transformación más eficiente en muchas esferas y que facilita el quehacer humano, hacia otro donde podría estar desplazando a la humanidad e influyendo en sus decisiones y acciones. Son múltiples los casos donde grandes empresas y gobiernos aplican estas tecnologías para el reforzamiento de sus intereses particulares y donde el resto de la población acepta u ofrece sus datos para no estar marginado de esta sociedad digitalizada, sin reconocer las implicaciones sobre sus vidas actuales, pero sobre todo futuras.
Esto es particularmente relevante si consideramos estar en un entorno disruptivo o de crisis existencial donde, según algunos autores, el presente es la antesala de un futuro incierto generalizado porque estamos llegando a la confluencia de múltiples tensiones de todo orden, que abarcan, por ejemplo, cuestiones acerca de la tecnología, el empleo, la salud, la política, el cambio climático, y que podrían ser agudizadas por el poder de la digitalización de nuestras sociedades.
Por ello, es necesario el impulso de abordajes que indaguen las implicaciones de la sociedad digital en construcción, planteando sus alcances y poniendo en discusión los riesgos. El presente libro se propone analizar desde diversas posiciones críticas las estrategias tecnológicas predominantes, reconociendo sus potencialidades, pero también alertando sobre los riesgos que se estarían gestando. Tomamos como hilos conductores de esta discusión, que a su vez constituyen cada una de las tres partes de esta obra, algunos de los ámbitos donde la sociedad digital se está desarrollando con particular dinamismo, como la guerra, en donde estamos cediendo decisiones bélicas fundamentales a grupos de poder apoyados en la inteligencia artificial; la salud y el arte, que son cuestiones centrales sobre nuestro ser humanos, donde la salud se constituye en un campo de disputa económica y política, a la vez que propicia dilemas éticos ante la pretensión de trascender la condición humana, y las posibilidades creativas que abre la interrelación del arte y la tecnología; también se trata la cuestión de la digitalización de los espacios urbanos y productivos, en los primeros referidos a los planteamientos sobre las llamadas ciudades digitales y las políticas públicas de digitalización, así como las condiciones a través de las cuales se estaría dando transferencia de tecnología 4.0.
PRIMERA PARTE: DIGITALIZACIÓN DE LA GUERRA
Joaquín Rodríguez Álvarez, en su capítulo “La encrucijada tecnológica y el surgimiento de la inteligencia artificial: una aproximación desde el anarquismo”, describe cómo las décadas han venido definidas por una penetración masiva de tecnologías avanzadas en el tejido social, potenciando una serie de transformaciones, oportunidades y riesgos. Así, el surgimiento de la inteligencia artificial (IA) en combinación con tecnologías de encriptado descentralizado en el Block-chain ofrecen una nueva frontera, si bien, tal y como ha ocurrido en el pasado, no se encuentra exenta de riesgos que dibujan futuros distópicos. En su trabajo, Rodríguez ofrece una aproximación al desarrollo tecnológico actual focalizado en la IA y la subsecuente estructuración de una sociedad algorítmica desde una aproximación anarquista (ecología social), profundizando en la cristalización de las relaciones de poder y las dinámicas de opresión que se encuentran dentro del propio modelo de “progreso tecnológico” y que nos sitúa ante una encrucijada ante futuros de liberación y subyugación.
Roser Martínez Quirante en “La nueva huida del derecho administrativo a través de la inteligencia artificial: los sistemas de armas autónomos letales (SAAL)”, hace toda una disertación para alertar sobre la aparición de los SAAL con capacidad de seleccionar y eliminar objetivos sin control humano. Se analizan las nuevas amenazas que provienen de la delegación de potestades letales a estos sistemas dotados de IA supuestamente más eficaces y eficientes que los seres humanos. Estas armas obvian la dimensión racional, cooperativa, intuitiva, moral y ética de las decisiones humanas, contradicen el derecho internacional humanitario, el derecho internacional de los derechos humanos (DIDH), las leyes de la guerra e, internamente, el derecho administrativo, dado que el monopolio de la violencia legítima está en manos del Estado. Concluye que los sistemas letales de armas autónomas deberían depender de la supervisión o juicio humano en, al menos, algunas de sus fases críticas (selección de objetivos o cancelación de la orden), donde el “control humano significativo” debe estar en la base de cualquier proceso autónomo que utilice la IA, sobre todo cuando esta trate de acciones letales.
SEGUNDA PARTE: DIGITALIZACIÓN DE LO HUMANO Y EL ARTE
Karen Jiménez-Arriaga y Sergio González-López, en “La práctica médica ético-humanista ante el transhumanismo”, se proponen analizar algunos de los cambios producidos en el concepto de la práctica médica ético-humanista a lo largo de la historia y realizar una reflexión ético-humanista acerca de las intervenciones planteadas por el transhumanismo y el perfeccionamiento o mejoramiento humano. Una vez revisados los cambios transcendentales del concepto de perfeccionamiento o enhancement aplicado al humano, se concluye que en la actualidad la práctica médica desde la perspectiva del transhumanismo es de una naturaleza líquida, permanentemente en cambio. Esto plantea numerosos problemas no sólo de índole ético-humanista, sino sobre todo de carácter antropológico y filosófico en el modo de entender al hombre, y condiciona toda valoración ético-humanista acerca de las intervenciones que supuestamente mejoran la humanidad.
María Alejandra Silva, en “La construcción social de la pandemia: ¿qué hay detrás de este virus con mucha prensa?”, cuestiona que la pandemia atribuida al SARS-CoV2 que cubrió la totalidad del año 2020 y se mantiene hasta la fecha sea sólo una cuestión viral de salud pública, señala que sobre todo se trata de una pandemia de los medios de comunicación y de las redes sociales, impulsadas a través del uso político de los medios digitales, que impone predominantemente una propaganda del miedo a la muerte, el lockdown, el cierre de fronteras, el aislamiento de personas sanas y la suspensión de la producción económica. También cuestiona la solidez científica asumida por la Organización Mundial de la Salud, la cual ya ha sido sancionada luego que el doctor Wolfgang Wodarg la denunciara por declarar falsas pandemias como la gripe aviar en 2004, la gripe A en 2010. El trabajo de Silva tiene como referentes teóricos en salud a John Ioannidis y Pablo Goldschmidt y también se basa en expertos de las redes sociales. En este marco, se propone conocer los determinantes sociales de la construcción social de la enfermedad y conocer los cambios en el paradigma en salud. Para tal fin recurre a múltiples fuentes bibliográficas, estadísticas y documentos.
Manuel Rocha Iturbide, en “El desdoblamiento del objeto sonoro en la obra electroacústica a través de la tecnología digital”, realiza una revisión histórica del surgimiento del estudio del fenómeno sonoro del timbre, así como de su desarrollo a través de la tecnología digital, dentro del contexto de la música electroacústica y del arte sonoro, dos campos que se caracterizan por tener bases estéticas novedosas debido a la complejidad espectro-morfológica del sonido, y totalmente distintas de las de la música culta tradicional. El desarrollo de estas estéticas se debe a la figura del creador-investigador, así como a las prácticas transdisciplinarias entre las artes, las ciencias y las humanidades: física acústica, psico acústica, ingeniería informática, teoría de la comunicación, semiótica, filosofía (fenomenología), etc. Por otro lado, el desarrollo de una escucha abierta, fenomenológica, analítica, profunda y cuántica, ha sido también determinante para comprender el fenómeno sonoro desde lo experiencial. Concluye que la inclusión de todos los sonidos existentes en la creación artística, así como el desarrollo de las herramientas digitales para manipularlos y transformarlos, ha abierto las puertas a innumerables posibilidades de estructuración sónica, por lo cual el autor se concentra en una sola propuesta estética (sabiendo que hay muchas otras): la de la unión o relación holística entre lo micro y lo macro, entre el objeto sonoro y la estructura de la obra.
TERCERA PARTE: DIGITALIZACIÓN DE LOS ESPACIOS URBANOS Y PRODUCTIVOS
Ryszard Rozga Luter y Raúl Hernández Mar en “La implementación de la idea de ciudad inteligente como parte de las nuevas formas urbanas y estrategias urgentes: perspectivas, condiciones, amenazas”, se preguntan si la idea de ciudad inteligente (CI) es pertinente en condiciones de urgencias sanitarias y si este modelo de ciudad digitalizada podría ser el futuro de las ciudades. En este sentido, la rápida e incontrolada urbanización ha producido un número creciente de habitantes en condición de pobreza, carencias de infraestructura, servicios inadecuados y sobrecargados, como las de la recolección de residuos sólidos urbanos, los sistemas de agua y saneamiento, el transporte y los servicios públicos de salud. Sin duda, estos factores han incrementado los impactos del covid-19 en las zonas urbanas pobres y densamente pobladas, donde el hacinamiento también dificulta cumplir con las medidas de distanciamiento social y el autoconfinamiento. Concluyen que la CI es una idea que debe materializarse en colaboración con otros elementos, como la gobernanza, las políticas públicas, las capacidades institucionales de los gobiernos locales y la participación de las comunidades que integran las ciudades, y no está en duda que este paradigma parece ser cada vez más pertinente para el análisis de los problemas urbanos y las emergencias sanitarias y, además puede ser utilizado como un modelo de ciudad frente a los retos que imponen las ciudades en la actualidad.
Ester Schiavo y Juan Carlos Travela, en “Covid-19 y espacio urbano. Apuntes sobre las políticas públicas y las tecnologías digitales en la producción de una nueva normalidad”, explican que la pandemia del covid-19 dio origen a una crisis de carácter global que a su vez tiene efectos en los procesos de transformación urbana. Los primeros contagios se produjeron en la ciudad de Wuhan, China, para luego difundirse por Occidente, lo que puso de manifiesto diferencias culturales que se reflejan en las maneras de enfrentar el virus. En este trabajo se analizan las transformaciones urbanas ocurridas a consecuencia de la pandemia, en el caso argentino, con el propósito de conocer sus implicancias en los procesos de cambio de las ciudades, así como en la vida de sus ciudadanos. A tal fin y orientados por las hipótesis que sostienen que toda crisis también puede resultar una oportunidad y que es necesario fortalecer el protagonismo del Estado para enfrentar la actual, se privilegia el análisis de las políticas públicas y las tecnologías digitales; mediante lo cual se arriba a producir conocimiento en función de las particularidades culturales occidentales, contexto en el cual resulta difícil imaginar una sociedad global pospandemia o una nueva normalidad más solidaria e inclusiva que la anterior al presente flagelo.
Finalmente, Lorena del Carmen Álvarez-Castañón en su capítulo intitulado “La transferencia de tecnología 4.0: complejidades, condiciones y contradicciones en el ecosistema de innovación”, analiza las tendencias de las tecnologías 4.0 y las condiciones del ecosistema de innovación en la región del Bajío mexicano para transferirlas a sectores productivos —de baja y alta tecnología—, y mediante el enfoque de complejidad en el ecosistema, se discuten las implicaciones de esta transferencia en contextos heterogéneos y marcados por la desigualdad de competencias digitales. Los hallazgos muestran que hay condiciones básicas para transferir tecnologías 4.0 que impacten positivamente en la funcionalidad del ecosistema, siendo las de mayor potencial de transferencia las de artificial intelligence, big data, IoT y cloud computing; asimismo, que el punto de disrupción para dinamizar el ecosistema es el nivel de competencias digitales, no solamente como desarrolladores de tecnología, sino como usuarios cotidianos de ésta. Adicionalmente, la autora considera que la actual pandemia y sus consecuencias han evidenciado nuevas demandas de conocimiento y disruptivas competencias digitales en el ecosistema. Por tanto, su eficiencia dependerá de dos grandes estrategias; la primera es abatir los rezagos históricos en educación y la segunda es fortalecer las redes de colaboración socioinstitucional con plataformas de gobernanza atractivas y estimulantes a todos los actores.
* Profesor de tiempo completo del Instituto de Estudios sobre la Universidad, Universidad Autónoma del Estado de México. Correo electrónico: <gonzalezlop.sergio@gmail.com>.
** Profesor-investigador adscrito al Departamento de Procesos Sociales en al área de investigación Políticas Públicas, Economía, Sociedad y Territorio (PPESyT) de la División de Ciencias Sociales y Humanidades en la Universidad Autónoma Metropolitana, unidad Lerma. Correo electrónico: <r.hernandez@correo.ler.uam.mx>.
*** Profesor-investigador del Departamento de Procesos Sociales de la DCSyH, UAM-Lerma y de la Facultad de Planeación Urbana y Regional UAEM. Correo electrónico: <r.rozga@correo.ler.uam.mx>.
PRIMERA PARTE
DIGITALIZACIÓN DE LA GUERRA
LA ENCRUCIJADA TECNOLÓGICA Y EL SURGIMIENTO DE LA INTELIGENCIA ARTIFICIAL: UNA APROXIMACIÓN DESDE EL ANARQUISMO
Joaquín Rodríguez Álvarez*
INTRODUCCIÓN
CONTEXTO: ANTE EL ABISMO
En medio de la creciente mecanización y organización tecnológica, la propaganda es simplemente el medio utilizado para evitar que estas cosas se sientan demasiado opresivas y para persuadir al hombre a someterse con buena gracia. Ellul (1973)
Vivimos inmersos en un proceso de revolución tecnológica cuyas implicaciones son difíciles de comprender en su totalidad, pero cuya profundidad se asemeja más a la revolución neolítica que a la industrial por cuanto que puede implicar una transformación profunda —radical— de la condición humana (Arendt, 2014). Una transición de lo humano que se produce en medio de un proceso de degradación ecológica sin precedentes, donde la pregunta no reside ya en si llegaremos o no al punto de no retorno, sino más bien cuándo se producirá.
Y es precisamente este caos ecológico, que hoy se configura como uno de los mayores retos, no para los Estados o la economía sino para la totalidad de la vida sobre el planeta, el que contiene en su propio seno el potencial para el surgimiento de una nueva conciencia global que tenga el potencial de aglutinar a la especie bajo un objetivo común: “la preservación de la vida”, que indefectiblemente choca de manera frontal no sólo con nuestro sistema productivo, sino también con el marco mental e ideológico que lo auspicia. Ya que tal y como lo afirmaba Bookchin:
Hablar de “límites al crecimiento” en una economía de mercado capitalista tiene tanto sentido como hablar de los límites de la guerra en una sociedad guerrera. Las piedades morales, que hoy expresan muchos ambientalistas bien intencionados son tan ingenuas, como las piedades morales de las multinacionales son manipuladoras. Ya no se puede “persuadir” al capitalismo para que limite el crecimiento, como tampoco se puede “persuadir” a un ser humano para que deje de respirar. Los intentos de capitalismo “verde”, para hacerlo “ecológico”, están condenados por la naturaleza misma del sistema, como un sistema de crecimiento sin fin (Bookchin, 1991:23).
Nos situamos así ante una crisis sin precedentes producida por la propia superestructura (ideología del sistema) (Bates, 1975; Femia, 1987; Gramsci, 1995) cuya magnitud ya no nos interpela, sino que nos obliga a reconfigurar los pilares básicos del mismo, ya que esta vez el llamado es más profundo que el de socialismo o barbarie, puesto que se trataría de ecología social o extinción. Y aunque el objetivo del capítulo no sea explorar el contexto global que alberga la crisis, sí que es necesario tener en cuenta su existencia como eje vertebrador de la teoría expuesta.
Por lo tanto, el contexto de crisis “ecosocial” (Bookchin, 1991) es básico para la comprensión del presente trabajo, ya que sería precisamente esta sociedad en crisis la que ha generado las condiciones sociotecnológicas que albergan el nacimiento, penetración y consolidación de la “inteligencia artificial” (IA), uno de nuestros mayores avances tecnológicos, cuyo futuro y aplicabilidad están en juego y cuya importancia resulta clave a la hora de imaginar y diseñar los futuros que vendrán.
Una inteligencia que, cabe destacar, debe ser reconocida como simulación (Baudrillard, 1994; Rodríguez, 2016; Rodríguez-Álvarez, 2019), en ningún caso como inteligencia real o vida sintética, ya que desvirtúa el objeto de la discusión situándonos en escenarios de ciencia ficción que no encajan con el estado del arte y de la tecnología actual, y donde la prospección de una singularidad (Bostrom, 2005; Chalmers, 2010; Barrat, 2013), al margen de ser un ejercicio teórico interesante, no se ajusta a nuestra realidad material, sino a promover agendas que potencien la “humanización” de la tecnología.
Pero es precisamente esta simulación de inteligencia, que es capaz de llevar a cabo de forma autónoma tareas que requieren de complejidad, la que está llamada a jugar un papel determinante en el desarrollo de nuestro futuro y el tipo de sociedad en la que viviremos (Rodríguez, 2016; Rodríguez-Álvarez, 2019) una vez se transite la superación de los marcos mentales (paradigmas) impuestos por la cultura capitalista, que hoy empieza a tomar la forma de incipiente sociedad algorítmica.1
La clave para la comprensión del impacto de la IA reside en la observación de delegaciones de procesos clave sobre entidades no humanas, lo que puede interpretarse también como una transferencia de responsabilidades o dejación de funciones. Es decir, por primera vez en la historia de nuestra especie compartimos nuestra existencia con entes capaces de tomar decisiones críticas sobre aspectos clave de la vida de un ser humano, así como sobre la vida misma a través de un proceso de delegación directa, donde el caso de las armas letales autónomas (Martínez-Quirante y Rodríguez-Álvarez, 2018) es quizá su materialización más aterradora, ya que implica la posibilidad de eliminar vidas humanas sin ningún tipo de control humano significativo. Es decir, estaríamos hablando de una delegación de capacidades letales sobre entes no humanos. Si bien los ejemplos de la influencia que ejerce la IA sobre el sistema actual son múltiples y también aterradores (O’Neil, 2017) desde el credit-scoring (Reserve Board, 2003) o el social-scoring (Allen, 2019) hasta procesos como el acceso a universidades, becas, reconocimiento facial (Sharkey, 2018a) y un largo etcétera que ocupa prácticamente la totalidad de capas o dimensiones del sistema que tradicionalmente ha ocupado lo humano.
Así, el surgimiento de la IA sería sólo comparable a otros hitos de la ciencia contemporánea, como puede ser la decodificación del genoma humano, en cuanto que supondría no ya el surgimiento sino el reconocimiento de una nueva geografía o dimensión de la experiencia humana, genética o digital, que indefectiblemente en el momento actual tiene afectaciones directas sobre la configuración de la realidad material (Bates, 1975), afectando así, de una forma determinante, nuestra propia condición en tanto que trasforma nuestras bases materiales de relación con el entorno.
Así, podríamos entender que la IA se erige como una pieza clave anticipando la configuración de lo poshumano en tanto que superación de los marcos mentales del humanismo tradicional antropocéntrico, referido a las ramificaciones de su representación vitrubiana y que ha sido tradicionalmente comprendido como postulado universal, pese a que esta imagen arquetípica coincide implícitamente sólo con el varón, blanco, urbanizado, hablante de un idioma estándar, heterosexual, inscrito en la unidad reproductiva base, ciudadano de pleno derecho de una comunidad política reconocida (Deleuze y Guattari, 2006). Es decir, es quizá la imagen menos representativa de la realidad contemporánea, y un claro ejemplo de cristalización del sistema de privilegios imperante (Irigaray, 2010; Braidoti, 2015), que auspicia una nueva comprensión holística del entorno a través de una tecnología con un potencial unificador sobre las diferentes dimensiones de lo humano.
El problema residiría, por tanto, no sólo en las potencialidades asociadas a la tecnología sino en el contexto en el que se inserta y se desarrolla, ya que la tecnología debe comprenderse como un amplificador de la voluntad humana que tiene la potencialidad de dar forma a la realidad (Ellul, Wilkinson y Merton, 1964; Marx, 1994, 2000; Wiener y Mohr, 1994), y por tanto no exenta de intencionalidad o ética, hecho que colisiona frontalmente con las metanarrativas estructuradas en torno a la misma y sobre las que se excusa su penetración social masiva, donde cualquier excusa es buena, incluso una pandemia, a fin de garantizar su cristalización social.2
Con esto no pretendemos, ni mucho menos, argumentar que la tecnología es “mala” o nociva per se, tal y como infieren determinadas aproximaciones de tipo anarco-primitivista (Kaczynski, 1995), sino hacer un llamado al empoderamiento social y comunitario sobre la misma, porque en su seno puede albergar las claves para un futuro ecológicamente sostenible, socialmente justo y políticamente libre.
Los nuevos marcos tecnológicos ofrecen posibilidades de dar vida a modelos institucionales descentralizados/stateless institutions (blockchain), relocalizando el ejercicio de la política en el municipio (Smart Community) a partir de redes extendidas de solidaridad y colaboración (cocreación/coproducción), al mismo tiempo que ofrece el potencial de acabar con las dinámicas del trabajo asalariado (autonomía), auspiciando de esta manera una ecología social (Bookchin, 1991) sustentada por unos avances tecnológicos orientados al bien de la comunidad, en una nueva geografía que diluye los marcos mentales binarios que tradicionalmente han contrapuesto lo rural/urbano, digital/material, natural/artificial, sin que ello comporte el establecimiento de ningún tipo de monismo, sino es para afirmar que sólo en el mantenimiento, protección y potenciación de la diversidad nuestras sociedades pueden progresar.
Si bien el advenimiento de estos potenciales futuros se ve ensombrecido o interferido por la tendencia actual de la tecnología, así como del contexto que la alberga, potenciada por la escasa atención o por las aproximaciones acríticas que determinados colectivos (llamados al cambio social) están prestando a su desarrollo y tendencia, siendo prioritario reestructurar las agendas de investigación para dar prioridad a aquellas aplicaciones orientadas a revertir los patrones de desarrollo de la presente crisis ecológica desde un prisma de la reconfiguración social, al no poder desligar la superestructura del sistema de la determinación u orientación tecnológica del mismo.
De no hacerlo, profundizaremos de una forma dramática en la tendencia actual, que parece avanzar irremediablemente hacia un horizonte donde se manifiestan los peores presagios de Baudrillard (Baudrillard, 1987, 1994). Un paisaje simbólico/ideológico en el que Huxley se encuentra con Orwell, donde el soma se materializa a través de la cultura del entretenimiento (Postman, 2006) potenciada por el rol de las redes sociales digitales (digital social-networks) y donde el control social orwelliano lo llevamos en nuestros propios bolsillos.
Se trata de un contexto en el que la humanidad está protagonizando un proceso de regresión civil y social a través, en primer lugar, de una cesión masiva de datos que fluyen no simplemente hacia el Estado, sino a grandes corporativos privados cuyas agendas, por motivos obvios, no están alineadas con las sociales. Y en segundo lugar, a través de la aceptación de una serie de metanarrativas cuyo único objetivo, podríamos decir, es de tipo propagandístico, ya que intentan edulcorar la actual tendencia opresiva de los marcos tecnológicos a fin de conseguir manufacturar su aceptación social y política.
Es por tanto de vital importancia reconocer la capacidad alienadora de la tecnología, tal y como se ha venido demostrando a través de un gran número de obras y aproximaciones, entre las que podríamos destacar los trabajos de Jacques Ellul, Jean Baudrillard, Neil Postman o Leo Marx, entre otros (Ellul, Wilkinson y Merton, 1964; Marx, 1964; Bimber, 1994; Wiener y Mohr, 1994; Baudrillard, 1995), de la misma forma que debe ser subrayado su potencial para el control y la manipulación social (Veblen, 2009, 2013; Herman y Chomsky, 2010).
Son fuerzas potenciales que nos sitúan no sólo ante un abismo que amenaza nuestras libertadas, sino que pueden propiciar nuestra propia extinción a través de la sustracción directa de nuestra realidad material; una sustracción que se materializa en numerosas ocasiones a través de movimientos negacionistas de la crisis climática o en aquellos sujetos que, si bien no la niegan, minimizan su impacto optando por estrategias de reorganización del sistema productivo. Pero, de hecho, el riesgo no reside aquí, sino en la propia invisibilización de la crisis climática en el imaginario colectivo promovido por un sistema de entrenamiento e información que deforma la prioridad de las agendas. Lo que nos situaría en un contexto en el cual, el hecho de ignorar o rebajar el impacto de la crisis no sólo es síntoma de alienación, sino que en algunas ocasiones puede ser interpretado como una manifestación de los impulsos de muerte (Freud, 1920).
Es decir, la tecnología hoy en día, pese a poseer en su seno potenciales futuros de liberación, se encuentra orientada hacia el establecimiento de futuros de subyugación y alienación dominada por las pulsiones de muerte inherentes a nuestros sistemas productivo-ideológicos. Una tecnología que no sólo erosiona la democracia liberal, tal y como nos muestra el caso de Cambridge Analytica (Berghel, 2018) sino la propia condición humana al desarrollar patrones de inferencia con la llamada “realidad material” —en plena disolución con la digital en la actualidad— mediante los cuales un software puede tener incidencia real y plena sobre nuestra esfera. Una soledad compartida con simulaciones.
Un abismo distópico donde a la subyugación ya ejercida por las clases dominantes, debemos añadir el potencial opresor y de control de los marcos tecnológicos actuales y en sus presentes líneas de desarrollo, todo ellos en un nuevo espacio simbólico que se configura como una nueva frontera, llena de potencialidades, pero con un domino de los impulsos de muerte.
NUEVAS FRONTERAS
[…] la organización jerárquica no culminó con la estructuración de la sociedad “civil” en un sistema institucionalizado de obediencia y mandato. A su tiempo, la jerarquía empezó a invadir áreas menos tangibles. A la actividad mental, se le concedió supremacía sobre el trabajo físico; a la experiencia intelectual sobre la sensualidad; al “principio de realidad” sobre el “principio de placer”; y finalmente, la razón, la moralidad, y el espíritu fueron penetrados por un inefable autoritarismo, que habría de vengarse tomando el control del lenguaje y de las más rudimentarias formas de simbolización. Bookchin (1991)
La historia de la humanidad ha venido determinada en gran parte por la conquista de fronteras tecnoespaciales, es decir, revoluciones tecnológicas que nos han permitido alcanzar otras dimensiones de nuestra experiencia sobre el contexto, así la agricultura comportó una ocupación espacial fija del entorno y su recreación simbólica a través de mitos y espiritualidades más o menos complejas que se estructuraron como sistemas interpretativos del entorno (una interpretación intersubjetivada por la representación), de la misma manera que la decodificación del genoma nos permitió expandirnos y expandir nuestra propia naturaleza, generando a su vez nuevos espacios simbólicos y culturales donde algunas teorías, como el transhumanismo, encuentran campo de expresión y crecimiento (Bostrom, 2005; Gelles, 2009). Un proceso de reconfiguración de los espacios físicos y simbólicos, que va asociado a otras muchas tecnologías, tal y como podría ser la máquina de vapor, que nos abrió la posibilidad de fuerzas motrices que transformaron nuestra noción de distancia, nuestros paisajes, proveyéndonos además de una nueva estructura sociojerárquica. Tal y como Marx afirmaba: “el molino manual nos da la sociedad del señor feudal; la máquina de vapor, nos da la del capitalista industrial” (Marx, 2013)
Espacios “conquistados” que hemos ido poblando de símbolos, esperanzas y miedos a través de metanarrativas que nos han permitido alcanzar una relativa comprensión sobre el entorno, siempre condicionada por el alcance de nuestros propios instrumentos y la estructura de pensamiento.
Observamos así una relación o vínculo directo claro entre tecnología y cambio social (White, 1973), en lo que podría entenderse como una aproximación monista o determinista de la historia. Podríamos decir que la tecnología ha sido clave para la conquista de nuevos espacios físicos, simbólicos, intelectuales y eróticos, observando la existencia de tecnologías que han expandido nuestros horizontes, y horizontes que han expandido nuestra visión y comprensión del mundo.
El proceso de conquista y expolio de América por parte de Europa, por ejemplo, fue sustentando por unas determinadas tecnologías y técnicas que posibilitaron la navegación transoceánica, así como de un entramado ideológico-simbólico que ofreció cobertura intelectual al mismo (evangelización). Una combinación tecnoideológica al servicio de una causa (el etnoestado católico) que a su vez supuso cambios socioorganizativos en el Viejo Continente, además de en el Nuevo, generando una nueva cosmovisión del entorno que acabaría desembocando en el imperialismo como manifestación más agresiva y también lesiva con el medio, y que perdura hasta la actualidad. Una dinámica de interdependencia compleja que a su vez acabaría transformando el propio etnoestado católico (Mbembe, 2011; Spade y Willse, 2014). Tal y como lo afirmaba Culkin, “nosotros damos forma a nuestras herramientas, y luego éstas nos dan forma a nosotros” (Culkin, 1967). Surgie así un nuevo orden de tipo jerárquico: el país monocultivo subyugado a los intereses metropolitanos, un balance entre unidad productiva oprimida y centro de explotación institucionalizado que reconfigura ambas sociedades. De la misma forma en que el descubrimiento y conquista del átomo determinó toda una generación basada en el miedo a la destrucción mutua asegurada, dando forma a una nueva percepción de la escala de “lo humano”.
Con esto se pretende reforzar la idea de que, tan importantes como la tecnología en sí misma, son los marcos ideológicos de la sociedad que la alberga, ya que conjuntamente determinarán el porvenir de las mismas, en un proceso de coproducción (McLuhan, 1994; Jasanoff, 2007; Needham, 2008; Nevens y Frantzeskaki, 2013; Jasanoff, 2016) en el que nosotros damos forma a la tecnología y ésta nos da forma a nosotros, y juntos traspasamos nuevas fronteras siendo otros diferentes a los que comenzaron el viaje, como en el río de Heráclito. En otras palabras, nada tiene de “malo” el descubrimiento del átomo o de técnicas de navegación avanzadas, el problema reside en el núcleo socioideológico de la sociedad que las alberga, y su capacidad para alinearlas y realinearse en torno a unos objetivos enraizados en la superestructura del sistema.
Un proceso tecnosocial que muchas metanarrativas dibujan sobre parámetros de descubrimiento y conquista (con la implícita y subsecuente relación patrimonialista) sembrando así futuros de subyugación tanto para nosotros como para el resto de las especies, ya que el espacio conquistado nunca puede ser comprendido como libre (conquista de América, conquista del Oeste, conquista espacial…).
Y ha sido esa comprensión patrimonialista del entorno, y de lo común, la que nos ha llevado al abismo actual. Incapaces de reconocer hechos tan simples como los relativos a la producción de lo común, técnicas y tecnologías que no existirían sin una aportación colectiva (Kropotkin, 1977), de datos en el caso de la IA, y que por tanto requieren de modelos comunales de gestión bajo fórmulas de reconocimiento de privacidad/intimidad, que no propiedad, sobre la propia naturaleza de los datos. Es decir, los datos no son de nadie, pero tampoco lo son de todos, modelo en el que la intimidad debería erigirse como vector de gestión.
Este proceso de coproducción sociotecnológico que hoy parece guiado por una “mano invisible”), que parece seguir influyendo en los últimos grandes avances tecnológicos, los cuales se encuentran en riesgo de monopolización por parte de los grandes gigantes tecnológicos, compañías que en la actualidad trabajan incasablemente por establecer nociones de propiedad sobre los datos (generados por todos), que nutren los algoritmos.
A este respecto cabe destacar la explotación a la que algunos gigantes tecnológicos someten a la población, que se ve obligada a trabajar de forma gratuita, para solventar el propio proceso de aprendizaje de la IA, como es el caso del uso de los captcha3 por algunos gigantes informáticos como Google, en los casos en que utilizan imágenes borrosas (de letras y números) que las máquinas tienen dificultad para interpretar y son sometidas a humanos como peaje previo de acceso a un determinado contenido digital, y que sirve a los intereses de la compañía a fin de mejorar sus algoritmos de reconocimiento de imagen.
Una coproducción de conocimiento que resta patrimonializado en manos de aquellos que tienen el control de medios de producción, hasta aquí nada nuevo (Simkhovitch y Kropotkin, 1903; Kropotkin, 1977; Derrida, 1995; Marx, 2008a). Así, el espacio de la IA se erige para muchos como una nueva frontera por conquistar, y por tanto transformada en producto, huyendo de otros marcos menos convencionales que podrían auspiciar un reconocimiento de la “intimidad” de los datos, y una dirección y adaptación comunal de la tecnología (Jasanoff, 2007).
El factor clave que diferenciaría el potencial impacto de la IA sobre la configuración de “lo humano” hacia su transición poshumana, devendría del hecho de que en la actualidad nos situamos frente a una tecnología con capacidad de influencia directa sobre todas las dimensiones de la construcción de una nueva geografía o espacialidad que tiene la capacidad intrínseca y el direccionamiento ideológico necesario para reproducir los sistemas de opresión y marginalización existentes en nuestra sociedad, además de cristalizarlos con base en una codificación algorítmica, donde la reproducción del racismo (Boyd, Levy y Marwick, 2014) o la cristalización de los círculos de pobreza (Reserve Board, 2003) son algunos de los signos que ya permite observar el sistema tal y como refleja la obra de Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (Noble, 2016) y que pronostican la cristalización de las actuales dinámicas de subyugación.
Finalmente, y con el objetivo de acabar de perfilar la nueva frontera ante la que nos sitúa la IA, cabe destacar, tal y como lo hemos mencionado previamente, que cubre o tiene el potencial de inferir de modo directo sobre todas y cada una de las dimensiones que tradicionalmente ha ocupado lo humano y que podríamos identificar con lo físico; referido a la totalidad de nuestra realidad material; lo ideológico referido al sistema interpretativo que configura nuestra comprensión del entorno; lo simbólico referido a nuestros sistemas representativos; lo erótico referido a las pulsiones de vida en el sentido freudiano del término, subrayando la inferencia de la IA sobre las pulsiones sexuales (Freud, 2016) y lo digital entendido como una nueva dimensión de desarrollo de lo humano, donde se conjugan elementos simbólicos, aspiracionales, funcionales, productivos, así como recreativos y relacionales, una dimensión sustentada sobre la simulación (Baudrillard, 1983) pero que permite y alienta representaciones “deformadas” o “reformadas” del sujeto con base en multiplicidad de parámetros, muchos de los cuales se relacionan con valores puramente aspiracionales (cómo quiero ser visto, cómo quiero que me perciban).
Podríamos afirmar, como exploración de la presente línea argumentativa, que como humanos tenemos una dimensión física o material en cuanto que podemos no sólo relacionarnos sino ejercer transformaciones reales sobre nuestro entorno físico (la presente crisis climática es una muestra de dicha capacidad). Tenemos una dimensión ideológica en tanto que observamos nuestra realidad filtrada, a través de una serie de parámetros mentales que nos ofrecen una aproximación holística a la complejidad que nos envuelve (Žižek, 1997) y nos permiten ejecutar acciones/decisiones. Tenemos una dimensión simbólica/espiritual por cuanto que somos capaces de elaborar representaciones/simulacros cuyo valor social supera su valor de uso (Derrida, 2012), así como una dimensión erótica estructurada en torno a un principio del placer, cuyo límite se encuentra en la propia naturaleza de la jerarquización social, representada psicológicamente por el principio de realidad (cuya naturaleza sería fruto de un proceso de construcción y subyugación social); finalmente, una compleja dimensión digital que permite ciertos niveles de disociación respecto a nuestra representación física, generando una nueva geografía cuya complejidad el presente artículo no pretende abarcar.
La clave residiría por tanto en que la IA, como sistema tecnológico, tiene el potencial implícito de realizar avances sobre todas las dimensiones anteriormente descritas, teniendo la capacidad de inferir de forma directa una vez ejecutada la delegación de capacidades, y la sustracción de un control humano significativo (Roff, 2016; Rodríguez-Álvarez, 2019). Es decir, no estamos ante el alumbramiento de un ser sintético sino ante el surgimiento de una simulación de nuestra representación simbólica que tiene un efecto directo sobre la forma en que comprendemos y nos relacionamos con nuestro entorno.
Hay efectos que pueden ser comprendidos a partir de algunas de sus materializaciones:
• Lo físico: podríamos enumerar las potenciales afectaciones generadas por las armas letales autónomas (Martínez-Quirante y Rodríguez-Álvarez, 2018; Rodríguez-Álvarez y Martínez-Quirante, 2019), o los sistemas de producción autónomos (agricultura, industria…) (Hassan, Ullah e Iqbal, 2016), o por el rol que pueden tener sobre nuestra realidad material los drones civiles autónomos, los robots de acompañamiento autónomos… O incluso la capacidad de impacto sobre nuestro sistema económico erigiendo los datos, nueva sangre del sistema, como nuevo producto estrella.
• Lo ideológico: auspiciando la generación de nuevos marcos metales, como el poshumanismo (Braidoti, 2015), el Objetivismo (Rand, 2020), el transhumanismo, o a través de la potenciación de eventos concretos, como la Primavera Árabe (Huang, 2011) —procesos que conjugan afectaciones en diversas dimensiones.
• Lo simbólico: la IA comprendida como última frontera (Barrat, 2013), así como el reconocimiento de su capacidad para generar símbolos y metáforas funcionales, Skynet, Singularity.
• Lo erótico: la inteligencia artificial como proveedora de placer sexual a través de robots destinados a este uso (Sharkey y Wynsberghe, 2017), o relativo a su capacidad para generar espacios de placer y deseo, así como su capacidad intrínseca para representar/simular la vida.
• Lo digital: que podría ser comprendido como el ecosistema originario y propio de la misma, donde encontraríamos la recreación/simulación/representación de espacios de sociabilidad, interacción, aprendizaje, consumo, productividad y placer, que van desde portales de búsqueda de pareja a través de IA, portales de noticias basados en algoritmos de personalización (Facebook, Google), centros de compras con sugerencias realizadas por IA (Amazon), portales educativos personalizados, pornografía personalizada, etc., induciendo a cambios en el comportamiento (Moore y McElroy, 2012) y por tanto afectando de forma indirecta al resto de dimensiones del sujeto.
Es decir, estamos ante una tecnología que tiene un potencial claro de afectación sobre la configuración de la condición humana (Arendt, 2014). Una nueva frontera que tiene la capacidad de reconfigurarnos, siendo por tanto imprescindible deconstruir aquellas mitologías/narrativas que se orientan a una reproducción de los sistemas de opresión, ahora trasladados a una comprensión algorítmica, teniendo como principal objetivo la revaloración de la vida como objeto auténtico de la praxis, siendo la tecnología un medio para inducir el cambio.
DECONSTRUCCIÓN DE LOS METARRELATOS ALREDEDOR DE LA INTELIGENCIA ARTIFICIAL
A lo largo de la historia no han sido pocos los sistemas tecnológicos que han alumbrado metarrelatos complejos que convergen con formas simbólicas, generando disociaciones entre realidad y ficción (Rodríguez, 2016). Así ocurrió con el surgimiento del calendario, asociado a la revolución neolítica, en tanto que tecnología que permitía la reproducción de los ciclos agrícolas y que acabó albergando un tipo de pensamiento mágico relacionado con la trazabilidad del tiempo y su relación con los ciclos astrales (Calleman, 2004), desembocando en fenómenos de opresión/control a través de la previsión de fenómenos astrales complejos (predicción de eclipses por ejemplo) entre otros (Ellul, Wilkinson y Merton, 1964).
No es necesario retroceder al pasado remoto para observar la reproductibilidad del fenómeno en sociedades reconocidas como científicas tal y como lo acreditaría, por ejemplo, el caso del descubrimiento de la radiación y sus subsecuentes ámbitos de aplicación, cuyo desarrollo se vio envuelto en numerosas controversias, algunas de tipo científico, pero no su totalidad.
Así, encontramos mitos surgidos alrededor de sus propiedades curativas y la seguridad de su uso en las décadas de los años veinte y treinta del siglo pasado. Es necesario comprender hasta qué punto se desarrolló esta mitificación de la seguridad respecto a la radiactividad que condujo a la elaboración de productos de consumo generalista de todo tipo, incluyendo dentífricos, chocolates, cremas cutáneas y un largo etcétera4 con el único objetivo de alentar su penetración social. Pero éstos no son ni mucho menos los únicos, es necesario destacar aquellos de tipo estructural que han tenido efectos profundos sobre el orden global y lo humano, mitos que condicionaron la política humana durante décadas, como el de la destrucción mutua asegurada (Wilson, 2008), o aquellos que se alumbraron bajo la forma de promesas de futuros de fuentes de energía limpias, baratas y seguras y que tomarían la forma en programas como Átomos para la Paz (Atoms for Peace).
Así, encontramos la estructuración de una serie de metarrelatos alrededor de la tecnología que tuvieron la habilidad de monopolizar su desarrollo bajo el prisma de la hegemonía cultural (Bates, 1975; Femia, 1987) que, cabe destacar, no condujeron a futuros de liberación o a una producción global de “bien”, sino a la perpetuación de dinámicas de opresión y subyugación cuya materialización se manifiesta en todos y cada uno de los conflictos proxy que se desarrollaron durante el periodo de la Guerra Fría.
Podemos encontrar otros ejemplos donde se repite esta dinámica, como podría ser en el ámbito de la biogenética, donde bajo las promesas de cultivos resistentes y el final del hambre en el mundo se encubrió una patrimonialización de la tecnología, cuyos intereses una vez más no pivotan alrededor del bien común, sino alrededor de los del sistema de producción capitalista, donde el gen terminator (Ohlgart, 2002) se erige como ejemplo paradigmático, reproduciendo con su mera existencia las dinámicas de opresión y posesión instaladas en el medio rural y agrícola, con graves amenazas para la soberanía alimentaria (tal y como ocurrió en Haití con Monsanto). Es otra tecnología con potencial liberador orientada a la cristalización del orden social y la consagración de un sistema productivo, que continúa incentivando el monocultivo, a pesar de la plena conciencia sobre sus efectos erosivos en el ecosistema.
Hoy en día parece que el ciclo vuelve a repetirse en relación con la IA. En los foros internacionales de primer nivel se vuelven a extender promesas sobre escenarios utópicos a los cuales se llega a través de un único camino: cesión de datos, cesión de privacidad y en última instancia, cesión de humanidad (Griffin, 2018; Sharkey, 2018b). Y es que el mundo de la IA está lleno de sombras que hay que desvelar, sobre todo teniendo en cuenta que muchos de los datos cedidos por los usuarios corren el riesgo de ser utilizados en su contra, ya sea por corporaciones privadas o por programas militares, como está ocurriendo con los programas de reconocimiento facial (Statt, 2018).
Los metarrelatos van orientados, como en ocasiones anteriores, al secuestro de la tecnología por parte de una elite dominante propietaria de los medios de producción, entre los cuales nos incluimos, ya que, en un sistema basado en la generación de datos, el medio de producción somos nosotros. Hecho relevante, con afectaciones profundas que derivan en una patrimonialización de la vida y una victoria de los impulsos de muerte (Mbembe, 2008); el sistema que se destruye a través del colapso ecológico (Diamond, 1994).
Por lo anterior, en el mundo digital, si alguna cosa es gratis es simplemente porque el que está en venta eres tú (Martínez-Quirante y Rodríguez-Álvarez, 2020). Este se hace más visible si tenemos en cuenta que el comercio del petróleo ha quedado superado por el de los datos, ya que éstos son la materia prima más valorada del planeta (The Economist, 2017). Lo anterior se sustenta en que un algoritmo sin datos no es nada y, por tanto, no hay IA, motivo por el cual es imperativo que sea comprendida como un bien social comunal.
Si no lo hacemos, iremos como leemings al abismo de una sociedad algorítmica donde nuestro propio comportamiento y lenguaje se irán transformando, atendiendo a las necesidades impuestas por los algoritmos y no al contrario. El caso de Cambridge Analytica (en el que mercadearon con los datos privados de más de 50 millones de personas) es un ejemplo paradigmático de nuestras vulnerabilidades sociales e individuales (Berghel, 2018; Cadwalladr y Graham-Harrison, 2018). Pero también lo son los experimentos sociales de Facebook (Hill, 2014) o sus excusas y estrategias para conseguir más datos y así perfeccionar el sistema, como su “10 year challenge”, mediante el cual se invitaba a los usuarios a compartir sus fotografías actuales y de diez años antes a fin de refinar el software de reconocimiento de imagen y envejecimiento de la compañía. Son ejemplos puntuales que evocan un pasado reciente donde la mistificación tecnológica llevó a acciones que hoy nos parecen completamente ridículas (como la pasta de dientes radiactiva), pero en las que estamos incurriendo de forma sistemática en lo relativo a la penetración de la inteligencia artificial.
Esta tendencia muestra lo relativamente sencillo que resulta aprovecharse de una sociedad donde el pensamiento crítico ha sido relegado a su más mínima expresión por sistemas educativos y mediáticos que lo han devaluado (Postman, 2006), y donde la proliferación de discursos paternalistas que invocan la protección del Estado resultan lesivos para el mantenimiento y avance de las libertades civiles.
Ahora bien, el problema es mucho más profundo porque, tal y como lo mencionábamos con anterioridad, nos enfrentamos a una tecnología con potencialidades de acción completa sobre las diferentes dimensiones de lo humano, por los que los cambios producidos sobre nuestra condición pueden determinar el devenir de lo poshumano, situándonos en una encrucijada entre utopía y distopía. Por ello resulta de especial relevancia describir los metarrelatos que justifican la necesidad teórica, así como el beneficio social, de usar tecologías que son potencialmente invasivas de nuestra privacidad y proclives a desarrollar patrones de manipulación social. Dichos metarrelatos se basan en tres mitos fundamentales.
El primer mito es que las máquinas pueden adoptar comportamientos ético-morales si son codificados correctamente (Tasioulas, 2018). Pero parece evidente que una máquina no puede tener ni ética, ni moral, ni intuición propia (Asaro, 2012). En todo caso, podrá reproducir la ética de quien lo ha codificado, por lo que será necesario preguntarnos qué ética: ¿una ética del deber?; ¿una ética utilitarista?; ¿cómo estableceremos un acuerdo acerca de ello? Es más, en el hipotético caso de que este acuerdo se alcanzara y la pudieran codificar, deberíamos preguntarnos si una vez codificada la IA, el sistema evolucionará por sí solo o nos condenará a una sociedad de tipo inmovilista donde el bien y el mal queden cristalizados en la base de una construcción subjetivizada en los algoritmos. Y si evoluciona… ¿cuál será su hito?
En definitiva, la IA en ningún caso puede considerarse como un agente moral, por el simple hecho de que se trata de una simulación y no un ser autoconsciente y, por lo tanto, no es capaz de comprender, bajo ningún tipo de parámetro, una cosa tan sencilla y central como es el valor de una vida humana (Yampolskiy, 2013).
El segundo mito se basa en que la IA puede tomar decisiones de forma más efectiva, más ecuánime y más justa que un humano. Nada más lejos de la realidad. En primer lugar, porque la IA reproduce por emulación el sistema ético-ideológico de sus creadores, es decir, reproduce nuestra falta de imparcialidad. Como lo muestra Cathy O’Neil en su obra Armas de destrucción matemática (O’Neil, 2017), creer en la infalibilidad de los algoritmos puede llevar a resultados dramáticos, erigiendo dogmas pseudosimbólico-espirituales que disocien la experiencia real y la digital comportando fenómenos de discriminación/marginalización o simplemente de tipo represivo, como los ocurridos con las evaluaciones de profesores en el estado de Washington, o como lo mostró la American Civil Liberties Union con respecto a los sistemas de reconocimiento facial, que tienen una alta tendencia a identificar sujetos no caucásicos como criminales (Snow, 2018).
Estamos ante una tecnología diseñada por hombres blancos, con el sistema mental propio de los mismos, donde sus filias y fobias tienden a ser trasladadas a sus creaciones. Es más, al tratarse de un sistema heurístico resulta altamente complejo saber el proceso mediante el cual la IA ha tomado una determinada decisión. Por lo tanto, si resulta imposible deconstruir o explicar el proceso que ha llevado a una determinada decisión en la IA, siendo por tanto una irresponsabilidad dejarlas que operen libremente, sin filtros claros de control humanos significativo.
Y, finalmente, llegamos al tercer mito que afirma que la IA es más fiable que la inteligencia humana, cosa que en análisis muy específicos podría ser aceptado, pero nunca en términos generales. Hay que destacar aquí el trabajo hecho por la ONG británica Big Brother Watch (BBW, 2019) que, apelando al acto de libertad de información, consiguieron que el gobierno revelara la fiabilidad de los sistemas de reconocimiento facial que se utilizaron durante el Carnaval de Candem. El resultado fue que sólo 5% de las identificaciones de criminales hechas a través del sistema d’IA eran correctas, dando un error medio de 95% tal y como subraya Noel Sharkey en su artículo “Saying No! to lethal autonomous targeting” (Sharkey, 2010).
Esta mitología tiene todavía resultados mucho más preocupantes si tenemos en cuenta los estudios que nos hablan de un proceso mental descrito como “Automation Bias” (Cummings, 2004) —sesgo de automatización— donde se explica que los humanos tenemos tendencia a dar por válidos los juicios y análisis hechos por la IA, dado que pensamos (ya que hemos sido condicionados) que es más efectiva y fiable que nosotros mismos.
Pero lo más sorprendente es que a pesar de saber que la IA no puede ser considerada como un agente moral, y a pesar de saber sus limitaciones a la hora de interpretar la realidad a causa de los sesgos propios de sus creadores y de la propia sociedad (especialmente en sistemas que se nutren de lenguaje natural) además del componente heurístico que dificulta el análisis final sobre su análisis. Su penetración sigue aumentando y cada vez más procesos son guiados a través de estos sistemas.
El triunfo de estas metanarrativas, tal y como pasó con los sets tecnológicos anteriormente descritos, sólo pueden conllevar una incorporación acrítica de los mismos, cuyos costos se prevén altos e impredecibles y cuyas consecuencias resultan difíciles de atisbar. De sobra es conocido el programa COMPASS5 y los impactos que tiene sobre el sistema de justicia (Dike, 2017) cristalizando las diferencias raciales y potenciando los sesgos humanos sobre el proceso. Sistemas que se encuentran en fase de proliferación con multiplicidad de usos (muchos de ellos orientados a los sistemas de seguridad pública y justicia). Pero lo cierto es que aún estamos a tiempo de evitar el Chernóbil o el gen terminator de la inteligencia artificial a través de la estructuración de una narrativa crítica y realista, relativa a la capacidad y estado de la cuestión, y subrayando la crisis ecológica y social como eje vertebrador, además de incidir en la necesidad de incluir procesos de control humano significativo.
A este respecto cabe destacar que no es suficiente con ubicar la crisis ecológica como base epistemológica a la cuestión de la gobernanza de la IA, ya que por sí sola no es garante de acometer cambios que rompan con las actuales dinámicas de opresión que los sistemas tecnológicos previamente descritos han reproducido y cristalizado. Afirmación que se sustenta por la apropiación realizada tanto a día de hoy como históricamente a la cuestión ecológica realizada desde los movimientos de extrema derecha y fascistas (Biehl y Standenmaier, 2019) donde la naturaleza puede erigirse como una excusa para la perpetuación de la opresión, e incluso como justificante para el genocidio, por lo que es inevitable vincular la crisis ecológica con el sistema productivo y mental que la ha amparado.
Es por ello vital avanzar hacia una comprensión desde la izquierda, del proceso de gobernanza tecnológico, resaltando el rol de las instituciones descentralizadas y paradigmas de propiedad comunal. Sería un error permitir que una tecnología clave, como en otros tiempos fue el fuego, la rueda, o la agricultura, y que es fruto del esfuerzo colectivo de las generaciones precedentes y posible gracias a la masiva aportación de datos de las presentes, caiga en manos de unos pocos que la patrimonialicen, sustrayéndole todo potencial liberador y restringiéndola al servicio de la perpetuación de un sistema que nos conduce inexorablemente a la extinción.
TECNOLOGÍA Y ECOLOGÍA SOCIAL
Nosotros, últimos hombres (humanos), los más recientes, los más abstractos, ya ni siquiera existimos, somos fantasmas. Colli (1978:40)
A lo largo del presente capítulo se ha realizado un análisis crítico de los marcos ideológicos y materiales que han permitido el surgimiento y penetración de la IA, al mismo tiempo que se ha alertado sobre las tendencias de desarrollo que dicha tecnología puede tener, así como sus potenciales efectos sobre el sistema. Unos efectos que podrían resumirse como la cristalización y profundización de las dinámicas de opresión que actualmente operan en nuestra sociedad. Unas dinámicas que, además, encontrarían un nuevo nivel justificativo basadas en las metanarrativas que rodean a la tecnología, así como con base en la propia naturaleza de la IA.
Una tendencia que nos llevaría a situarnos ante una discriminación/subyugación sustentada en una base algorítmica que busca transferir la responsabilidad ética de la subyugación a las máquinas, en lugar de a las elites propietarias de las mismas (en tanto que consideradas como medio de producción) bajo un proceso orientado a la “humanización” de las mismas, y donde la singularidad, como marco teórico, juega un papel importante en la cristalización de dicha agenda.
Estaríamos además ante un medio que tiene un potencial de afectación o inferencia sobre todas las dimensiones de “lo humano”, extendiendo así el dominio de la biopolítica foucaultiana (Foucault y Varela, 1978) a través de la cristalización necropolítica (Mbembe, 2011) y el triunfo de las pulsiones de muerte.
Pero ¿cuál es la alternativa? La respuesta a esta pregunta es compleja y multidimensional, ya que el cambio necesario no obliga simplemente a una reorientación de la tecnología con base en nuevas agendas, sino que afecta de manera profunda los pilares principales que sostienen nuestro sistema, tal y como es la noción de propiedad, trabajo asalariado y Estado.
Esto es así porque resulta fundamental deconstruir la propiedad, especialmente la tecnológica, en pos de métodos de gestión y gobierno comunitario/cooperativo de la misma que sean capaces de priorizar aquellas aplicaciones que respondan al bien común, el cual en la actualidad se orienta por encima de cualquier otra prioridad a la reversión de la crisis ecológica, una reversión que sólo es posible a través de una transformación de los marcos que la han inducido (sistema de producción capitalista).
Es decir, es necesario estructurar un gobierno de la tecnología que requiere de un compromiso social colectivo para la reorientación del sistema, o lo que es lo mismo, una nueva agenda tecnocientífica que tenga como imperativo urgente explorar aquellos sistemas que permitan una reorganización social basada en una ecología de la libertad (Bookchin, 1991) en donde la noción de autonomía puede representar un antes y un después en la disolución del trabajo asalariado, quizás uno de los elementos más nocivos del actual sistema, que conduce de facto a una alienación de la clase trabajadora, materializada a través de la plusvalía (Kropotkin, 1995; Marx, 2008b), pero cuyos impactos ocupan todas las dimensiones de nuestra experiencia y nos condenan a una esclavitud sistémica.
Si bien este esfuerzo redireccionador requiere de mayores estudios en el campo de la autonomía, como por ejemplo agricultura autónoma (y otros procesos de autonomía productiva), así como sobre la configuración de comunidades inteligentes (smart communities vs smart cities) que permitan ejercer un mayor control sobre los recursos utilizados para su desarrollo, a fin maximizar su eficiencia y reducir el impacto ecológico.
Es necesario asimismo avanzar en el estudio de las potencialidades que el blockchain nos ofrece para la generación de instituciones descentralizadas (stateless institutions) basadas también en una gestión eficiente de los datos, evitando el uso de todos aquellos que puedan vulnerar la intimidad del sujeto como principio articulador, además de definir modelos de producción científica que rompan con las actuales dinámicas del complejo tecnoindustrial orientadas a la maximización de beneficios y/o interés nacional, generalmente de índole militar, por agendas de investigación ecosociales.
En segundo lugar, debemos emplear esfuerzos en reubicar la noción de humanidad en un contexto poshumano, entendiéndonos como parte de una red de interdependencias complejas imprescindible para el mantenimiento de la vida sobre el planeta, una naturaleza y experiencia de lo real que tiene el potencial de ser expandida por nuestras capacitaciones tecnológicas, donde la preservación y potenciación de la diversidad, al igual que en el pool genético, ha de ser comprendida como el principal motor de evolución, y donde valores como solidaridad y cooperación superen aquellos endógenos al capitalismo como son la individualidad y la competitividad. Y donde los principios de jerarquía y control sean superados por paradigmas de igualdad y cocreación (Funtowicz y Ravetz, 1993), transformando así la comprensión y el rol de la ciencia, ya que tal y como afirmaba Giorgio Colli:
A los científicos modernos todavía no se les ha ocurrido algo que para los antiguos era obvio: que es preciso silenciar los conocimientos destinados a los pocos, que las fórmulas y las formulaciones abstractas peligrosas, capaces de evoluciones fatales, nefastas en sus aplicaciones, deben ser valoradas anticipadamente y en todo su alcance por quien las ha descubierto, y en consecuencia deben ser celosamente escondidas, sustraídas a la publicidad. La ciencia griega no alcanzó un gran desarrollo tecnológico porque no quiso alcanzarlo. Con el silencio, la ciencia asusta al Estado, y es respetada. El estado sólo puede vivir, luchar y fortalecerse con los medios ofrecidos por la cultura: es algo que sabe perfectamente, el jefe de la tribu depende visceralmente del hechicero (Colli, 1978:54).
Una ciencia y una tecnología que es necesario comprender como el resultado de un esfuerzo colectivo, y por tanto se debe garantizar el libre acceso a la misma, potenciando la transferencia de conocimiento sobre aquellas herramientas que el sistema ha interpuesto para patrimonializarlas (como por ejemplo los sistemas de patentes). Y es que, tal y como lo afirmaba Kropotkin:
Cada máquina tiene la misma historia: una larga serie de noches en blanco y de miseria; de desilusiones y de alegrías, de mejoras parciales halladas por varias generaciones de obreros desconocidos que han añadido a la invención primitiva esas pequeñeces sin las cuales permanecería estéril la idea más fecunda. Aún más: cada nueva invención es una síntesis resultante de mil inventos anteriores en el inmenso campo de la mecánica y de la industria. Todo se entrelaza: ciencia e industria, saber y aplicación. Los descubrimientos y las realizaciones prácticas que conducen a nuevas invenciones, el trabajo intelectual y el trabajo manual, la idea y los brazos. Cada descubrimiento, cada progreso, cada aumento de la riqueza de la humanidad, tiene su origen en la conjunción del trabajo manual e intelectual del pasado y del presente. Entonces, ¿con qué derecho alguien se apropia de la menor parcela de ese inmenso todo y dice: “Esto es sólo mío y no de todos”? (Kropotkin, 1977).
Es importante a este respecto señalar que la cristalización de los sistemas de propiedad conducen de forma inevitable al trabajo asalariado, entendido como un sistema de control/sometimiento, además de estructurarse como base de un complejo proceso de alienación de las clases trabajadoras. Una relación que se reproduce también bajo la forma de la democracia liberal como sistema de dominio sobre las mismas, estructurando una metanarrativa que transmite una falsa impresión de igualdad en el ejercicio del voto, mientras que el ejercicio del poder u autoridad en el sentido tradicional del término continúa restringido a una elite social.
Debemos, además, tener en cuenta que tradicionalmente el Estado se han organizado como un sistema productivo donde el equilibrio entre los derechos laborales y la ganancia de capital se determina a partir de la “ley de hierro de los salarios”, que afirma que los salarios reales siempre tienden, a la larga, hacia el salario mínimo necesario para sostener la vida del trabajador (Wolf, 2014), una ley que aunada con la teoría marxista de la alienación define un escenario que en esencia contiene los elementos estructurales básicos de una sociedad esclavista, aunque bajo el dominio de un poder blando (soft-power), que restringe el uso de la fuerza (cuando es posible), sustituyéndolo por mecanismos de seducción/adicción (como la cultura de entretenimiento actual).
Un sistema en el que la noción de democracia liberal se estructura como mito o metarrelato que maquilla la apariencia de las relaciones de poder, ya que se ve limitada en sus efectos por la “ley de hierro de la oligarquía”,6 (Michaels, 2016), la cual establece que todas las formas de organización, independientemente de cuán democráticas puedan ser al principio, eventual e inevitablemente desarrollarán tendencias oligárquicas, haciendo que la verdadera democracia sea práctica y teóricamente imposible, especialmente en grupos grandes y organizaciones complejas. Así, puede decirse que la relativa fluidez estructural en una democracia a pequeña escala sucumbe a la “viscosidad social” en una organización a gran escala.
Por tanto, según la “ley de hierro de la oligarquía”, la democracia y la organización a gran escala son incompatibles, hecho que ayuda a comprender el rol de la “democracia liberal” como un mito orientado a la seducción de las clases trabajadoras, impidiendo así confrontar la verdadera naturaleza del Estado. Un hecho que nos permite observar, a su vez, la necesidad de configurar marcos institucionales descentralizados (stateless institutions), donde la unidad de acción debe tener a lo sumo una arquitectura de tipo municipalista (Bookchin, 1989).
De no hacerlo entraremos en la fase avanzada de un sistema que nos oprime, nos aliena y tiene tendencia a destruir la vida en el sentido más amplio del término, conduciéndonos hacia el colapso ecológico, combinado con el surgimiento de una tecnología que tiene la capacidad de reproducirlo sobre una base algorítmica, “naturalizando” aún más las relaciones de poder/subyugación. Aún así, este rol determinista de la tecnología no debe llevarnos a creer que se trata de algo inevitable, ya que:
Este determinismo tiene, sin embargo, otro aspecto. Habrá una tentación de usar la palabra fatalismo en relación con los fenómenos descritos. El lector puede estar inclinado a decir que, si todo ocurre como se dice, el hombre es totalmente indefenso, ya sea para preservar su libertad personal o para cambiar el curso de los acontecimientos. Una vez más, creo que la pregunta está mal planteada. Me gustaría invertir los términos y decir: si el hombre, si cada uno de nosotros abdica sus responsabilidades con respecto a los valores; si cada uno de nosotros se limita a llevar una existencia trivial en una civilización tecnológica, con una mayor adaptación a sus objetivos; sin ni siquiera considerar la posibilidad de hacer una postura en contra de estos determinantes, entonces todo va a pasar tal y como se relata, y los determinantes serán transformados en inevitables (Ellul, Wilkinson y Merton, 1964:XXIX).
Es, por tanto, imprescindible concluir haciendo un llamado a la acción para explotar las potencialidades de liberación que contienen nuestros marcos tecnológicos, los cuales a su vez, deben ser liberados del dominio (hegemonía cultural) de una superestructura que los ha orientado a maximizar los beneficios de una elite a costa de la libertad de la mayoría, mientras nos dirigen hacia el colapso ecológico.
Debemos ser capaces de imaginar escenarios en los que se diluyan las formas de propiedad que han estructurado nuestra realidad y nos han hecho tan miserables, a fin de ser capaces de reconstruir nuestro mundo, que vive a través de nuestra experiencia. Es necesario estructurar una sociedad a nuestra escala, potenciando nuestra relación con el entorno y reconociendo lo municipal como área de acción de lo político.
Debemos redefinir “lo humano” en un contexto poshumano, cuyo surgimiento debe aparejarse a la disolución de las jerarquías y la superación del autoritarismo, que como afirmaba Bookschin, penetró nuestra razón, moralidad y espíritu, tomando el control del lenguaje y de las más rudimentarias formas de simbolización. Es imprescindible, por tanto, recuperar las palabras y el lenguaje como función humana, antes que algorítmica.
Y finalmente, debemos realinear nuestro potencial, como especie, en la preservación de la vida y la diversidad.
BIBLIOGRAFÍA
Allen, G. (2019), Understanding China’s AI Strategy, CNAS, disponible en <https://www.cnas.org/publications/reports/unders tanding-chinas-ai-strategy>, consultado el 17 de abril de 2019.
Arendt, H. (2014), La condición humana, 8a ed., Barcelona, Vives.
Asaro, P. (2012), “On Banning Autonomous Weapon Systems: Human Rights, Automation and the Dehumanization of Lethal Decision-Making”, en International Review of the Red Cross, vol. 94, núm. 886, pp. 687-709.
Barrat, J. (2013), Our Final Invention : Artificial Intelligence and the End of the Human Era, Nueva York, St. Martin’s Press.
Bates, T. (1975), “Gramsci and the Theory of Hegemony”, en Journal of the History of Ideas, vol. 32, núm. 2, pp. 351-356.
Baudrillard, J. (1983), “The Precession of Simulacra”, en D. Hlynka (ed.), Paradigms Regained, New Jersey, Educational Technology Publications, pp. 448-468.
Baudrillard, J. (1987), “Cool Memories 1980-1985”, Collection Débats, disponible en <http://catalogue.bnf.fr/ark:/12148/cb34910351d>.
Baudrillard, J. (1994), Simulacra and Simulation, Detroit, University of Michigan Press.
Baudrillard, J. (1995), The Gulf War did not Take Place, Indiana, Indiana University Press.
Big Brother Watch (BBW) (2019), “Big Brother Watch: Defending Civil Liberties, Protecting Privacy”, disponible en <https://bigbrotherwatch.org.uk/>, consultado el 4 de junio de 2020.
Berghel, H. (2018), “Malice Domestic: The Cambridge Analytica Dystopia”, en Computer, vol. 51, núm. 5, pp. 84-89.
Biehl, J. y P. Standenmaier (2019), Ecofascismo: lecciones sobre la experiencia alemana, Barcelona, Virus.
Bimber, B. (1994), “Three Faces of Technological Determinism”, en Merrit Smith y Leo Marx (eds.), Does Technolgy Drive History?, Cambridge, Massachusetts, MIT Press, pp. 79–100.
Bookchin, M. (1989), Remaking Society, Montreal, Black Rose Books.
Bookchin, M. (1991), La ecología de la libertad, Madrid, Madre Tierra.
Bostrom, N. (2005), “A History of Transhumanist Thought”, en Journal of Evolution and Technology, vol. 14, núm. 1, pp. 1-25.
Boyd, D.; K. Levy y A. Marwick (2014), The Networked Nature of Algorithmic Discrimination, disponible en <http://www.danah.org/papers/2014/DataDiscrimination.pdf>, consultado el 15 de abril de 2019.
Braidoti, R. (2015), Lo posthumano, Barcelona, Gedisa.
Cadwalladr, C. y E. Graham-Harrison (2018), “Revealed: 50 Million Facebook Profiles Harvested for Cambridge Analytica in Major Data Breach”, en The Guardian, disponible en <https://www.theguardian.com/news/2018/mar/17/>, consultado el 4 de junio de 2020.
Calleman, C.J. (2004), The Mayan Calendar and the Transformation of Consciousnesss, Nueva York, Simon & Schuster.
Chalmers, D.J. (2010), “The Singularity: A Philosophical Analysis”, en Susan Schneider (ed.), Science Fiction and Philosophy, 2a. ed., United Kingdom, Wiley, pp. 171-225.
Colli, G. (1978), Después de Nietzsche, Barcelona, Anagrama.
Culkin, J. (1967), “A Schoolmas’s Guide to Marshall McLuhan”, en The Saturday Review, disponible en <https://static1.squa respace.com/static/5a6135761f318d1d719bd5d9/t/5b25363 42b6a2886441759d5/1529165365116/JOHN_CULKIN.pdf.>, consultado el 15 de abril de 2019.
Cummings, M. (2004), “Automation Bias in Intelligent Time Critical Decision Support Systems”, en AIAA 1st Intelligent Systems Technical Conference, Reston, Virigina, American Institute of Aeronautics and Astronautics, disponible en DOI <10.2514/ 6.2004-6313>.
Deleuze, G. y F. Guattari (2006), Millepiani, Roma, Castelvecchi.
Derrida, J. (1995), Espectros de Marx: el estado de la deuda, el trabajo del duelo y la nueva internacional, 5a. ed., editado por J. Alarcón, Madrid, Trotta.
Derrida, J. (2012), Specters of Marx: The State of the Debt, the Work of Mourning and the New International, Nueva York, Routledge.
Diamond, J. (1994), “Ecological Collapses of Past Civilizations”, en Proceedings of the American Philosophical Society, vol. 138, núm. 3, pp. 363-370, disponible en <https://www.jstor.org/stable/986741>, consultado el 4 de junio de 2020.
Dike, A. (2017), “COMPAS AI Based Court System”, en The National Law Revie, 25 de octubre, disponible en <https://www.natlawreview.com/article/would-you-trust-artificially-intelligent-expert>, consultado el 5 de junio de 2020.
Ellul, J. (1973), Propaganda: The Formation of Men’s Attitudes, Nueva York, Vintage Books.
Ellul, J.; J. Wilkinson y R. Merton (1964), The Technological Society, Nueva York, Random House.
Femia, J. (1987), Gramsci’s Political Thought: Hegemony, Consciousness, and the Revolutionary Process, 4a. ed., Londres, Claredon Press.
Foucault, M. y J. Varela (1978), Microfísica del poder, Madrid, Endymion Ediciones.
Freud, S. (1920), “Beyond the Pleasure Principle”, en The Standard Edition of the Complete Psychological Works of Sigmund Freud, Volume XVIII (1920-1922): Beyond the Pleasure Principle, Group Psychology and Other Works, pp. 1-64, disponible en DOI <10.3 366/pah.2015.0169>.
Freud, S. (2016), Más allá del principio del placer, Buenos Aires, Amorrortu.
Funtowicz, S.O y J.R. Ravetz (1993), La ciencia posnormal: ciencia con la gente, Barcelona, Romanya/Valls.
Gelles, D. (2009), “Immortality 2.0-A Silicon Valley Insider Looks at California’s Transhumanist Movement”, en Futurist, vol. 43, núm. 1, p. 34.
Gramsci, A. (1995), Further Selections from the Prison Notebooks, Saint Paul, University of Minnesota Press.
Griffin, A. (2018), Saudi Arabia Grants Citizenship to a Robot for the First Time Ever | The Independent, Independent, disponible en <https://www.independent.co.uk/life-style/gadgets-and-tech/news/saudi-arabia-robot-sophia-citizenship-android-riyadh-citizen-passport-future-a8021601.html>, consultado el 15 de abril de 2019.
Hassan, M.U.; M. Ullah y J. Iqbal (2016). “Towards Autonomy in Agriculture: Design and Prototyping of a Robotic Vehicle with Seed Selector”, en 2016 2nd International Conference on Robotics and Artificial Intelligence, ICRAI 2016, Institute of Electrical and Electronics Engineers Inc., pp. 37-44, disponible en DOI <10.1109/ICRAI.2016.7791225>.
Herman, E. y N. Chomsky (2010), Manufacturing Consent: The Political Economy of the Mass Media, 2a. ed., Londres, Random House.
Hill, K. (2014), “Facebook Manipulated 689,003 Users’ Emotions For Science”, en Forbes, 28 de junio, disponible en <https://www.forbes.com/sites/kashmirhill/2014/06/28/facebook-manipulated-689003-users-emotions-for-science/#34003 49a197c>, consultado el 4 de junio de 2020.
Huang, C. (2011), “Facebook and Twitter Key to Arab Spring Uprisings: Report”, en The National. Abu Dhabi Media, disponible en <https://www.thenationalnews.com/uae/facebook-and-twitter-key-to-arab-spring-uprisings-report-1.428773>.
Irigaray, L. (2010), Speculum. L’altra donna, Milano, Feltrinelli Editore.
Jasanoff, S. (2007), Designs on Nature: Science and Democracy in Europe and the United States, Princeton, Princeton University Press.
Jasanoff, S. (2016), The Ethics of Invention: Technology and the Human Future, Nueva York, W.W. Norton & Company.
Kaczynski, T. (1995), “Industrial Society and its Future”, en Washington Post, p. SS1, disponible en DOI <10.1007/s13398-014-0173-7.2>.
Kropotkin, P. (1995), The Conquest of the Bread and Other Writings, Massachusetts, Cambridge University Press.
Kropotkin, P. A. (1977), La conquista del pan, Madrid, Jucar (Serie Biblioteca Histórica del Socialismo, núm. 55).
Martínez-Quirante, R. y J. Rodríguez-Álvarez (2020), “El lado oscuro de la inteligencia artificial”, en IDEES, núm. 48, disponible en <https://revistaidees.cat/es/el-lado-oscuro-de-la-inteligencia-artificial/>, consultado el 4 de junio de 2020.
Martínez-Quirante, R. y J. Rodríguez-Álvarez (2018), Inteligencia artificial y armas letales autónomas: un nuevo reto para Naciones Unidas, Gijón, Trea.
Marx, K. (2008a), Critique of the Gotha Program, Maryland, Wildside Press.
Marx, K. (2008b). The Poverty of Philosophy, Nueva York, Cosimo Classics.
Marx, K. (2013), Miseria de la filosofía: respuesta a la filosofía de la miseria de Proudhon, 10a ed., Madrid, Siglo XXI.
Marx, L. (1964), The Machine in the Garden: Technology and the Pastoral Ideal in America, Oxford, Oxford University Press.
Marx, L. (1994), “The Idea of ‘Technology’ and Postmodern Pessimism”, en Yaron Ezrahi, Everett Mendelsohn y Howard Segal (eds.), Technology, Pessimism, and Postmodernism, Dordrecht, Springer Netherlands, pp. 11-28.
Marx, L. (2000), The Machine in the Garden: Technology and the Pastoral Ideal in America, Oxford, Oxford University Press.
Mbembe, A. (2008), “Necropolitics”, en Stepehn Morton, Foucault in an Age of Terror, Londres, Palgrave Macmillan, pp. 152-182.
Mbembe, A. (2011), Necropolítica, Barcelona, Melusina.
McLuhan, M. (1994), Understanding Media: The Extensions of Man, Cambridge, Massachusetts, MIT Press.
Michaels, R. (2016), Political Parties: A Sociological Study of the Oligarchial Tendencies of Modern Democracy, Connecticut, Martino Fine Books.
Moore, K. y J.C. McElroy (2012), “The Influence of Personality on Facebook Usage, Wall Postings, and Regret”, en Computers in Human Behavior, vol. 28, núm. 1, pp. 267-274.
Needham, C. (2008), “Realising the Potential of Co-Production: Negotiating Improvements in Public Services”, en Social Policy and Society, vol. 7, núm. 2, pp. 221-231.
Nevens, F. y N. Frantzeskaki (2013). “Urban Transition Labs: Co-Creating Transformative Action for Sustainable Cities”, en Journal of Cleaner Production, vol. 50, pp. 111-122.
Noble, S.U. (2016), Algorithms of Oppression: How Search Engines Reinforce Racism, Nueva York, New York University Press.
O’Neil, C. (2017), Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Nueva York, Broadway Books.
Ohlgart, S. (2002), “The Terminator Gene: Intellectual Property Rights vs. the Farmers’ Common Law Right to Save Seed”, Drake Journal of Agricultural Law, vol. 7, núm. 11, pp. 473-488.
Postman, N. (2006), Amusing Ourselves to Death: Public Discourse in the Age of Show Business, 20a. ed., Londres, Penguin.
Rand, A. (2020), Aynrand.org, disponible en <https://aynrand.org/ideas/philosophy/>.
Reserve Board, F. (2003), Board of Governors of the Federal Reserve System Report to the Congress on Credit Scoring and Its Effects on the Availability and Affordability of Credit, Washington, disponible en <https://www.federalreserve.gov/boarddocs/rpt congress/creditscore/creditscore.pdf>, consultado el 15 de abril de 2019.
Rodríguez, J. (2016), La civilización ausente: tecnología y sociedad en la era de la incertidumbre, Gijón, Trea.
Rodríguez-Álvarez, J. (2019), “Rethinking Paradigms in the Technolo-Ecological Transition”, en Journal of Law, vol. 1, núm. 2, pp. 169-184.
Rodríguez-Álvarez, J. y R. Martínez-Quirante (2019), Towards a New AI Race. The Challenge of Lethal Autonomous Weapons Systems (Laws) for the United Nations, Cizur Menor, Navarra, Tomson Reuters Aranzadi.
Roff, H. (2016), “Meaningful Human Control or Appropriate Human Judgment? The Necessary Limits on Autonomous Weapons”, en Briefing Paper Prepared for the Review Conference of the Convention on Conventional Weapons, disponible en <https://article36.org/wp-content/uploads/2016/12/Control-or-Judgment_-Understanding-the-Scope.pdf>.
Sharkey, N. (2010), “Saying ‘No!’ to Lethal Autonomous Targeting”, en Journal of Military Ethics, vol. 9, núm. 4, pp. 369-383.
Sharkey, N. (2018a), “Get Out of My Face, Get Out of My Home: The Authoritarian Tipping Point”, en Forbes, disponible en <https://www.forbes.com/sites/noelsharkey/2018/11/23/get-out-of-my-face-get-out-of-my-home-the-authoritarian-tipping-point/>, consultado el 15 de abril de2019.
Sharkey, N. (2018b), “Mama Mia It’s Sophia: A Show Robot Or Dangerous Platform To Mislead?”, en Forbes, disponible en <https://www.forbes.com/sites/noelsharkey/2018/11/17/ma ma-mia-its-sophia-a-show-robot-or-dangerous-platform-to-mislead/#5b2021b17ac9>.
Sharkey, N. y A. Wynsberghe (2017), Our Sexual Future with Robots, Netherlands, Foundation for Responsible Robotics.
Simkhovitch, V.G. y P. Kropotkin (1903), “Mutual Aid a Factor of Evolution”, en Political Science Quarterly, disponible en DOI <10.2307/2140787>.
Snow, J. (2018), “Amazon’s Face Recognition Falsely Matched 28 Members of Congress With Mugshots”, en ACLU, disponible en <https://www.aclu.org/blog/privacy-technology/survei llance-technologies/amazons-face-recognition-falsely-mat ched-28>.
Spade, D. y C. Willse (2014), “Sex, Gender, and War in an Age of Multicultural Imperialism”, disponible en <http://againste quality.org/files/Spade_Wilse_Manning_2014.pdf>, consultado el 16 de abril de 2019.
Statt, N. (2018), “Amazon Told Employees it Would Continue to Sell Facial Recognition Software to Law Enforcement”, en The Verge, disponible en <https://www.theverge.com/2018/11/8/ 18077292/amazon-rekognition-jeff-bezos-andrew-jassy-fa cial-recognition-ice-rights-violations>, consultado el 17 de abril de 2019.
Tasioulas, J. (2018), “First Steps Towards an Ethics of Robots and Artificial Intelligence”, disponible en <https://www.academia.edu/36555833/First_Steps_Towards_an_Ethics_of_Robots_ and_Artificial_Intelligence?auto=download>, consultado el 17 de abril de 2019.
The Economist (2017), “Regulating the Internet Giants - The World’s Most Valuable Resource is no Longer Oil, but Data”, en The Economist, 6 de mayo, disponible en <https://www.economist.com/leaders/2017/05/06/the-worlds-most-valuable-resource-is-no-longer-oil-but-data>, consultado el 4 de junio 2020.
Veblen, T. (2009), The Theory of the Leisure Class, A Penn State Electronic Classics Series Publication, United Kingdom, Oxford University Press.
Veblen, T. (2013), The Place of Science in Modern Civilisation: And Other Essays, 3a. ed., Nueva York, B.W. Huebsch.
White, L. (1973), Tecnología medieval y cambio social, Barcelona, Paidós.
Wiener, J.L. y L.A. Mohr (1994), “Technopoly: The Surrender of Culture to Technology”, en Journal of Public Policy & Marketing, vol. 13, núm. 2, pp. 326-327, disponible en DOI <10.10 07/BF02948575>.
Wilson, W. (2008), “The Myth of Nuclear Deterrence”, en NonProliferation Review, vol. 15, núm. 3, pp. 421-439.
Wolf, J. (2014), “Iron Law of Wages”, en The Encyclopedia of Political Thought, United Kingdom, Wiley.
Yampolskiy, R.V. (2013), Attempts to Attribute Moral Agency to Intelligent Machines are Misguided, disponible en <https://www.academia.edu/4095936/Attempts_to_Attribute_Moral_Agency_to_Intelligent_Machines_are_Misguided>.
Žižek, S. (1997), “The Supposed Subjects of Ideology”, en Critical Quarterly, vol. 39, núm. 2, pp. 39-59, disponible en DOI <10. 1111/1467-8705.00097>.
1 Por sociedad algorítmica entendemos aquella que adapta sus funciones materiales y lingüísticas a las necesidades de los algoritmos, recreando así dinámicas de opresión desde la propia tecnología.
2 No podemos pasar por alto, a la hora de escribir el presente artículo, el impacto que la crisis generada por el Sars-Cov II sobre la narrativa tecnológica, presentada de forma constante como posible solución a la misma, a través de aplicativos orientados a un mayor control social, prácticamente orwelliano.
3 Captcha es el acrónimo en inglés para Completely Automated Public Turing Test to Tell Computers and Humans Apart (prueba de Turing completamente automática y pública para diferenciar ordenadores de humanos).
4 Como ejemplos podemos citar “Stardad Radio”, “Radithor”, cremas como “Thor-Radia”, “Revigator”, que producía agua radiactiva para el consumo familiar; “Doramand”, una pasta dentífrica radiactiva, o “Burkbraun Radium”, un chocolate radiactivo fabricado en Alemania.
5 Acrónimo en inglés de: Perfil Correccional de Gestión de Delincuentes para Sanciones Alternativas. Este programa es una herramienta de gestión de casos y apoyo a la decisión desarrollada y propiedad de Northpointe (ahora Equivant) utilizada por los tribunales de Estados Unidos. Para evaluar la probabilidad de que un acusado se convierta en reincidente.
6 Desarrollada por primera vez por el sociólogo germano-italiano Robert Michaels en su obra de 1911, Partidos políticos.
* Profesor de la Escuela de Prevención y Seguridad de la UAB, profesor asociado, Departamento de Ciencias Histórico-Jurídicas, Facultad de Derecho UAB. Miembro del Comité Internacional para la regulación del armamento robótico (ICRAC). Delegado en la Convención sobre ciertos tipos de armamento convencional de Naciones Unidas (CCW-UN). Correo electrónico: <joaquin.rodriguez@uab.cat>.
LA NUEVA HUIDA DEL DERECHO ADMINISTRATIVO A TRAVÉS DE LA INTELIGENCIA ARTIFICIAL: LOS SISTEMAS DE ARMAS AUTÓNOMOS LETALES
Roser Martínez Quirante*
INTRODUCCIÓN
LA INTELIGENCIA ARTIFICIAL Y EL DERECHO
El Estado de derecho en la nueva sociedad algorítmica tiene el reto de garantizar la interrelación entre el derecho a la seguridad humana y el derecho a la información. Para ello debe enfrentarse a una profunda transformación, reordenando jurídicamente sus estructuras y sus conceptos clásicos, como consecuencia del desarrollo y avance de la inteligencia artificial en todos los campos de nuestra vida (Skinner, 2018).
Sabemos que la inteligencia artificial (IA) es una combinación de algoritmos creados con el propósito de crear sistemas computacionales que alcancen capacidades humanas (independientes del humano) a través de un proceso que incluye aprendizaje (adquisición de información, datos y reglas), razonamiento, autocorrección y, en último término, automejora (Tegmark, 2018).
Pero para el derecho hay dos tipos básicos de IA. En primer lugar, la que utiliza la lógica a través de algoritmos que usan los principios racionales del pensamiento humano. En segundo lugar, la que se basa en redes neuronales artificiales que también funcionan con algoritmos pero que están diseñadas para que el sistema aprenda recursivamente (Deep learning o aprendizaje profundo) y pueda tomar decisiones que evolucionen en el tiempo.
Actualmente, la mayoría de los proyectos de IA que utiliza la administración pública para llevar a cabo sus fines en el orden social se basan en algoritmos del primer tipo, destinados a resolver problemas a través del procesamiento de capas y capas de información que son objeto de tratamiento más veloz y más eficiente que el que podría llevar a cabo un ser humano. La Comisión de la UE así lo aconseja en su Comunicación sobre IA de 2018 según la cual es necesario poner “el poder de la IA al servicio del progreso humano” (COM [2018] 237-final, de 25 de abril de 2018).
Sin embargo, aunque al parecer la IA profunda (la que puede evolucionar con el tiempo y automejorarse recursivamente) no está implementada aún de forma extensa, sí empezamos a ver ámbitos públicos donde se está probando su eficacia.
Ciertamente, los poderes públicos utilizan cada día más este tipo de operaciones cibernéticas complejas para tomar decisiones regladas y automáticas, equivalentes, en lo sustancial, a la manera en que los seres humanos procesamos la realidad y la transformamos (Ramió, 2019).
El derecho debe contemplar este nuevo escenario y asumir las nuevas implicaciones y consecuencias “del empleo de estas capacidades de inteligencia artificial para delegar en ella la toma de decisiones en su integridad a medida que se vayan mostrando mejores, más eficientes y capaces que las tomadas por inteligencias humanas tradicionales” (Boix, 2020). Deberemos estar alertas porque se va a tratar de una nueva “huida”, en este caso no del derecho administrativo, sino de la decisión humana en pro de la aplicación de un algoritmo o de la utilización de redes neuronales artificiales.
El problema surge sobre todo cuando las decisiones que toman los poderes públicos no son regladas o automáticas, sino que requieren la intervención de reconocimientos de voz, reconocimientos faciales, de patrones, etc. y pueden derivar en consecuencias irreversibles. Nos referimos a la posibilidad de que el gobierno, investido de potestades discrecionales para la defensa nacional, delegue poderes exorbitantes como la de acabar con vidas humanas, a sistemas artificialmente inteligentes “huyendo” de sus competencias inherentes que son irrenunciables e indelegables. Se trata de la introducción de nuevos agentes inteligentes a través del uso de los SAAL (o LAWS, Lethal Autononomous Weapons Systems, por sus siglas en inglés) máquinas de matar que pueden llegar a actuar sin control humano significativo (Martínez y Rodríguez, 2018).
LA APARICIÓN DE LOS SAAL SIN CONTROL HUMANO SIGNIFICATIVO
La definición de SAAL no está internacionalmente acordada ni regulada1 pero vendría a ser toda aquella arma que, con IA, selecciona, ataca y destruye objetivos que cumplen con unos parámetros predefinidos, y que una vez activada la orden no existe posibilidad humana de detenerla.
Los sistemas autónomos letales desarrollados hasta el momento, en forma de artefacto volador (dron), terrestre (robot) o acuático, deberían depender de la supervisión o del juicio humano previo en al menos alguna de sus fases críticas (selección de objetivos, ataque o anulación de la orden de eliminar el objetivo). Los humanos deberían desempeñar sin lugar a duda un papel crucial en el proceso de selección de objetivos y toma de decisiones cuando se utiliza un arma, por mucha inteligencia (artificial) que se le atribuya.
Sin embargo, escudándose en un uso militar de defensa nacional, se investigan y se desarrollan sistemas letales con autonomía total que podrían llegar a crear un panorama Black Mirror, puesto que ya no se trata de analizar el uso de armas automáticas o de sistemas comandados por control remoto, sino que se trata de armas que podrán decidir basados en los datos que en cada momento manejen.
Actualmente prevalece una situación de práctica arregulación de estas armas autónomas robotizadas, lo que permite, por inactividad de los Estados anómicos (Waldman, 2006), una suerte de carrera competitiva sin ley entre potencias frente a la que los juristas no podemos permanecer como meros espectadores esperando un desastre anunciado.
Este desarrollo tecnológico en armas inteligentes sin control humano significativo no sólo amenaza el equilibrio ya de por si inestable de la seguridad global, en un contexto en el que el derecho aún no se ha pronunciado de forma vinculante para la comunidad internacional, sino que puede amenazar a la misma seguridad interna de un país, como veremos más adelante (Scharre, 2018).
¿PORQUÉ LA UTILIZACIÓN DE LOS SAAL ES TAN ATRACTIVA PARA LOS PODERES PÚBLICOS?
Los SAAL con control humano significativo pueden tener evidentes ventajas militares puesto que analizan capas de datos con mayor rapidez, y su respuesta es más precisa e instantánea (p. ej. los sistemas de defensa Phalanx, Mantis o Iron Drome). Los sistemas letales no tripulados pueden ampliar el campo de batalla sin arriesgar la vida de los propios soldados, sin que les afecten los factores físicos, emocionales o morales y además son más rápidos y económicos que los despliegues militares convencionales (p. ej. dron Loyal Wingman). Es decir, la distancia espacial entre el campo de batalla y los comandantes con competencias operacionales reduce costes personales y materiales y, además, la ausencia de sentimientos de venganza, odio o miedo de una máquina puede ofrecer una ventaja táctica en el combate.
Sin embargo, se está demostrando que estos sistemas inteligentes letales son propensos al error porque los entornos en los que operan son complejos (no siempre se requieren acciones automáticas); lo acontecido en Yemen, Irak y Pakistán nos muestra lo trágica que puede llegar a ser la decisión de un algoritmo en un proceso automático si no interviene el juicio de un humano.
En este sentido, deben tenerse en cuenta los mitos de la IA que describe Rodríguez Álvarez para no atribuir más ventajas que las que realmente tiene esta tecnología (Rodríguez, 2018). Entre las falacias que el autor destaca está la de que la IA puede tomar decisiones de forma más efectiva, más fiable, más ecuánime y justa que un humano. Es totalmente erróneo, porque la IA reproduce por emulación los sesgos cognitivos de sus creadores, es decir tiende a reproducir la falta de imparcialidad que, de forma inconsciente, trasmite la persona que construye el sistema computacional algorítmico. La experta Cathy O’Neil en su obra Armas de destrucción matemática alertó en su día que creer en la infalibilidad de los algoritmos puede llevarnos a resultados dramáticos (O’Neil, 2017). Además, se ha hablado incluso de los riesgos de desarrollar en quienes manejan estas armas una mentalidad Playstation cuando se trata de proceder al ataque, que deshumaniza el conflicto y convierte la muerte en algo banal (Gutiérrez y Cervell, 2013).
Por otro lado, la facilidad para cometer abusos ha llevado a ejecuciones selectivas extrajudiciales, sumarias o arbitrarias por parte de algunos ejércitos de grandes potencias mundiales a través de esta tecnología. Y lo harán más aún en una sociedad donde los SAAL sean de uso dominante por parte de nuestros gobiernos a través de sus políticas militares.
Hasta ahora los sistemas armados ya disponen de hardware y software específico para funcionar. Su automatización proviene de algoritmos bien desarrollados que permiten operar de forma más rápida que un humano porque procesan la información mucho más rápidamente.
Pero el nuevo escenario se dará cuando estas armas, debido a un avance en la IA, dispongan de redes neuronales complejas y tengan la capacidad de aprender de los datos que obtienen “en la nube” para automejorarse. El autoaprendizaje de los sistemas armados comporta que emulen el funcionamiento del cerebro y se alimenta continuamente con nuevos datos, creando nuevas conexiones.
Por tanto, los SAAL se están comenzando a considerar “agentes racionales” dotados de inteligencia artificial que les permite adaptarse a contextos cambiantes, aprender durante el ciclo de su existencia y realizar tareas con diferentes grados de autonomía (Russel et al., 2010).
En este caso, a estos “agentes inteligentes” ¿se les puede atribuir la capacidad de decidir en entornos complejos cuando la potestad es consustancialmente discrecional?
Para responder a esta pregunta, hemos de ver si hay verdaderamente un acto administrativo discrecional de decisión de acabar con la vida de otro en un conflicto bélico o el control humano significativo se refiere a un conjunto de decisiones conexas con diferente naturaleza jurídica según sea un comandante, un político o un simple soldado el responsable de ello.
CONTROL HUMANO SIGNIFICATIVO VERSUS DECISIÓN AUTÓNOMA DE ATACAR
El grupo de expertos gubernamentales de la Convención de Armas Convencionales (CCW) que nos reunimos desde 2014 en la sede de Naciones Unidas en Ginebra para aprobar un instrumento vinculante que limite esta tecnología, no hemos podido encontrar aún un significado exacto al concepto de “control humano significativo”, que gira en torno a la acción directa que puede ejercer el operador sobre el arma en el momento de una ejecución bélica.
Hemos de tener en cuenta que aparecen dos términos importantes en este complejo ámbito decisorio: el mando y el control.
El mando hace referencia a la autoridad de las Fuerzas Armadas de dirigir, coordinar, asignación de tareas y control de las fuerzas militares. El mando despliega decisiones estratégicas globales.
Por otro lado, el control se refiere a la autoridad de un oficial sobre una parte de las actividades militares y aquí se suelen desplegar las decisiones operacionales y tácticas. En este nivel, el oficial tiene el objetivo de transformar los objetivos establecidos por el mando superior en operaciones concretas. Posteriormente, el nivel táctico concreta el uso específico de las fuerzas militares.
En todos esos niveles se puede establecer la decisión de desplegar un sistema autónomo letal de un modo u otro, e incluso podemos decir que el control humano significativo debería exigirse en los tres niveles: estratégico, operacional y táctico, mediante el factor de comunicación bidireccional. Sin embargo, esa misma complejidad a la hora de establecer cuándo y cómo, está haciendo difícil el acuerdo no sólo internacional, sino para una regulación interna en los diferentes estados.
LA DECISIÓN DE DISPARAR A PARTIR DE UN ALGORITMO: LA RELACIÓN ENTRE LA ADMINISTRACIÓN CIVIL Y LA MILITAR
Como hemos visto, en las fases operacionales y tácticas se pueden producir situaciones complejas en las que el humano no puede actuar con la rapidez que se requiere. Por ello, a veces se acude a sistemas armados automatizados, y otras veces a sistemas semiautónomos, autónomos supervisados y completamente autónomos, que gracias a algoritmos procesan la información a una velocidad imposible para el hombre. El Comité Internacional de la Cruz Roja, en el último censo realizado en 2018, contabilizó unos 130 sistemas de armamento autónomo en el mundo (Roff, 2016), aunque otros recuentos los aproximan a 300 (Rodríguez et al., 2019). Entre éstos se incluirían sistemas armamentísticos semi-autónomos (puesto que estarían sometidos a supervisión humana en algunas fases clave como la selección de objetivos) como podrían ser los misiles Patriot, o drones como el modelo Reaper, pero muchos de ellos con posibilidades de llegar a tener autonomía total.
Así pues, según Scharre el rol del militar puede ser más o menos importante según sea:
1) El operador esencial en un sistema armado: la máquina no puede operar sin el humano. La detección, persecución y fijación del objetivo está automatizada por los algoritmos, pero el comandante es quien toma la decisión de verificar el objetivo y autoriza el ataque en un tiempo determinado (p. ej. C-RAM para la protección de bases aéreas, o el sistema antiaéreo MANTIS, que detecta drones y misiles).
2) Un fail-safe: el hombre fija las amenazas que deberían atacarse y las que deberían ignorarse, supervisa la operación y la puede cancelar, pero la máquina actúa de forma autónoma gracias a los algoritmos desde la detección e identificación del objetivo, hasta el ataque (p. ej. Phalanx, sistema de armamento de proximidad contra misiles antibuque; el Thophy que detecta misiles y granadas propulsadas o el Arena contra misiles antiblindaje).
3) Agente moral: el hombre sólo toma una decisión general de activar el sistema y éste decide a través del análisis de los datos que va adquiriendo de forma autónoma puesto que no hay comunicación entre ellos (p. ej. el dron israelí Harpy, con munición merodeadora para atacar defensas aéreas, es capaz de identificar personas y atacarlas o no si las considera combatientes y sus sensores evalúan los daños posteriormente; también el robot centinela Samsung SGR-A1 puede detectar soldados enemigos y les puede disparar sin intervención humana) (Scharre, 2018).
4) Un mero espectador: cuando el sistema armado está compuesto por algoritmos y redes neuronales artificiales que lo capacitan para ser completamente autónomo para decidir cuándo, cómo y dónde está el objetivo que se va a abatir. Un sistema así podrá crear o/y modificar sus objetivos, incorporando la observación de su entorno y la comunicación con otros agentes. Sus capacidades son: autodeterminación, autocompromiso, comunicación autónoma con otros sistemas, automodificación de objetivos basada en información adquirida de fuentes autónomas, planificación de objetivos, aprendizaje y adaptación constante.
En los casos segundo y tercero, si la decisión no es automática, sino que existe un componente discrecional y además ésta se delega a un sistema autónomo, pudiendo escoger el sistema entre varias soluciones posibles y válidas, entonces debemos advertir un problema para el derecho que no está preparado para regular las consecuencias de dichas acciones. Ahora bien, en el supuesto cuarto, el problema ya no se centra sólo en el derecho, sino que amenaza la propia supervivencia de nuestra sociedad.
Se trata de la posible quiebra de los principios más básicos de las potestades públicas, porque se estaría atribuyendo a un ser computacional artificial, sin humanidad, la potestad de decidir, en un conflicto, a quién abatir basado en el “interés general”. Se le estaría atribuyendo una licencia para matar que en caso de conflicto bélico es exclusiva del poder público y para la defensa nacional en circunstancias excepcionales.
Así, ¿se hace necesaria una revisión del derecho de la administración civil o de la militar?
RELACIÓN ENTRE LA ADMINISTRACIÓN CIVIL Y LA MILITAR EN LA ATRIBUCIÓN DE POTESTADES EXORBITANTES DISCRECIONALES
Hasta ahora, el uso de SAAL se justifica en la potestad de defensa nacional que tiene atribuida el Estado. Desde esta perspectiva la administración militar, como rama específica de la administración pública, bebe del derecho constitucional en cuanto a sus principios programáticos y del derecho administrativo en cuanto a su organización y caracteres entre los cuales está la “especial discrecionalidad de sus potestades” (Guaita, 1960).
En este sentido, la administración civil realiza actos de gestión de los intereses públicos y la militar, actos de fuerza, de imperio por “hombres de armas”, concepto clásico reconocido por la doctrina. Respecto de estos últimos hay que analizar su alcance y hasta qué punto sus decisiones deben quedar en manos humanas.
El especialista en derecho militar, Guaita, destacó en su día que
[…] la Administración militar (auxiliar de la civil) […] debe asegurar y hacer posible que se presten y se satisfagan las necesidades generales con las garantías constitucionales […] Las decisiones más graves, que se salen del marco de los simples actos administrativos para constituir actos políticos, como la declaración de guerra, la firma de paz, etc. se confían al Parlamento. […] Pero cuando hay una crisis jurídico-política, […] y se declara en el país el estado de guerra, todo lo concerniente al orden público y a la seguridad interna pasa a ser (en virtud de un fenómeno de ósmosis jurídica) de la competencia de la administración militar, a la que queda sometida en esta materia y por completo la administración civil (Guaita, 1960).
Entre la doctrina administrativa es unánime hasta ahora la idea de que “la defensa nacional requiere una maquinaria humana”, porque las complejas y exorbitantes potestades discrecionales que se le atribuyen requieren de una rendición de cuentas muy jerarquizada.
En palabras de Guaita
[…] entendemos nosotros, con López Rodó que la potestad discrecional no implica, como decía Merkl, la ejecución de una norma superior […] sino un criterio de valoración, de oportunidad, en suma, de discreción, que nadie como la Administración, perito del interés público, puede tener. […] Esta discrecionalidad, que de hecho es consustancial a la idea misma de Administración, está mucho más acentuada en la militar que en la civil. […] La Administración militar es el reducto irreductible donde la discrecionalidad continúa teniendo un gran campo de aplicación (Guaita, 1960).
Los ejércitos son institutos armados, con lo cual, el principio jerárquico es un principio orgánico insoslayable para la administración militar. La desobediencia o insubordinación de un funcionario militar hacia su superior puede revestir de una gran gravedad, aspectos que se deben tener en cuenta cuando aparece en escena un nuevo elemento distorsionador: un sistema armado autónomo que tenga la posibilidad de decidir cómo actuar, y en el fondo, que pueda llegar a autodeterminarse (Frischmann y Selinger, 2018).
LA MUERTE A MANOS DE UN DRON AUTÓNOMO CON IA NO ES UNA MUERTE DIGNA
En los conflictos armados, derecho a la vida significa derecho a no ser asesinado de forma arbitraria o caprichosa, inexplicable o inhumana o como daño colateral, es decir, se protege el derecho a la dignidad humana. Se puede decir que la dignidad humana es un derecho más importante que el derecho a la vida, porque éste puede perderse o soslayarse más fácilmente: en una sociedad civilizada puede haber ejecuciones legales, pero éstas deben ser humanas y dignas (Lin et al., 2017).
Alemania posee una de las concepciones legales más desarrolladas respecto a la dignidad humana: el artículo 1 de su Constitución establece que la dignidad humana es inviolable e incluso más importante que el derecho a la vida incluido en el artículo 2, que puede perderse bajo ciertas condiciones. Según la Carta Magna alemana, la dignidad humana es intangible, por lo que respetarla y protegerla es obligación de todo poder público. En 2005, la ley de Seguridad del Transporte Aéreo de ese país autorizó a sus fuerzas armadas a derribar aviones comerciales sospechosos de haber sido secuestrados por terroristas. Si un avión fuese con rumbo a colisionar con un edificio, derribar el avión y sacrificar a los pasajeros se consideraría un mal menor con respecto a permitir que el vuelo continuara y matara a miles de personas en tierra. Pero en 2006 el Tribunal Constitucional Federal anuló esta ley por inconstitucional, ya que trataba a las personas como objetos; como parte del propio avión y no como individuos que merecen respeto y consideración. Tal y como apunta Lin, “la ley también habría tratado a las personas como números o estadísticas, predeterminando sus muertes por la posibilidad de salvar un mayor número de vidas no identificadas. Y hay algo malo —algo irrespetuoso y deshumanizador— en hacer ética solo por números” (Lin (2017). Los sistemas autónomos letales no reconocen a las personas como seres humanos, sino como simples objetos o, peor aún, como bytes de información; y el tribunal alemán consideró de forma contundente que la sociedad civilizada no podía tratarlas del mismo modo.
El temor a un futuro distópico parece una razón legítima para una prohibición total o una moratoria de las armas autónomas letales mediante la aplicación del principio de precaución, pero a fin de defender esa posición deben fortalecerse previamente la noción de dignidad humana y la cláusula Martens, así como los conceptos relacionados con el control humano significativo (Lin, 2017). Recordemos que la aplicación de la Cláusula Martens implica que las tecnologías emergentes sean juzgadas según los principios de la humanidad y los dictados de la conciencia pública cuando no estén ya cubiertas por otras disposiciones de los tratados.
Aunque esta tecnología pudiera llegar a ofrecer resultados mejores basados en un cálculo de coste-beneficio o llegara a conseguir comportamientos humanos, debe prohibirse por razones éticas y legales. Heyns, que tiene la misma opinión, la fundamenta en la concepción de Kant de la dignidad humana, según la cual las personas tienen derecho inherente a ser tratadas como seres humanos únicos y completos, especialmente cuando sus vidas están en juego. Esa dignidad humana quedaría negada si las víctimas que quisieran apelar a la humanidad de su verdugo no pudieran por tratarse de un ser artificial. El Poder Ejecutivo debe ofrecer el debido respeto a la dignidad de la persona considerando su caso concreto y haciendo valoraciones y ajustes constantes. Y nada de ese law enforcement con las características de las capacidades humanas pueden asegurarlo las armas autónomas, ya que faltaría el juicio humano adecuado en su actuación.
ESTADO DE EXCEPCIÓN ALGORÍTMICO: LA SOLUCIÓN PASA POR LA REGULACIÓN Y EL CONTROL DE LOS ALGORITMOS
McQuillan (2015) advierte con acierto que el análisis, la vigilancia y la acumulación masiva y pormenorizada de datos a través de sistemas inteligentes están conduciendo a cambios en la gobernanza y daños en el núcleo de la sociedad civil. Se refiere a ello como “la implantación de estados de excepción algorítmicos” (Heyns, 2016).
Vivimos, y no nos damos cuenta, en un Estado policial artificialmente inteligente. Hasta el mismo Mark Zuckerberg, CEO de Facebook, reconoció implícitamente ante el Congreso estadounidense que estamos ante un Estado anómico y que es preciso uno regulador que no lo fíe todo al libre mercado: “That federal regulation of Facebook and other Internet companies is inevitable” (Kang y Roose, 2018). Será a través de esta legislación federal estadounidense que se produzca una proyección internacional y, al final, una globalización, ya que podría tener efectos extraterritoriales sobre otros países, como ha ocurrido con la Foreign Corrupt Practices Act de 1977 (FCPA).
Sin embargo, hasta el momento no existen instrumentos internacionales legalmente vinculantes o incluso leyes nacionales que prohíban el desarrollo, producción y uso de los llamados robots asesinos.
Los fallos del mercado hicieron que el derecho interviniera, y esa necesidad vuelve a ser acuciante. La única garantía de progreso y sostenimiento de los derechos ciudadanos ante la inteligencia artificial en los drones autónomos es la regulación.
Pero la regulación no sólo de las funciones de los sistemas sino también de los algoritmos y de sus limitaciones. Se ha defendido que los algoritmos empleados en los sistemas armados por parte de la administración pública civil o militar (en sus funciones de garantizar la seguridad) para la adopción de decisiones letales, podrían considerarse reglamentos. En este sentido, los algoritmos cumplirían “una función material estrictamente equivalente a la de las normas jurídicas, al reglar y predeterminar la actuación de los poderes públicos” (Boix, 2020). Pero si es así, deberían cumplir con las mismas garantías que cualquier otra norma de rango reglamentario, es decir, ser inalterables, ser públicos y ser recurribles. Y lo cierto es que no es así. Los sistemas dotados de inteligencia artificial evolucionan porque se enriquecen de los datos que ofrece la nube, tienen un efecto black box, resultan ser indescifrables y los destinatarios no pueden recurrirlos.
Los sistemas de computación actuales utilizados en el mundo del derecho van a afectar las bases de la misma ordenación jurídica. Boix Palop ya alertó de los riesgos derivados de utilizar algoritmos en la toma de decisiones públicas bajo el argumento de una mayor eficiencia (Boix, 2007).
Sólo podremos regular los SAAL si conocemos las implicaciones de estas nuevas posibilidades algorítmicas, su funcionamiento y sus consecuencias (deseadas y previstas… o no).
Boix ha alertado de la utilización de los algoritmos para la toma de decisiones de este tipo
[…] dada la magnitud del riesgo en cuestión, que puede tener consecuencias extintivas para la especie humana, y la irreversibilidad de la pérdida de control sobre estas inteligencias a partir de un determinado momento del proceso. Por ello quizás no sólo haya que atender al principio de precaución en su declinación más tradicional, sino ir más allá e integrar la propia noción de precaución en una formulación más radical adaptada a todas las necesidades y exigencias del nuevo entorno (Boix, 2020).
NO CABE DELEGAR LA POTESTAD DISCRECIONAL DE MATAR A LOS DRONES AUTÓNOMOS LETALES
Por todo lo expuesto, el derecho debe valorar la prohibición de los sistemas autónomos letales, ya que una vez activados podrían seleccionar objetivos y acabar con la vida de las personas, de forma irrevocable y sin intervención humana, lo que supondría el otorgamiento de una facultad administrativa contraria al ordenamiento jurídico nacional e internacional.
La supresión de una vida humana sólo se puede justificar legal o moralmente si no es arbitraria. Pero para no ser considerado arbitrario, el acto letal del agente debe basarse en una decisión informada y en un juicio humano cognitivo, pues sólo la toma humana de decisiones garantiza el pleno reconocimiento del valor de la vida individual y de la importancia de su pérdida. Sólo en ella entran en juego todos los complejos estándares modernos del derecho humanitario: proporcionalidad, compasión, utilización de métodos menos gravosos o restrictivos, cuidado constante, caballerosidad… y del derecho administrativo. En consecuencia, las acciones de los SAAL no son legítimas ni moralmente justificables y deberían estar prohibidas con arreglo al principio de dignidad humana y al ius cogens, que como norma imperativa contiene las normas fundamentales del derecho humanitario (Bhuta et al., 2016). Pero, además, el derecho administrativo en su concepción más amplia no debería permitir su utilización como armamento convencional de su personal civil o militar, porque no cabe delegar a un algoritmo que tenga una aplicación discrecional, la potestad de acabar con la vida de seres humanos.
LOS DRONES CARECEN DE INTUICIÓN
El derecho, por otro lado, no pone como requisito un elemento cognitivo fundamental, la intuición humana, cuando regula las facultades públicas discrecionales en la toma de decisiones, quizá porque da por hecho que son los seres humanos quienes las llevan a cabo. Pero los SAAL pueden ser destinatarios hipotéticos de dichas atribuciones, por lo que debe analizarse si disponen de las capacidades que el derecho reclama y si por lo tanto pueden ejercer tales potestades cuando está en juego la vida de una persona.
Sea como sea, la intuición forma parte de nuestra misma esencia como humanos y de la de todas nuestras acciones, y ha jugado siempre un papel fundamental en la resolución de los conflictos violentos. Y los drones autónomos pueden estar dotados de mecanismos de imitación e incorporar procesos de tipo integrativo y cognitivo, pero no fenomenológicos. No podrán ser nunca intuitivos ni sentir emociones, sino sólo replicarlas (Howard, Zhang y Horvitz, 2017). Como señala el neurocientífico G. Rizzolatti, descubridor de las neuronas espejo, “los robots pueden imitar, no sentir” (Rodella, 2018). Y si es así, si los algoritmos incluidos en drones, o en otro tipo de tecnología robótica, no pueden alcanzar las características humanas necesarias para tomar decisiones discrecionales trascendentales referidas al ejercicio de la fuerza legítima contra las personas, no debería aceptarse el traspaso de tales competencias a los sistemas autónomos.
La potestad no ya de defender al Estado que los ha creado de ataques exteriores de otras naciones, sino de decidir que el enemigo está dentro del mismo Estado y que debe combatirlo segando vidas, reviste tanto imperium que no puede ser otorgada a seres artificiales sin emociones, sin intuición, humanas.
Ücretsiz ön izlemeyi tamamladınız.