Como ocurriera con la princesa fenicia secuestrada por Zeus, de cuyo nombre proviene el del continente, los sueños europeos han sido capturados con malas artes por quien manda e impone las reglas del juego, aunque quepa sospechar en este caso si no habrá sido la propia princesa la que se subió a lomos del toro a sabiendas.

El rapto de Europa es el título del número 171 de la revista Papeles de relaciones internacionales y cambio global que explora la situación actual de la Unión Europea, evocando sus principios fundadores y analizando los principales problemas que ha encontrado después de más de setenta años, el experimento de integración institucional de naciones soberanas más original que se ha realizado hasta ahora.

Abre el número la Introducción de Santiago Álvarez Cantalapiedra, La captura de Europa aborda

A fondo reúne seis ensayos que abordan las principales cuestiones que tiene hoy planteadas la UE. José Antonio Nieto Solís realiza una retrospectiva de la andadura del Unión y lanza una breve mirada al futuro. Joám Evans Pim examina la dependencia de las materias primas minerales de la UE hasta el punto de securitizar su acceso. Tica Font y Pere Ortega revisan el plan de rearme europeo. Andreu Domingo explora el cambio demográfico en Europa, las políticas migratorias y los discursos de involución en la UE. Mónica López sigue indagando en las política de inmigración, pero ahora desde el punto de vista del asilo y el refugio y como ha evolucionado desde la firma del Tratado de Maastrich en 1993. Angelina Giannopoulou cierra la sección con un análisis sobre los aspectos políticos del proceso de integración, su involución institucional que contrasta con los movimientos de solidaridad internacionalistas de la izquierda y de los movimientos de resistencia a escala europea.

Actualidad recoge un análisis de Jordi Mir sobre la larga historia en la reivindicación del derecho a la vivienda. Por su parte, Rodrigo Rogelis explora los derechos de la naturaleza y las nuevas gobernanzas a través del caso de personalidad jurídica del río Atrato, en Colombia, y su consejo de guardianes.

La sección Experiencias nos trae una entrevista de Ana García Juanatey a Pia Hollenstein, fundadora y miembro de KlimaSeniorinnen que protagonizó el sonado caso de condena del Tribunal Europeo de Derechos Humanos al Estado suizo por la desprotección de colectivos vulnerables, como las mujeres mayores, ante el cambio climático.

Ensayo se abre con un texto de Jonatan Palmblad sobre instrumentalidad y personalidad ecológica. Marc Chopplet reflexiona, por su parte, sobre las humanidades y las ciencias sociales ante la inteligencia artificial, y se pregunta sobre su posible extinción.

El número se cierra, como es habitual, con la sección Lecturas.

A continuación, ofrecemos el Sumario de la revista con el acceso al texto de la introducción y al artículo firmado por Angelina Giannopoulou.

SUMARIO

INTRODUCCIÓN

La captura de Europa,  Santiago Álvarez Cantalapiedra

A FONDO

La UE en retrospectiva: ¿vendrán tiempos mejores?,  José Antonio Nieto Solís

La securitización de las materias primas minerales en la UE: porqué Europa no es inmune a la maldición de los recursos, Joám Evans Pim

El rearme militar de Europa, Tica Font y Pere Ortega

Cambio demográfico, políticas migratorias y discurso de la involución en la UE, Andreu Domingo

Política de inmigración y de asilo europea: ¿igualitaria y solidaria?, Mónica López

Desarmados de visión, armados hasta los dientes, o una Europa democrática, verde y social, Angelina Giannopoulou

ACTUALIDAD

Derecho a la vivienda: una la larga disputa, Jordi Mir

Guardianes del río Atrato: derechos de la naturaleza y la construcción de nuevas gobernanzas, Rodrigo Rogelis

EXPERIENCIAS

Entrevista a Pia Hollenstein, fundadora y miembro de KlimaSeniorinnen, Ana García Juanatey

ENSAYO

Instrumentalidad y personalidad ecológica: ¿Con qué finalidad?, Jonatan Palmblad

Inteligencia artificial y humanidades y ciencias sociales, ¿en vías de extinción?, Marc Chopplet

LECTURAS

Dialéctica de la ecología. socialismo y naturaleza, de John Bellamy Foster

Pedro L. Lomas

Ecotopías. Imaginar el futuro para cambiar el presente, VV.AA.

Manuel Casal Lodeiro

Climas de cambio. Las nuevas sociedades del calentamiento global, de José Antonio Cortés Vázquez

Nuria del Viso

Notas de lectura

RESÚMENES

Información y compras:

Tel.: +34 914310280

Email: publicaciones@fuhem.es

Puedes adquirir la revista PAPELES en nuestra librería virtual

La inteligencia artificial es una tecnología de vanguardia y de propósito general. Por su carácter genérico, plantea la posibilidad de reconfigurar el conjunto de las actividades económicas y, de esa manera, de relanzar la acumulación en un capitalismo aquejado por la baja rentabilidad y el poco dinamismo. Sin embargo, debido a las condiciones de su adopción –que es jerárquica, concentrada y fragmentaria– esa posibilidad queda actualmente anulada y su potencial tecnológico se ve refrenado.

Cristóbal Reyes Núñez escribe en la sección A FONDO del número 164 de Papeles de relaciones ecosociales y cambio global sobre el impacto económico de la inteligencia artificial. 

La inteligencia artificial es una de las fronteras del desarrollo tecnológico en la sociedad contemporánea. Durante la década más reciente ha sido una de las áreas de desarrollo tecnológico más dinámicas. Año tras año, las grandes empresas tecnológicas realizan cuantiosas inversiones relacionadas con esta tecnología. Según el AI Index Report 2023,¹ en 2021 la inversión corporativa global en inteligencia artificial fue de 276.000 millones de dólares. Para tener un referente de esta magnitud, considérese que la inversión corporativa mundial en inteligencia artificial fue similar a la formación bruta de capital total de países enteros en 2021, como Turquía (257.000 millones de dólares), México (281.000 millones) o España (312.000 millones).² En 2013, la inversión en inteligencia artificial fue de 14.500 millones de dólares; en apenas ocho años la inversión corporativa en esta tecnología se multiplicó casi veinte veces. El acelerado crecimiento de las inversiones orientadas a la inteligencia artificial da cuenta del creciente interés y expectativas de rentabilidad por parte de las grandes corporaciones en torno a esta tecnología transformadora. En el periodo 2013-2022, los países que concentran las mayores inversiones privadas en esta tecnología son Estados Unidos y China, seguidos a la distancia por Reino Unido, Israel, India y Corea del Sur.

Por otra parte, un estudio reciente de McKinsey & Company³ prevé que la inteligencia artificial generativa –el tipo de inteligencia artificial más dinámico en la actualidad, presente en servicios como ChatGPT y DALL-E de OpenAI, Gemini de Google, entre otros– tiene el potencial  de generar ganancias corporativas de entre 2,6 y 4,4 billones (trillion, en notación inglesa) de dólares anuales, cifra similar al producto interno bruto de Francia, Reino Unido o Alemania en 2022.⁴ En el mismo estudio se estima que solo el uso de la inteligencia artificial generativa puede traer consigo incrementos en la productividad laboral de hasta 0,6% anual durante las décadas de 2020 y 2030; en su combinación con otras tecnologías, la inteligencia artificial generativa podría añadir hasta 3,3% puntos porcentuales al crecimiento de la productividad.

Como se puede deducir de la información proporcionada, hay grandes expectativas en torno a la inteligencia artificial por parte de las corporaciones. Considerando este optimismo corporativo, cabe preguntarse, ¿Cuáles son las características de esta tecnología? ¿Qué circunstancias tendrían que darse para que se cumplan estos pronósticos? ¿Qué nos dice al respecto la evidencia sobre las condiciones actuales de su adopción?

Inteligencia artificial: qué es y cuáles son sus principales capacidades

 Actualmente, la inteligencia artificial se entiende como «la capacidad de un sistema [computacional] para interpretar datos externos correctamente, aprender de dichos datos y usar esos aprendizajes para lograr metas y tareas específicas a través de la adaptación flexible».⁵ Las definiciones contemporáneas destacan tres características de los sistemas de inteligencia artificial:

• Aprendizaje: la capacidad de incorporar informaciones sobre entornos físicos y virtuales para mejorar su desempeño.
• Adaptación flexible: la capacidad de modificar adaptativamente su funcionamiento ante los nuevos y cambiantes datos que el sistema recibe de su entorno.
• Autonomía: entendida como la capacidad de ejecutar un conjunto de tareas sin intervención humana o con mínima intervención.

Los sistemas de inteligencia artificial representan un cambio cualitativo en la historia de la tecnología, pues se trata de los primeros sistemas tecnológicos cuyo funcionamiento mejora de manera automática y adaptativa por encima de sus capacidades iniciales. La capacidad de auto-mejoramiento adaptativo es una de las mayores novedades de los sistemas de inteligencia artificial en términos técnicos.

La capacidad de automejoramiento adaptativo es una de las mayores novedades de los sistemas de inteligencia artificial en términos técnicos

Pese a la enorme complejidad técnica implícita en los sistemas de inteligencia artificial (su ejecución requiere del procesamiento paralelo y distribuido de ingentes cantidades de información en centros de datos con millones de chips especializados de apenas cuatro nanómetros), la idea subyacente a su funcionamiento es relativamente simple: se usan métodos estadísticos y probabilísticos para identificar correlaciones en grandes series de datos con el objetivo de hacer predicciones y tomar decisiones de manera automatizada. Por ello, Agrawal, Gans y Goldfarb han caracterizado a los sistemas de inteligencia artificial como «máquinas predictivas».⁶

La inteligencia artificial: la próxima tecnología de propósito general

La importancia económica de la inteligencia artificial radica en medida importante en que es simultáneamente:

1) una tecnología de vanguardia –con lo cual redefine las fronteras del capital, así como sus capacidades de subsunción y apropiación–,

2) una tecnología de propósito general, es decir, susceptible de ser aplicada potencialmente en todas las actividades del quehacer humano.⁷

A continuación, se abunda en la segunda característica mencionada y en algunas de sus implicaciones.

El concepto de «tecnología de propósito general» se usa para referirse a tecnologías que son aplicables a todas las actividades humanas y que, en consecuencia, tienen un impacto generalizado en las economías y sociedades. Ejemplos relevantes de tecnologías de propósito general son la máquina de vapor, la electricidad y las computadoras, entre otras. El carácter genérico de la inteligencia artificial se suele tomar como un punto de partida para estudiar su impacto económico potencial y su relevancia para el conjunto de la sociedad. Debido a su uso transversal, apunta a reconfigurar el conjunto de los procesos económicos, políticos, sociales y culturales. Por esa razón, es común que se afirme que la inteligencia artificial es la «nueva electricidad»: de manera análoga a lo que sucedió a inicios del siglo XX con la electricidad, se prevé que en los próximos años la inteligencia artificial modificará sustancialmente la manera en que se llevan a cabo la mayoría de las actividades económicas y las prácticas sociales.⁸ Es esta característica la que hace que la inteligencia artificial se perfile como una de las tecnologías más importantes en las décadas por venir, mediante la cual se busca inyectar dinamismo a una economía capitalista aquejada por la baja rentabilidad y el lento crecimiento.

Pese a que históricamente las tecnologías de propósito general han funcionado como “motores de crecimiento” económico, sus repercusiones en la economía no son automáticas ni inmediatas. Por el contrario, la realización de su potencial económico requiere un mejoramiento continuo mediante innovaciones complementarias en productos, servicios, procesos y modelos de negocios.⁹ Por otra parte, aunque la atención académica y mediática se suele centrar en el proceso de innovación, para que una tecnología tenga un impacto sobre la dinámica económica no basta con que haya invenciones: es necesario que las tecnologías se apliquen ampliamente y alcancen un alto grado de difusión entre empresas y actividades económicas. Un ejemplo ilustrativo de que las innovaciones no necesariamente repercuten en la economía nos lo brinda la historia de la propia inteligencia artificial: pese a que en décadas previas hubo importantes innovaciones en el área –por ejemplo, los sistemas expertos en la década de 1980–, su impacto económico fue prácticamente nulo porque tuvieron escasas aplicaciones industriales o comerciales y se mantuvieron como un tema de investigación en los laboratorios universitarios.

Las investigaciones sobre tecnologías de propósito general previas sugieren que el impacto de la inteligencia artificial en la productividad, la rentabilidad y la acumulación solo se volverá palpable una vez que haya importantes innovaciones complementarias y –sobre todo– cuando su uso alcance una amplia difusión. ¿Cuál es la situación actual de la inteligencia artificial en estos aspectos?

Avances en las innovaciones complementarias

Comencemos con lo relacionado con las innovaciones complementarias. Mucho se ha discutido sobre las razones por las cuales la adopción de la inteligencia artificial no se ha traducido hasta ahora en aumentos de la productividad en el conjunto de la economía . En un texto de 2019, Brynjolfsson, Rock y Syverson afirmaron que el bajo impacto de la inteligencia artificial sobre la productividad agregada se debía a rezagos en su implementación por falta de innovaciones complementarias que llevaran a nuevas formas de organizar los procesos, nuevos productos, nuevos servicios, etc.¹⁰ Un hito reciente en el desarrollo de la inteligencia artificial parece modificar esta situación al ampliar y diversificar sus usos comerciales.

La expresión más conocida de estas innovaciones que permiten múltiples aplicaciones concretas de la inteligencia artificial fue el lanzamiento de ChatGPT por OpenAI en noviembre de 2022. La presencia de este chatbot de inteligencia artificial generativa en el debate público ha sido tan persistente que el semanario británico The Economist consideró que la palabra más importante del año 2023 fue precisamente ChatGPT.¹¹ Sin embargo, el chatbot de OpenAI es solo el rostro más visible de un proceso más amplio: el desarrollo de los foundation models, o modelos fundacionales. El concepto de foundation models fue acuñado por el Stanford Institute for Human-Centered AI para referirse a un «paradigma emergente» en el diseño y producción de modelos de inteligencia artificial que sirven como base para el desarrollo de una amplia gama de aplicaciones complementarias y más específicas mediante «ajustes finos» (fine-tuning).¹²

A diferencia de los sistemas de inteligencia artificial previos, que eran rígidos en cuanto a sus capacidades y podían realizar solo una tarea específica y claramente delimitada para la que fueron diseñados (por ejemplo, identificar rostros en imágenes), los foundation models cuentan con mayor amplitud, adaptabilidad y capacidad para integrarse con otros sistemas de inteligencia artificial, lo que abre la posibilidad de que un mismo sistema sirva como base para el desarrollo de múltiples aplicaciones y para desempeñar diversas tareas.

Hasta ahora, los modelos fundacionales más importantes y conocidos se han desarrollado en el área de los grandes modelos de lenguaje, como el ya mencionado ChatGPT, Gemini de Google o LlaMA de Meta. No obstante, por su adaptabilidad y generalidad, los modelos fundacionales no funcionarán solo con texto sino que serán multimodales (es decir, funcionarán con texto, imágenes, sonido, video, etc.). El objetivo de las empresas tecnológicas es que los foundation models se puedan integrar con todo tipo de software, aplicaciones y hardware, para desempeñar las más diversas funciones en todos los ámbitos.

Los modelos fundacionales son un avance significativo en la generación de nuevos productos y servicios que permiten expandir el rango de tareas para las cuales se puede usar la inteligencia artificial.¹³ Además, representan un paso adelante en su implementación, pues ofrecen posibilidades de aplicación rentable de esta tecnología y ofrecen mayor flexibilidad para su adaptación, lo que puede contribuir a la ampliación de su uso.

Aun reconociendo los modelos fundacionales son un adelanto que facilita el uso de la inteligencia artificial, es preciso señalar que estas innovaciones se dan de manera altamente concentrada. En general, las grandes corporaciones tecnológicas –Alphabet, Amazon, Meta, Microsoft– definen las líneas generales del desarrollo de la tecnología y también llevan a cabo las innovaciones complementarias más importantes para su implementación; por su parte, los startups hacen mejoras incrementales que toman como base los avances y estándares establecidos por las big tech. En los casos en que empresas pequeñas logran avances significativos en el proceso de innovación y pueden representar una amenaza para los grandes capitales, entran en acción fuerzas centrípetas en beneficio de los gigantes tecnológicos, que refuerzan la disparidad existente; entre esas fuerzas centralizadoras se encuentran:

a) la adquisición de empresas

b) el establecimiento de alianzas estratégicas.

En el primer caso, un ejemplo destacado es la adquisición de DeepMind por Alphabet, la matriz de Google, en 2014; algunos de los sistemas de inteligencia artificial más importantes de Alphabet –como AlphaGo y AlphaFold– han sido desarrollados por DeepMind. En el segundo caso, un ejemplo de gran relevancia es la asociación entre Microsoft y OpenAI. Mediante esta alianza estratégica, OpenAI ha recibido inversiones por miles de millones de dólares por parte de Microsoft y tiene a su disposición una enorme capacidad de procesamiento en la nube para entrenar sus sistemas de inteligencia artificial. Esto ha permitido a OpenAI desarrollar sistemas que de otra manera sería difícil financiar, por los enormes costos de procesamiento requeridos. Por su parte, la alianza con OpenAI ha permitido a Microsoft ubicarse a la vanguardia de la disputa por el liderazgo en inteligencia artificial e incorporar aplicaciones de esta tecnología en sus servicios –como en el buscador Bing, en sus servicios de cómputo en la nube para empresas en Azure, entre otros. En los hechos, esta “alianza” implica la subordinación de OpenAI a Microsoft.

Concentración y centralización son el sello distintivo del proceso de innovación en inteligencia artificial, y conduce a que los beneficios resultantes se distribuyan de manera desigual.

Condiciones actuales de adopción de la inteligencia artificial: ¿hacia una mayor polarización?

Consideremos ahora las condiciones de adopción de la inteligencia artificial. Como hemos apuntado, para que la inteligencia artificial sirva como fuerza impulsora de la dinámica general de la acumulación, su uso debería alcanzar un alto grado de difusión. De lo contrario, si su aplicación y difusión son acotadas, sus repercusiones en la acumulación también lo serán. Dicho de otro modo, si su adopción se mantiene altamente concentrada en un conjunto reducido de empresas, permitirá la apropiación de ganancias extraordinarias, pero tendrá repercusiones limitadas sobre la dinámica general. Ahora bien, ¿cuáles son las condiciones actuales de su adopción?

En una investigación con información de la Annual Business Survey de Estados Unidos, Zolas y coautores encontraron que aun cuando las formas simples de la digitalización están ampliamente difundidas entre las empresas estadounidenses, el uso de tecnologías avanzadas –entre las que incluyen robótica, computación en la nube e inteligencia artificial– es sumamente concentrado y dispar:

la adopción de tecnologías avanzadas es poco frecuente y, por lo general, está sesgada hacia las empresas más grandes y antiguas. Los patrones de adopción son consistentes con una jerarquía de creciente sofisticación tecnológica.¹⁴

Por otra parte, un estudio reciente de la Oficina Nacional de Investigación Económica de Estados Unidos (NBER, por sus siglas en inglés) que trata específicamente sobre adopción de la inteligencia artificial mostró que menos de 6% de las empresas estadounidenses usan esta tecnología o están en periodo de prueba.¹⁵ Este estudio, el «más extenso y detallado» a la fecha,¹⁶ documenta que la adopción de la inteligencia artificial sigue un patrón jerárquico, pues aun cuando en promedio es muy baja se concentra de manera desproporcionada en determinados sectores y en un número reducido de empresas “muy grandes” (con más de 5.000 trabajadores). Adicionalmente, se señala que los sectores, empresas y regiones que hacen un uso más intenso de esta tecnología tienen un crecimiento de ingresos más acelerado, tasas de ganancia más altas y productividad dinámica, en contraste con los rezagados. Un informe de la consultora McKinsey & Company coincide en esta importante cuestión: hay un reducido grupo de empresas que lideran la adopción de la inteligencia artificial cuyos ingresos y ganancias aumentan a un ritmo más acelerado que el de sus competidoras.¹⁷ Al dar cuenta de las disparidades provocadas por su adopción, los autores del estudio de la NBER advierten sobre el riesgo de que se genere una «brecha de inteligencia artificial» [«AI divide»] entre empresas, industrias y regiones si esos patrones asimétricos persisten.

Las investigaciones referidas coinciden en que en Estados Unidos –país núcleo de las tecnologías digitales y sede de las mayores empresas del sector– tiende a conformarse una estructura productiva polarizada, compuesta por una vasta proporción de empresas con poca complejidad tecnológica frente a un núcleo reducido pero dinámico de grandes empresas con alta sofisticación tecnológica, dinamismo y mayor rentabilidad. Dadas las condiciones actuales de su adopción, la inteligencia artificial no tiene capacidad de totalización para arrastrar al conjunto de la economía, sino que genera una dinámica de polarización y desarrollo desigual.

Concurrentemente, Rivera, Araujo, García y Lujano han investigado las razones de la limitada adopción de las tecnologías digitales –de las cuales la inteligencia artificial es la forma más avanzada– entre empresas y sectores en Estados Unidos. En su análisis, ello se explica por un desacople entre el patrón tecnoeconómico digital y los factores socioinstitucionales vigentes en décadas recientes –durante el periodo que se suele denominar neoliberal–, que han fomentado y consolidado estructuras de mercado oligopólicas que dificultan la difusión tecnológica.¹⁸ Al respecto, los autores señalan que:

la falta de un adecuado marco socioinstitucional ha exacerbado los efectos polarizadores no deseados de concentración y expulsión entre «los que tienen» y «los que tienen más» activos digitales, así como las capacidades para obtener mayores ventajas de los cambios disruptivos».¹⁹

Sobre esa base, los autores consideran que el pasaje hacia la inteligencia artificial estará condicionado por factores económicos, sociales e institucionales que durante décadas han favorecido la monopolización de las tecnologías digitales.

Concentración y centralización son el sello distintivo del proceso de innovación en IA, lo que consolida las disparidades existentes entre empresas

Por último, cabe añadir que hay importantes disparidades entre empresas en la adopción y uso de la inteligencia artificial, además de las ya mencionadas en la innovación. En general las empresas usuarias de la inteligencia artificial no controlan las capacidades tecnológicas que permiten su uso, pues estas están concentradas en un reducido grupo de gigantes corporativos. Así, aun cuando su uso pueda alcanzar cierta amplitud, hay una marcada jerarquía entre las empresas productoras o proveedoras de inteligencia artificial –de manera destacada, Amazon Web Services, Google Cloud y Microsoft Azure–, que controlan monopólicamente las condiciones para su implementación, y aquellas que simplemente son usuarias. Adicionalmente, hay heterogeneidad entre empresas según la complejidad de su uso de esta tecnología: existe una brecha significativa entre una armadora automotriz que usa robótica avanzada con inteligencia artificial y una empresa que paga por publicidad personalizada. Estas disparidades involucran capacidades tecnológicas disímiles y desigualdad en la apropiación de ganancias entre empresas.

Consideraciones finales

Reconociendo que aún nos encontramos en una etapa temprana de la adopción de la inteligencia artificial y que el despliegue de las tecnologías de propósito general es un proceso complejo y demorado, en este texto se llamó la atención sobre una situación que es ostensible: las circunstancias actuales de su adopción, caracterizadas por un patrón jerárquico y concentrado, pueden condicionar su trayectoria y tienen importantes implicaciones en el corto y mediano plazo.

Como se mostró, la evidencia disponible muestra que la adopción de la inteligencia artificial es heterogénea, concentrada, polarizada y jerárquica.  Dadas estas características, su implementación tiende a reforzar las brechas de productividad existentes entre industrias y empresas, así como a generar las condiciones para la apropiación de ganancias extraordinarias y “rentas tecnológicas” por las empresas líderes. Dicho en otros términos, su adopción concentrada y fragmentaria tiende a conformar archipiélagos de alta productividad y apropiación de ganancias extraordinarias en medio de un mar de empresas y actividades poco productivas, con bajo dinamismo y exigua rentabilidad. En su conjunto, estas características de la inteligencia artificial tienden a consolidar la posición de las grandes corporaciones y sirven como una poderosa palanca para la centralización del capital.

Lo anterior se expresa en una paradoja: el enorme potencial tecnológico y económico de la inteligencia artificial, que probablemente es la tecnología más sofisticada desarrollada por el capital, se ve refrenado por las condiciones sociales de su adopción, que resultan de las propias contradicciones del capitalismo contemporáneo.

Cristóbal Reyes Núñez es economista y latinoamericanista por la Universidad Nacional Autónoma de México (UNAM), doctorante en el Programa de Posgrado en Estudios Latinoamericanos de la misma Universidad y profesor en la Escuela Superior de Economía del Instituto Politécnico Nacional (México).

NOTAS

1 Nestor Maslej et al., The AI Index 2023 Annual Report, Institute for Human-Centered AI – Stanford University, Stanford (CA), abril de 2023, disponible en: https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index-Report_2023.pdf. El AI Index Report, coordinado por el Human-Centered AI Institute de la Universidad de Stanford, es el esfuerzo más importante en la actualidad por recolectar y hacer disponible públicamente la información existente sobre esta tecnología. Entre las entidades participantes y financiadoras en su elaboración se encuentran la Universidad de Stanford, Google, OpenAI, la Fundación Nacional de Ciencia de Estados Unidos y McKinsey & Company.

2 Los datos sobre la formación bruta de capital se obtuvieron del Banco Mundial, serie «Gross capital formation (current US$)», disponible en: https://data.worldbank.org/indicator/NE.GDI.TOTL.CD?view=chart; consultado el 12 de diciembre de 2023.

3 McKinsey & Company, The economic potential of generative AI: the next productivity frontier,  junio de 2023, disponible en: https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier#/.

4 Según datos del Banco Mundial, serie «GDP (current US$)», disponible en: https://data.worldbank.org/indicator/NY.GDP.MKTP.CD?view=chart.

5 «Specifically, we define AI as a system’s ability to interpret external data correctly, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation» (Andreas Kaplan y Michael Haenlein, «Siri, Siri, in my hand: Who’s the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence», Business Horizons, núm. 62, 2019, p. 17, disponible en: https://doi.org/10.1016/j.bushor.2018.08.004).

6  Ajay Agrawal, Joshua Gans y Avi Goldfarb, Prediction Machines: The Simple Economics of Artificial Intelligence, Harvard Business Review Press, Cambridge (MA), 2018.

7 Manuel Trajtenberg, «Artificial Intelligence as the Next GPT: A Political-Economy Perspective», en Ajay Agrawal, Joshua Gans y Avi Goldfarb (eds.), The Economics of Artificial Intelligence. An Agenda, The University of Chicago Press, Chicago, 2019.

8 Shana Lynch, «Andrew Ng: Why AI Is the New Electricity», Stanford Graduate School of Business, 11 de marzo de 2017, disponible en: https://www.gsb.stanford.edu/insights/andrew-ng-why-ai-new-electricity.

9 Timothy F. Bresnahan y Manuel Trajtenberg, «General purpose technologies ‘Engines of growth’?», Journal of Econometrics, vol. 65(1), enero de 1995, pp. 83-108; Tyna Eloundou, Sam Manning, Pamela Mishkin y Daniel Rock, «GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models», arxiv, agosto de 2023, disponible en: https://arxiv.org/abs/2303.10130.

10 Erik Brynjolfsson, Daniel Rock y Chad Syverson, «Artificial Intelligence and the Modern Productivity Paradox: A Clash of Expectations and Statistics», en Ajay Agrawal, Joshua Gans y Avi Goldfarb (eds.), The Economics of Artificial Intelligence. An Agenda, The University of Chicago Press, Chicago, 2019.

11The Economist, «Our word of the year 2023», The Economist, 7 de diciembre de 2023, disponible en: https://www.economist.com/culture/2023/12/07/our-word-of-the-year-for-2023.

12 Center for Research on Foundation Models, «On the Opportunities and Risks of Foundation Models», Stanford Institute for Human-Centered Artificial Intelligence (HAI), 2021, disponible en: https://crfm.stanford.edu/report.html.

13 «The world that Bert built. Huge ‘foundation models’ are turbo-charging AI progress», The Economist, 11 de junio de 2022, disponible en: https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress.

14 «Advanced technology adoption is rare and generally skewed towards larger and older firms. Adoption patterns are consistent with a hierarchy of increasing technological sophistication» (Nikolas Zolas, Zachary Kroff, Erik Brynjolfsson, Kristina McElheran, David N. Beede, Cathy Buffington, Nathan Goldschlag, Lucia Foster & Emin Dinlersoz, «Advanced Technologies Adoption and Use by U.S. Firms: Evidence from the Annual Business Survey», NBER Working Paper Series, Working Paper 28290, Cambridge (MA), diciembre de 2020, disponible en: https://www.nber.org/papers/w28290).

15 Kristina McElheran et al., «AI Adoption in America: Who, What, and Where», NBER Working Paper Series, Working Paper 31788, Cambridge (MA), octubre de 2023, disponible en: https://www.nber.org/papers/w31788.

16 Ibidem, p. 3.

17 McKinsey & Company, The state of AI in 2022—and a half decade in review, diciembre de 2022, disponible en: https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2022-and-a-half-decade-in-review.

18 Miguel A. Rivera Ríos, Óscar D. Araujo Loredo, Josué García Veiga y J. Benjamín Lujano López, El capitalismo del quinto Kondratiev. Acumulación de capital, tecnología digital y procesos socioinstitucionales, Fondo de Cultura Económica, México, 2023.

19 Ibidem, p. 192.

Acceso al texto completo en formato pdf: Consideraciones sobre el impacto económico de la inteligencia artificial: ¿hacia una mayor polarización productiva?

El artículo comienza con la diferencia entre sistema de armas autónomas y sistemas de armas autónomas letales. Disponemos de muchos tipos de armas automáticas o automatizadas como los “sistemas antimisiles”, o sistemas de defensa activa o los usados en navíos de combate que, utilizando sensores, radares, y ordenadores detectan misiles y cuando están situados a menos de una cierta distancia, de manera automática disparan para destruir el misil, cohete de artillería o embarcaciones. Entre estos modelos estaría el escudo antimisiles ABM, diseñado para interceptar misiles enemigos antes de que lleguen a su destino.

Estos sistemas de armas utilizan algoritmos de toma de decisión precisos, establecidos mediante criterios del operador humano. En este grupo de armas tenemos las armas centinela, utilizadas por Corea del Sur o Israel, armas estacionadas en la frontera o en el muro Israel-Palestina. Suelen ser torretas dotadas de diversas clases de sensores y radares, conectadas a ordenadores y dotadas de diversos tipos de proyectiles que identifican vehículos o personas que se aproximan a zonas o franjas terrestres, en caso de detectar un intruso, le avisan y, si no retrocede, disparan.

Estos sistemas de armas automatizados tienen capacidad de respuesta sin que un humano dé la orden. Ello se justifica por la necesidad de respuestas rápidas −no hay tiempo para hacer consultas−. Se trata de armas de carácter defensivo y sus algoritmos de toma de decisiones están muy definidos y preestablecidos. Estos algoritmos siguen ecuaciones matemáticas o con base a la física, no tienen parámetros que haya que ajustar y los errores potenciales provienen de un mal uso o de errores humanos. Si hay un fallo siempre podremos saber qué parámetro ha fallado y podremos corregirlo. En el caso de los algoritmos de las armas centinelas, los algoritmos, a través de los sensores, tienen que diferenciar entre un humano y un animal cruzando la frontera y suelen hacerlo con reglas preestablecidas basándose en altura, la forma corporal o la velocidad.

En una segunda categoría se encuentran los llamados sistemas de armas autónomos. La diferencia entre un sistema de armas automático o automatizado y un sistema de armas autónomo, se encuentra en la estructura del sistema de toma de decisiones. En las armas automatizadas el sistema de toma de decisiones se construye con algoritmos que siguen reglas ya programadas, definidas, bien definidas. En los sistemas de armas autónomas, el sistema de toma de decisiones se basa en un modelo de realidad obtenido con redes neuronales de aprendizaje profundo a partir de datos.

Los algoritmos de aprendizaje automático son complejos, se basan en una gran cantidad de parámetros, centenares de millones, que requieren conjuntos de datos enormes para entrenarse, muchos más datos que parámetros haya que ajustar en el entrenamiento o durante el aprendizaje. Estos algoritmos son opacos y llevan asociado un grado de error que es intrínseco al sistema y, por tanto, su fiabilidad es limitada. Si un sistema basado en algoritmos de aprendizaje profundo falla, no podemos explicar que neurona o grupo de neuronas ha fallado, por eso se les suele llamar “cajas negras”.

En los sistemas de armas autónomas, el sistema de toma de decisiones se basa en un modelo de realidad obtenido con redes neuronales de aprendizaje profundo

Hay aplicaciones que utilizan sistemas de aprendizaje automático como son los traductores, son útiles y todos somos conscientes que cualquier traducción requiere una supervisión posterior por parte del usuario en la fase final, y son las personas las que finalmente asumen la responsabilidad de la traducción. Esto no pasa con los sistemas (sean militares o civiles) de aprendizaje automático dotados de autonomía de uso, ya que por definición no contemplan ningún tipo de postsupervisión humana y el resultado pueden ser víctimas civiles.

En el caso de un vehículo autónomo somos conscientes que un error del sistema puede provocar accidentalmente la muerte de alguna persona. En el caso de aplicar estos algoritmos a armas, o utilizarlos para uso militar, la cuestión será si el error del sistema es aceptable o no. Todavía más: si aceptamos que sea un sistema el que tome la decisión, sin supervisión humana, de llevar a cabo una actuación que provocará víctimas humanas. En definitiva, vamos a centrar este debate en si es aceptable el uso de sistemas militares dotados de autonomía.

Los sistemas militares con autonomía de uso o armas autónomas llevan a cabo cinco tareas clave:

1) La tarea de búsqueda (find), permite obtener una lista de potenciales objetivos, lista que puede ser elaborada por humanos o por el mismo sistema. Los drones merodeadores, los de reconocimiento y los enjambres de drones están especialmente preparados para llevar a cabo esta tarea;

2) la tarea de definir un objetivo (fix), seleccionar un objetivo al que atacar;

3) la tarea de seguimiento del objetivo (tracking), mantener localizado el objetivo, sea móvil o fijo, y seguirlo en caso de que sea móvil;

4) la tarea de tomar la decisión de ataque (target);

5) la tarea de atacar (engage o destroy).

De todas estas tareas hay dos especialmente críticas y que en todos los sistemas militares clásicos quedan a cargo de los militares; son las de fix y target. Pero los sistemas militares con autonomía de uso se caracterizan por no tener ninguna supervisión humana es estas dos tareas, ni en ninguna de las cinco.

En los sistemas de armas automatizados el operador militar tiene la opción de parar la acción que se lleva a cabo durante un tiempo limitado; en el caso de sistemas de armas autónomos el operador no tiene esta opción.

Reto jurídico de los sistemas de armas autónomas letales

Como se ha mencionado, los sistemas de armas autónomas letales (Lethal autonomus weapons o LAWs) una vez activados, pueden seleccionar y atacar objetivos sin intervención adicional de un operador humano. A diferencia de los sistemas de armas defensivos automatizados o altamente automatizados, las armas autónomas podrían operar fuera de límites espaciales y temporales estrechos, podrían aprender a adaptar su funcionamiento en respuesta a circunstancias cambiantes en el entorno en el que se las desplieguen.¹
Si alguien activa un arma autónoma, no sabe exactamente a que personas u objetos atacará, ni tampoco sabe con precisión dónde ni cuando se producirá el ataque. Esto se debe a que estas armas se activan mediante sensores y software que comparan aquello que los propios sensores detectan en el entorno con un “perfil de objetivo”. El sistema podría activarse por la forma de un vehículo o por identificar a una persona con un cierto perfil. En este caso el vehículo o la persona serían los activadores de un sistema que acabaría en un ataque.

En la actualidad se han diseñado algunas clases de armas autónomas, aunque solamente se utilizan en circunstancias muy limitadas, como son las municiones tipo loitering o “drones kamikazes”, es una combinación de dron armado o misil. Estos dispositivos son capaces de permanecer en posición sobre una zona de objetivos, realizando un reconocimiento y proporcionando datos o imágenes para la asignación de un objetivo en vuelo. Este tipo de sistema permite que el ataque se lleve a cabo en el momento preciso o abortar la misión en caso de que no se detecte el objetivo o no se den las condiciones óptimas para el ataque. En esta situación, el operador humano permanece involucrado en todo el proceso y es él el que toma la decisión del ataque.

Los sistemas de armas autónomas letales, una vez activados, pueden seleccionar y atacar objetivos sin intervención adicional de un operador humano

El desarrollo de este tipo de armamento y su posible uso ha abierto un debate sobre si es necesario regular el uso de estos sistemas o si hay que regular el propio sistema. ¿Dónde hay que situar los límites? La segunda cuestión es si ante los avances producidos por estas tecnologías, tenemos que modificar, adaptar o replantear el derecho internacional humanitario y los derechos humanos a estas tecnologías o al revés, si son las tecnologías las que tienen que adaptarse a las normas internacionales.

En este trabajo tomaremos la posición de analizar estas armas a la luz de la legislación internacional existente. La primera consideración es que hay muy pocas normas sobre las armas. Como determina el Comité Internacional de la Cruz Roja (CICR), el Derecho Internacional Humanitario dice que «el uso de medios y métodos de guerra cuya naturaleza cause lesiones o sufrimientos innecesarios está prohibido» (norma 70); y que «el uso de armas que por su naturaleza sean indiscriminadas está prohibido» (norma 71). De ahí que cualquier arma que necesariamente cause lesiones o sufrimientos excesivos o no pueda estar dirigida hacia un objetivo militar específico debería estar prohibida y no ser utilizada nunca.²

Las armas que han sido prohibidas mediante tratados específicos y que actualmente forman parte del derecho internacional vigente son: las armas químicas, armas biologías, las minas antipersona, las bombas de dispersión y las armas nucleares.

Desde esta perspectiva del derecho internacional debe asegurarse que los sistemas de armas autónomos puedan cumplir con los principios de responsabilidad, distinción y proporcionalidad.

Principio de responsabilidad

Cuando se cometa una violación de derecho internacional humanitario es fundamental establecer el responsable de los actos para poder hacer justicia y disuadir de futuras violaciones.

En general, las investigaciones por ataques militares se centran en la persona que disparó el arma y el jefe militar que dio la orden de ataque. Pero cuando se utilizan armas autónomas, ¿quién dará explicaciones de por qué se atacó un mercado o una escuela? En caso de error o un acto de crimen de guerra, ¿quién será el responsable?, ¿el programador?, ¿el fabricante?, ¿el militar a cargo del sistema?, ¿el político? ¿y si hubiera sido usado por un agente privado?

Definir con claridad en quién recae la responsabilidad de los actos llevados a cabo por un sistema de arma autónomo es fundamental para garantizar, por un lado, la redición de cuentas y, por otra parte, para asumir las consecuencias penales que puedan derivarse de la actuación.

De entrada, sería el militar el que asumiría la responsabilidad del sistema de arma autónoma, pero si él no lo ha activado o desconocía las intenciones del blanco (en el caso de ser una persona), ¿cómo puede ser el responsable? La experiencia nos dice que salvo en acciones comprobables en las que el militar actúe de manera imprudente, él no seria el responsable. Ello conduce a la impunidad.

Cualquier arma es susceptible de fallar o sufrir accidentes. En este caso, un fallo podría provocar que el sistema cometa un error y que seleccione y ataque inapropiadamente un cierto número de objetivos. Las víctimas de este tipo de armas pierden el derecho a saber la verdad, pierden el derecho de justicia y de reparación. Porque es evidente que un sistema de armas autónomo no tiene personalidad jurídica, no puedes llevarlo a los tribunales y no puede ser castigado por ello.

Principio de discriminación o distinción

Este principio obliga a las partes beligerantes en un conflicto armado a distinguir en todo momento sus ataques entre combatientes y objetivos militares, por un lado, y a personas y bienes civiles por el otro. Por ejemplo, los algoritmos de la IA tendrían que poder distinguir entre un pastor pastún armado con un kalashnikov y un miembro armado talibán, o entre un cazador y un combatiente. También tendría que poder distinguir entre combatientes, sean combatientes activos o combatientes que han quedado fuera de combate (se han rendido, están heridos o porque son prisioneros); entre civiles que participan activa o directamente en las hostilidades y civiles armados, como pudiera ser el personal de seguridad.

Definir con claridad en quién recae la responsabilidad de los actos llevados a cabo por un sistema de arma autónomo es fundamental.

Por otra parte, los algoritmos de la IA tendrían que comprender el contexto en el que actúan. Si, por ejemplo, pueden identificar combatientes heridos, o que están en disposición de rendirse o combatientes con miedo. Estamos hablando de que los algoritmos de la IA puedan comprender intenciones. Muchas de las actuaciones previas al uso de la fuerza armada implican la toma de decisiones subjetivas, intuitivas, que requieren del juicio humano como por ejemplo distinguir entre un civil con miedo o un enemigo amenazante. Percibir, entender una situación, implica entender las intenciones que hay detrás de una expresión humana.

La dificultad o imposibilidad de que un sistema armado interprete o evalúe intenciones o emociones es un factor clave para decidir si es correcto o si es legal el uso de robots armados autónomos. Por tanto, si un arma o sistema de armas autónomo que inherentemente no pueda discriminar debe quedar prohibido.³

Principio de proporcionalidad

La norma de proporcionalidad exige que, antes de atacar, debe evaluarse el daño que pueda causarse a la población civil en cuanto a la ventaja militar obtenida con la acción. Este principio se aplica a actuaciones concretas con el fin de valorar si los daños causados eran proporcionales en relación con la ventaja militar que se obtuvo, o si, por el contrario, los daños fueron excesivos.

La proporcionalidad es propia del discernimiento humano y se basa en conceptos como el sentido común, actuar de buena fe o una orden razonable. Las interpretaciones jurídicas imperantes se basan explícitamente en estos conceptos de sentido común o de buena fe. Queda por determinar en qué medida estos conceptos pueden traducirse en algoritmos y programas tanto en la actualidad como en futuro.

Analizar el principio de proporcionalidad en cualquier actuación militar es muy complejo y es un ejercicio puramente cualitativo y difícil de cuantificar. Es imposible obtener un consenso sobre cuantos civiles es “proporcional” matar o, en una actuación determinada cuantos civiles o daños colaterales son “excesivos”. Según Markus Wagner, el equilibrio, la proporcionalidad o el exceso dependen de los valores del individuo que haga los cálculos. Por lo tanto, el principio de proporcionalidad es, por naturaleza, subjetivo y no es posible llegar a consensos.⁴

Por tanto, volvemos a hacernos la misma pregunta: ¿es posible que los algoritmos de la IA actual o en el futuro, puedan realizar este tipo de valoración o evaluación tan dependiente de valores y de contexto?

La ética y los sistemas de armas autónomos

Los defensores de desarrollar armas autónomas piden no poner límites al desarrollo de estas armas. Alegan que los humanos, bajo ciertas condiciones como calor, rabia, miedo, ira, rencor o deseo de venganza, actuamos de la peor manera posible. Los robots, es cierto, no pueden actuar bajo estos estados de ánimo, no pueden tener sentimientos como estos y, por tanto, podrían evitar muertes innecesarias. Los defensores de no limitar la creación de armas autónomas letales argumentan que las armas completamente autónomas pueden ser capaces de cumplir con los tres principios del derecho internacional humanitario y que pueden cumplirlo mejor que los humanos, ya que pueden procesar más información, más rápidamente que los humanos y no estar inhibidos por preservarse a sí mismos, ni estar influenciados por las emociones.

Los defensores de no limitar el desarrollo de estas armas totalmente autónomas nos recuerdan que en situaciones de conflicto armado los humanos cometen muchas vilezas como violar a mujeres y niñas o torturar.

Según los desarrolladores, los robots no pueden actuar bajo estados de rabia o rencor, por lo que podrían evitar muertes innecesarias

Es cierto que los robots y las armas totalmente autónomas, a menos que estén programados específicamente para ello, no violarían a mujeres, no torturarían y no causarían daños intencionadamente a la población civil.

Es cierto que estas armas no tienen sentido de riesgo, salvo que se las programe específicamente para preservarse, no tienen miedo y no toman decisiones influidos por emociones. Pero hay que reconocer que hay emociones o sentimientos que representan una salvaguarda. Sin emociones se puede matar más fácilmente. Los sistemas de armas totalmente autónomas no tendrán el sentido común de los humanos, no pueden sentir compasión, lástima, empatía o intuición. Todos estos sentimientos son una salvaguarda frente a la atrocidad.

Es cierto que los humanos somos falibles y estas máquinas no −se las programa para ejecutar misiones militares de ataque−,  pero el ser falibles es la condición que nos hace diferentes del resto de especies, representa la esencia de la humanidad. Estas armas no sienten y no pueden sentir culpabilidad por sus actos; en cambio un humano sí.

Estas armas pueden ser programadas para abordar y evaluar situaciones de manera cuantitativa, pero su capacidad para hacerlo de manera cualitativa es y será muy limitada. Estas habilidades son muy necesarias cuando se trata de decidir sobre sobre la vida o la muerte de seres humanos. Lo mismo podemos decir sobre la capacidad de los sistemas de armas totalmente autónomos para distinguir y evaluar entre órdenes lícitas o ilícitas, o su capacidad para interpretar un contexto, evaluarlo en cálculos basados en valores. Por ejemplo, un arma totalmente autónoma podría decidir disparar sobre un niño que lleva un arma en sus manos, su decisión podría estar conforme a la ley, el niño iba armado, pero esta actuación puede no ser considerada ética. Un militar ante esta misma situación puede recordar o evocar a su hijo, puede pensar que él puede no matar al niño y buscar una solución alternativa como puede ser capturarlo.

Hasta aquí hemos abordado la utilización de la IA aplicada a una clase especifica de sistemas de armas, las autónomas, que pueden ser utilizados en el campo de batalla. Estamos considerando sistemas de armas que sustituyen a los humanos es las tareas del combate. Pero también podemos pensar en que estos sistemas pueden ser utilizados en otras tareas éticamente cuestionables como interrogar o torturar a sospechosos. En este contexto cabe tener presente que un robot, a diferencia de un médico, no ha hecho un juramento hipocrático de no hacer daño a un humano; a diferencia de un humano, ¿cómo llevará a cabo el seguimiento de los signos vitales o del dolor de un humano que está siendo interrogado o torturado?⁵

Impacto político de los sistemas de armas totalmente autónomos

Hay un consenso general en que la aplicación de la IA en todos los aspectos militares producirá cambios de gran calado en las guerras, y no solamente en términos de capacidades militares, sino que cambiará los enfoques, las estrategias, las tácticas y las teorías de cómo hacer la guerra.

Los nuevos sistemas de armas autónomas están supervisados por militares que pueden estar situados a cientos o a miles de kilómetros. El militar está muy lejos del llamado campo de batalla, y no se requiere su presencia física en este espacio geográfico. De esta manera, los militares pueden hacer la guerra a turnos, acabado su turno, el soldado vuelve a casa a cenar y revisar los deberes escolares con los hijos. Según Singer,⁶ este tipo de armas interpone una gran distancia física entre el ser humano, la propia arma y las consecuencias de su utilización. Tal distanciamiento físico puede provocar un distanciamiento psicológico y moral o una disminución del sentido y de la conciencia de la responsabilidad de la actuación. Con los sistemas de armas autónomas, las guerras serán más fáciles de empezar, las barreras morales, éticas y psicológicas serán más débiles, los políticos pueden poner menor resistencia a involucrarse en el desarrollo de las guerras −ya que no estarían tan presionados por el rechazo de los ciudadanos a las pérdidas de las vidas humanas− y los políticos pueden reducir esfuerzos en buscar soluciones no violentas a un conflicto. En definitiva, la utilización de toda esta generación de nuevas armas en combate nos abre el debate sobre la banalización del hecho bélico a escala política y social.

Hay un consenso general en que la aplicación de la IA en todos los aspectos militares producirá cambios de gran calado en las guerras

Estos nuevos sistemas de armas suponen una tecnología diseñada para disminuir las bajas de soldados en combate, que no quiere decir que mueran menos civiles en las guerras y que no mueran más personas por ataques de robots o armas autónomas que por armas convencionales. El uso de robots en la guerra eliminará el obstáculo político de hacer la guerra; provocará que los políticos eviten asumir ante la sociedad lo que representa el retorno de los cadáveres de soldados muertos. Cada vez más los políticos piden a los militares que diseñen intervenciones bajo la doctrina de «cero muertos», es por eso por lo que impulsan el desarrollo de estas nuevas armas, les es más fácil enviar a los robots a hacer la guerra, que no enviar nuestros hijos y tener que hacer cartas de pésame a las familias de los soldados muertos. Ante la opinión pública los políticos evitarán la responsabilidad, ya que con la utilización de los robots deshumanizamos la guerra y eliminamos el factor humano. La utilización de robots en el combate puede conseguir hacer más aceptable la guerra para la sociedad y además puede evitar la «fatiga del combate» que provoca una guerra de larga duración.⁷

Armas autónomas, drones y otras municiones presentan ventajas: los militares no pueden ser abatidos y además suponen menor coste económico. El valor de un dron es mucho menor que un avión de combate. En definitiva, nos lleva a la guerra low cost, no solamente en términos económicos sino también en términos éticos y políticos. Estas nuevas armas ofrecen mayor proyección de fuerza con menor riesgo para la vida de los militares; permite más acciones militares con menos soldados. Ello nos lleva a preguntarnos si la vida de los militares es más valiosa que la de los civiles, si hay vidas que tienen más valor que otras, si hay vidas de las que se puede prescindir. También nos interpela como sociedad. Nos dice que tenemos una doble moral en relación con los sacrificios que estamos dispuestos a asumir; una doble moral ante una sociedad que demanda intervenir militarmente sin sacrificios humanos propios y sin riesgo para los gobernantes políticos.

Conclusiones

La aplicación de la IA nos abre la puerta a plantear las guerras sin riesgo para la vida de los militares, con lo que comporta prevalecer las soluciones militares por encima de las soluciones políticas. Hace más fácil pensar en guerras a distancia y las hace más abstractas.

Estas armas nos sitúan en un escenario de deshumanización. La narrativa de las bondades de la IA tiende a ignorar aquellos aspectos que afectan al sentido de la humanidad y que afectan o cuestionan los derechos civiles y derechos humanos.

Como hemos recogido al inicio del artículo, los sistemas militares dotados de IA con autonomía constructiva, tienen comportamientos no explicables, con una probabilidad garantizada de error que es significativa, de aquí que si estos sistemas  de nuevas armas no pueden cumplir con los principios jurídicos del derecho internacional humanitario −el principio de responsabilidad, de distinción y de proporcionalidad− hay que considerar que estas armas son indiscriminadas y, por tanto, tendrían que ser ilegales. Finalmente, señalar que deberíamos dotarnos de un instrumento jurídicamente vinculante que prohibiera su desarrollo y uso.

Tica Font Gregori es experta en economía de la defensa y comercio de armas y fundadora e investigadora del Centre d’Estudis per la Pau J.M. Delàs.

Descarga el texto completo en formato pdf: Inteligencia artificial y armas autónomas: una combinación letal 

NOTAS:

[1] Joaquín Rodríguez, Xavi Mojal, Tica Font y Pere Brunet, (2019), Nuevas armas contra la ética y las personas. Drones armados y drones autónomos, Centre Delàs, Informe núm. 39, disponible en: https://arxiu.centredelas.org/images/INFORMES_i_altres_PDF/informe39_DronesArmados_CAST_web_DEF.pdf

[2] Jaume Saura,  «Algunas implicaciones del empleo de drones en perspectiva jurídica internacional», en El arma de moda: impacto del uso de los drones en las relaciones Internacionales y el derecho internacional contemporáneo, ICIP Research, núm. 4,, ICIP, Barcelona, 2014, pp. 133.

[3] Posición de la Comisión de la Cruz Roja Internacional sobre estas armas, CICR,  12 de mayo de 2021 [en línea], disponible en: https://www.icrc.org/es/document/posicion-del-cicr-sobre-los-sistemas-de-armas-autonomos

[4] Markus Wagner M., (2014), «The Dehumanization of International Humanitarian Law: Legal, Ethical, and Political Implications of Autonomous Weapon Systems», Vanderbilt Journal of Transnational Law, 47, 1371-1424, disponible en: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2541628

[5] Patrick Lin, «Drone-Ethics Briefing: What a Leading Robot Expert Told the CIA», The Atlantic,  15 de diciembre de 2011, disponible en: https://www.theatlantic.com/technology/archive/2011/12/drone-ethics-briefing-what-a-leading-robot-expert-told-the-cia/250060/

[6] Peter Warren Singer, Wired for War. The Robotics Revolution and Conflicts in the 21st Century, Penguin Press, Nueva York, 2009.

[7] Pere Vilanova, «Drones y política exterior: un instrumento de múltiples lecturas»,en, El arma de moda: impacto del uso de los drones en las relaciones internacionales y el derecho internacional contemporáneo, ICIP Research núm. 4, 2014, pp. 73.

La sección A Fondo del número 164 de Papeles de relaciones ecosociales y cambio global dedicado a la Inteligencia Artificial recoge un artículo de Ramón López de Mántaras y Pere Brunet donde definen ¿Qué es la inteligencia artificial?

La inteligencia artificial (IA en adelante) es una colección de componentes computacionales que permiten construir sistemas que emulan funciones realizadas por el cerebro humano.¹ El campo de la IA comenzó a mediados de los años cincuenta y desde entonces ha pasado por ciclos de promesas, entusiasmo, críticas y dudas.

Podemos distinguir entre IA basada en conocimiento e IA basada en datos. La IA basada en el conocimiento, que empezó a desarrollarse a finales de los años setenta, intenta modelar el conocimiento humano mediante modelos informáticos. Comienza de arriba hacia abajo a partir de un análisis humano sobre qué conceptos y conocimientos utilizan los individuos para resolver problemas o responder consultas en un dominio concreto de especialización, formalizando e implementando dichos conocimientos mediante lenguajes de representación basados en la lógica matemática. Esta IA basada en el conocimiento utiliza bases de conocimientos, modelos conceptuales, ontologías, estrategias de razonamiento automatizado, técnicas heurísticas de resolución de problemas y aprendizaje profundo.²

En cambio, la IA basada en datos se ha desarrollado mayoritariamente a partir del siglo XXI. Comienza de abajo a arriba a partir del análisis de grandes cantidades de datos que se procesan mediante algoritmos estadísticos de aprendizaje, tales como los algoritmos de aprendizaje profundo, para extraer patrones en dichos datos que se usan para resolver problemas cuya solución se construye en base a los patrones extraídos.³ La IA basada en datos requiere una cantidad ingente de datos de entrenamiento, así como computación de altas prestaciones para poder funcionar. Además, los datos de entrenamiento tienen que ser de alta calidad para que dicho funcionamiento sea correcto.

La IA basada en conocimiento ha demostrado ser muy eficiente en tareas que requieren razonamiento o planificación, mientras que la IA basada en datos funciona mejor en tareas que, en lugar de razonamiento o planificación, requieren sobre todo detectar patrones estadísticos como por ejemplo el procesamiento de imágenes o lenguaje. Pero, con toda probabilidad vamos a ver cada vez más aproximaciones híbridas que combinen ambos enfoques.⁴

Uno de los desarrollos sorprendentes de la IA basada en datos nos llegó de la mano de los traductores automáticos. El investigador Franz Josef Och fue pionero en diseñar los primeros algoritmos en 2003, y luego Google los incorporó entre los años 2005 y 2007. Estos nuevos traductores funcionaban tras aprender de ingentes cantidades de datos. Según Och,⁵ para poder traducir bien entre dos idiomas se necesita un corpus de texto bilingüe de más de 150 millones de palabras y dos corpus monolingües de más de mil millones de palabras.

En 2012, un equipo de la Universidad de Toronto liderado por Geoffrey Hinton consiguió́ que un tipo de red neuronal, llamada «convolucional», alcanzara un 85%  de aciertos al clasificar, entre mil categorías posibles, 150.000 imágenes de la base de datos ImageNet. Tanto estas redes de clasificación como las de los traductores automáticos son casos concretos de redes neuronales de aprendizaje profundo, ejemplos de la IA basada en datos. La idea proviene de los trabajos del investigador japonés Kunishiko Fukushima en 1980, quien había desarrollado el «neocognitrón», una red neuronal artificial inspirada, a su vez, en los estudios de David Hubel y Torsten Wiesel sobre el sistema visual de los animales, trabajos por los que en 1981 estos investigadores recibieron el premio Nobel.⁶ Hubel y Wiesel descubrieron que nuestra corteza visual se encuentra organizada según una jerarquía de capas, de tal manera que las neuronas contenidas en cada capa detectan características de complejidad creciente en los objetos de una imagen.

En estos y otros casos, estas redes deben entrenarse primero con una enorme cantidad de datos. De hecho, la IA basada en datos trabaja en dos fases: la primera de aprendizaje o entrenamiento y la segunda, de uso (en algunos casos, ambas fases interaccionan de manera que los sistemas continúan aprendiendo durante su uso). La primera es altamente costosa y laboriosa y requiere gran potencia de cálculo, mientras que la segunda puede ejecutarse en ordenadores personales o teléfonos móviles y es eficiente y rápida.

Hay que observar que, por ejemplo, en el caso de la clasificación de imágenes, hasta hace poco ni había bases de datos de imágenes lo suficientemente grandes ni existía la potencia de cómputo necesaria para poder entrenar redes multicapa en un tiempo razonable. Dicho entrenamiento consiste en ajustar los valores numéricos correspondientes a los “pesos” de las conexiones que unen las neuronas artificiales de la red. Para ello, a la máquina se le proporciona una gran cantidad de imágenes ya etiquetadas, y un algoritmo va ajustando los valores de los pesos en función de los errores que comete la red al clasificar las imágenes de entrenamiento. Antes de comenzar el entrenamiento los valores asignados a las conexiones son aleatorios, y el proceso finaliza cuando los pesos alcanzan valores estables. Por supuesto, todo ello requiere partir de una representación numérica de la imagen (o del texto en el caso de la traducción automática). Esto se consigue asociando un número a cada píxel (o un conjunto de números a cada frase), de modo que, desde el punto de vista de la máquina, las imágenes y los textos no son más que un enorme conjunto de números.⁷

Para la segunda fase, una vez la red neuronal ya ha sido entrenada, disponemos de una inmensa estructura de neuronas artificiales (pequeños elementos de software dispuestos en capas, cada uno de los cuales calcula su ”valor“ promediando muchos de los valores de las neuronas de la capa anterior). La red neuronal, conjunto de neuronas con su estructura conectiva y conjunto de ”pesos“ asociados a las conexiones que las unen, puede ya almacenarse como cualquier otro fichero y exportarse a los ordenadores o teléfonos móviles que la usarán. Luego, en esta segunda fase de uso, los datos concretos (un texto, una imagen o aquello que requiera la tarea que el usuario desea resolver) se convierten a una representación numérica que alimenta la primera capa de neuronas. La información se va propagando capa a capa a través de los pesos asociados a las conexiones y finalmente, los valores asociados a las neuronas de la última capa acaban conformando la respuesta del sistema de IA.⁸

Estos sistemas de IA basada en datos (sistemas de IA en lo que sigue) han experimentado un auge espectacular en los últimos años, con aplicaciones que van desde el diagnóstico precoz en medicina y la predicción del plegado de las proteínas hasta la robótica moderna, pasando por campos tan diversos como los juegos por ordenador, la previsión del impacto del cambio climático, el juego del tenis, la investigación en coches autónomos o las armas autónomas.⁹

El esfuerzo por llegar a construir máquinas que de algún modo se asemejen a nosotros ha generado sistemas que se equivocan como nosotros

Con todo, y a pesar de los éxitos del aprendizaje profundo aplicado al procesamiento del lenguaje, vemos que, contrariamente a lo que ha llegado a afirmarse, seguimos estando muy lejos del nivel humano. La razón de dichas exageraciones seguramente obedece a la competencia entre empresas para hacerse con la parte más grande de un pastel que es extremadamente lucrativo. Pero, aunque aún falte mucho para lograr traducciones automáticas de calidad similar a las de un humano profesional, no cabe duda de que una herramienta como Google Translate resulta muy útil si no somos muy exigentes con el resultado y si supervisamos y corregimos el resultado final.

En todo caso, a menudo ni siquiera los diseñadores de los sistemas de aprendizaje profundo saben con exactitud por qué la máquina funciona cuando acierta ni por qué falla cuando se equivoca. Este serio inconveniente, conocido como «problema de la caja negra», hace que sea prácticamente imposible explicar las decisiones que toman estos sistemas.¹⁰ Y es que los sistemas de IA cometen errores. El esfuerzo por llegar a construir máquinas que de algún modo se asemejen a nosotros ha generado sistemas que se equivocan como nosotros. Lo vemos en los sistemas de traducción automática y en muchos otros. El porcentaje de error depende del tipo de problema, de la calidad de los datos de aprendizaje, de la estructura de la red neuronal y de la calidad del proceso de entrenamiento, pero nunca es nulo. Es algo que no tiene porqué ser grave en muchos casos, si repasamos el resultado del sistema y lo corregimos en caso necesario (como hacemos cuando usamos los sistemas de traducción) o en los sistemas que generan hipótesis que luego vamos refrendando, o en los sistemas de AI que a pesar de sus errores funcionan en promedio (sistemas publicitarios en los que lo que cuenta es los clientes que captemos, a pesar de que en otras personas no funcionen). Pero esto conlleva que en aplicaciones críticas como pueden ser las de diagnóstico médico o las militares y de control y vigilancia, la postsupervisión por parte de una persona experta que se haga responsable de la decisión final sea imprescindible.

Por otra parte, la IA en realidad no es inteligencia en el sentido comúnmente aceptado. Lo que poseen los sistemas de IA son habilidades para resolver problemas y tareas específicos, pero sin ningún tipo de comprensión sobre la naturaleza de los elementos con los que trabaja y sobre sus interrelaciones. Su falta de sentido común les hace capaces de identificar una persona que está de pie delante de una pared sin saber que es una persona y que esta no puede atravesar la pared.¹¹

En este momento vemos una fuerte ola de adopción entusiasta de la IA en muchas áreas de la actividad humana. Pero la ausencia de conocimientos de sentido común imposibilita que los sistemas de IA puedan comprender ni el lenguaje ni lo que “perciben” sus sensores. Del mismo modo, no pueden gestionar situaciones imprevistas ni tampoco aprender a partir de la experiencia. Los sistemas de IA basados en aprendizaje profundo pueden aprender correlaciones entre eventos (funciones matemáticas simétricas) pero no las relaciones asimétricas que nos llevan a diferenciar causas de efectos. Pueden asimilar, por ejemplo, que la salida del sol está relacionada con el canto del gallo, pero no que la primera es causa del segundo, y no al revés. El aprendizaje de las relaciones causa-efecto por parte de los sistemas de IA es justamente una línea de investigación actual muy interesante.¹²

Como ya dijo Arthur Clarke en los años sesenta, cualquier tecnología que sea suficientemente sofisticada no puede distinguirse de la magia.¹³ De aquí es de donde surge una buena parte del relato social que actualmente rodea los sistemas de IA. No entendemos porqué un sistema de IA puede traducir textos o responder acertadamente a preguntas que le hacemos, de la misma manera que nuestros abuelos no podrían entender cómo podemos, con un simple teléfono móvil, mandar fotos al instante a cualquier punto del planeta. La sorpresa ante el hecho de no saber entender estos sistemas nos lleva a considerarlos mágicos. Y la magia nos transporta al campo de la ficción y los mitos. Abandonamos la realidad y, ya instalados en el ámbito de los mitos, creemos que el potencial de la IA no tiene límites y que estos sistemas nos llevarán a inteligencias superiores a la humana.¹⁴

La ausencia de conocimientos de sentido común imposibilita que los sistemas de IA puedan comprender ni el lenguaje ni lo que “perciben” sus sensores

La fascinación se amplifica porque llueve sobre nuestra innata tendencia a generar mitos y a disfrutar de ellos. Creamos máquinas y soñamos pensando que nos dominarán. Pero nuestro deber es separar los mitos de la realidad. Podemos inventar grandes historias sobre lo que nos puede deparar la IA, pero debemos dejarlas en el rincón de los mitos y, en cambio, escuchar a los expertos para saber cuál va a ser la realidad. Michael Shermer habla de la imposibilidad de que lleguemos a ver máquinas que piensen, que sean autoconscientes y que tengan emociones. Este apocalipsis, esta singularidad, dice irónicamente, lo más probable
es que nos llegue en algún momento entre los años 2525 y 9595.¹⁵

Pero por muy sofisticada que llegue a ser la IA en el futuro, siempre será diferente de la humana. Porque el desarrollo mental humano se nutre de las interacciones con el entorno, que a su vez se basan tanto en la corporeidad de nuestros sentidos y sistema perceptivo como en nuestro sistema motor. Una corporeidad perceptiva y motora que no existe en las inteligencias artificiales no corpóreas. Junto con la intencionalidad, esencialmente humana, que no tienen ni tendrán los sistemas de IA,¹⁶ que por ello ven necesariamente limitadas sus capacidades de aprendizaje.¹⁷ En todo caso, la fascinación no cesará. Y será perfectamente aceptable si sabemos mantenerla en el ámbito de los mitos mientras, al mismo tiempo, nos esforzamos por entender la realidad y los hechos objetivos. Porque quienes nos querrán controlar serán personas concretas, no máquinas.¹⁸  Y porque los verdaderos problemas de la IA no provienen de una supuesta singularidad tecnológica que pueda surgir de hipotéticas y futuras superinteligencias artificiales. Los verdaderos problemas están en la manipulación, en el uso ilícito de datos privados y en su privacidad, en la vigilancia y el control masivo de la ciudadanía, en la autonomía de sistemas que pueden usarse contra las personas (como las armas autónomas), en la confianza excesiva en las capacidades de la IA, en los sesgos de los algoritmos, en la imposibilidad de rendición de cuentas en el caso de funcionamiento erróneo, y en el excesivo poder que acumulan unas pocas empresas tecnológicas.¹⁹

Los verdaderos problemas están en la posibilidad de manipulación, en el uso ilícito de datos privados y el control masivo de la ciudadanía

En 2020, las investigadoras Timnit Gebru y Margaret Mitchell, codirectoras en aquel momento del equipo de ética de Google, ya advirtieron del riesgo que suponía que la gente asignase intención comunicativa y comprensión del lenguaje a artefactos.²⁰ Tras haber publicado esta consideración ética, Google las despidió.

Dado el interés público en la IA y el entusiasmo de muchas organizaciones, tanto privadas como instituciones gubernamentales, por desarrollar aplicaciones que afecten a las personas en su vida diaria, es importante que la comunidad de IA, incluidos los desarrolladores de aplicaciones así como los investigadores, participen en debates abiertos, en parte para evitar expectativas excesivas con una reacción inevitable posterior y en parte para evitar un uso inadecuado de la IA que puede causar efectos secundarios negativos innecesarios y sufrimiento humano indebido. Al mismo tiempo, debemos darnos cuenta de que ningún conjunto de reglas o limitaciones tecnológicas incorporadas puede evitar el uso malicioso por parte de actores sin escrúpulos.²¹ La responsabilidad final siempre recae en los seres humanos, tanto como diseñadores como usuarios, y deben rendir cuentas.

Ante los evidentes peligros a que nos enfrenta un desarrollo de la IA todavía no regulado y basado en el lucro de unas pocas corporaciones, muchos expertos están pidiendo una regulación que garantice que estos sistemas vayan dirigidos a cubrir necesidades de las personas, respetando sus derechos y sin dañarlas, violentarlas, controlarlas o manipularlas. Pero, además, es imprescindible educar a los ciudadanos (en particular a los jóvenes en las escuelas y universidades y a los políticos) sobre los beneficios y riesgos de estas tecnologías de IA. Los estudiantes de ciencias e ingeniería deben recibir una formación ética que les permita entender las implicaciones sociales de las tecnologías que desarrollarán.²² Y los ciudadanos en general deben exigir estar mejor informados, desde un sentido crítico que les permita discernir, que les aporte mayor capacidad para evaluar los riesgos tecnológicos y que lleve a hacer valer sus derechos. Las administraciones deben ser valientes para regular y visionarias para invertir en una educación que capacite adecuadamente a sus jóvenes y ciudadanos.

Ramón López de Mántaras Badia es profesor de investigación del CSIC y director del Instituto de Investigación en Inteligencia Artificial. Es uno de los pioneros de la inteligencia artificial en España.

Pere Brunet i Crosa es doctor y catedrático jubilado de la Universidad Politécnica de Catalunya, investigador del Centre Delàs d’Estudis per la Pau y divulgador científico.

Descárgate el artículo completo en formato pdf: ¿Qué es la inteligencia artificial?

NOTAS

1 Luc Steels y Ramón López de Mántaras, «The Barcelona declaration for the proper development and usage of artificial intelligence in Europe», AI Communications 31, 2018, pp. 485-494, disponible en: https://content.iospress.com/articles/ai-communications/aic180607 . Véase también el texto original de la declaración de Barcelona en: https://www.iiia.csic.es/barcelonadeclaration/

2 Ibidem.

3 Ibidem.

4 Ramon López de Mántaras, 100 coses que cal saber sobre inteligència artificial, (en catalán), Cossetània, Barcelona, 2023, pp.. 48 a 50.

5 Franz Josef Och, , Statistical Machine Translation: From Single-Word Models to Alignment Templates, Technical Report, RWTH Aachen, Department of Computer Science, 2003, disponible en: http://www-i6.informatik.rwth-aachen.de/publications/download/520/OchF.J.–StatisticalMachineTranslationFromSingle-WordModelstoAlignmentTemplates–2002.pdf ; también su presentación de 2005, ya como empleado de Google: «Machine Translation», Summit 2005, Phuket, 2005.

6 Ramón López de Mántaras, «El traje nuevo de la inteligencia artificial», Investigación y ciencia, Julio de 2020, disponible en:  https://www.investigacionyciencia.es/revistas/investigacion-y-ciencia/una-nueva-era-para-el-alzhimer-803/el-traje-nuevo-de-la-inteligencia-artificial-18746

7 Para más detalle, véase nota anterior.

8 Esta es una explicación simplificada. Los sistemas de IA pueden contener varias redes neuronales y pueden contemplar aprendizaje dinámico de manera que el sistema continúe aprendiendo a partir del uso de la red, en caso de que haya forma de verificar si las respuestas que va dando son o no correctas (si no lo son, el sistema modifica los pesos de las conexiones entre neuronas para intentar evitar que el error detectado se repita en el futuro). En este caso, las dos fases de aprendizaje y uso no son independientes.

9 Para más detalle, véase Ramon López de Mántaras, 2023, op. cit., pp. 56 a 265.

10 Véase Ramón López de Mántaras, 2020, op. cit.

11 Ramon López de Mántaras, 2023, op. cit., p. 45.

12 Ramon López de Mántaras, «Intel·ligència artificial versus intel·ligència humana» (en catalán), en IA: Inteligencia Artificial, catálogo de exposición, CCCB, 2023, pàgina 48, disponible en: https://www.cccb.org/es/publicaciones/ficha/ia-inteligencia-artificial/243181

13 Ramon López de Mántaras 2023, op. cit., p. 47.

14 Ramon López de Mántaras, 2023, op. cit., p. 44.

15 Pere Brunet, Tica Font y Joaquín Rodriguez, Robots Asesinos: 18 preguntas y respuestas, Centro Delàs de Estudios para la Paz, 2021, p. 01.2, disponible en: https://centredelas.org/wp-content/uploads/2021/12/RobotsAsesinos_18PreguntasYRespuestas_DEF.pdf. Ver también: https://centredelas.org/robots-asesinos-18-preguntas-y-respuestas/?lang=es

16 Ramon López de Mántaras 2023, op. cit., p. 52.

17 Ibidem, p. 51.

18 Pere Brunet, Tica Font y Joaquín Rodriguez, op. cit., p. 01.2

19 Ramon López de Mántaras 2023, op. cit., p. 52.

20 Ibidem,  p. 49.

21 Luc Steels y Ramón López de Mántaras, op. cit.

22 Ramon López de Mántaras 2023, op. cit., p. 52.

Muchas son las amenazas que confluyen en la crisis ecosocial. Una de las más olvidadas pero no por ello menos importante es la polución del ambiente por contaminantes químicos.

El número 166 de la revista Papeles de relaciones ecososociales y cambio global nos alerta de que vivimos inmersos en un entorno saturado por estas sustancias. Son omnipresentes porque forman parte de una amplia gama de bienes de uso cotidiano. Y, en primer lugar, los plásticos, presentes en bolsas, envoltorios, cosméticos, juguetes, electrodomésticos y ropa.

Una vez producidos, comercializados y consumidos masivamente, los plásticos se desechan y arrojan a vertederos y océanos, donde tardan décadas o incluso siglos en descomponerse, liberando múltiples contaminantes.

Hay muchos otros presentes en nuestros alimentos, agua, suelos y aire. Los hay de toxicidad probada y otros de los que aún se desconoce su peligrosidad, pero todos estos tóxicos se siguen utilizando día tras día, acumulándose en nuestro organismo y afectando nuestra salud de múltiples formas, e incluso llegando a traspasar la placenta materna.

Frente al probado perjuicio de muchas de estas sustancias se esperaría una decidida acción regulatoria por parte de las autoridades nacionales y comunitarias. Sin embargo, la mayor parte de las normas quedan eclipsadas en un limbo o son directamente rechazadas por la acción de múltiples lobbies de la poderosa industria química.

Este número de PAPELES explora algunos ángulos de esta problemática. Abre la revista la Introducción de Santiago Álvarez Cantalapiedra sobre esta problemática.

A Fondo examina la cuestión de los contaminantes químicos como amenazas invisibles a través de los artículos de Joan Benach y Ferran Muntané, Tatiana Santos, Javier Guzmán, y Valeria Berros. La sección Referentes también indaga esta cuestión a través de un perfil y de dos extractos de Primavera Silenciosa, de Rachel Carson, de la mano de Christof Mauch, director del centro de investigación que lleva el nombre de la bióloga marina y referente indiscutible del ecologismo.

Actualidad incluye la primera parte del exhaustivo análisis de Carlos Pereda sobre desigualdad económica en España. En Experiencias, Youssef Ouled examina la racialización que imponen los algoritmos de la inteligencia artificial, mientras que Raúl Garrobo aborda en Ensayo el colapso ecosocial y ecosocialismo. Cierra el número nuestra sección Lecturas.

A continuación, ofrecemos el Sumario del número con los enlaces de descarga del texto completo de los textos de Santiago Álvarez Cantalapiedra que introduce el número y el de Joan Benach y Ferrán Muntané sobre contaminación química.

SUMARIO

INTRODUCCIÓN 
El veneno cotidiano, Santiago Álvarez Cantalapiedra.

A FONDO
Contaminación omnipresente: un límite planetario olvidado, Joan Benach y Ferrán Muntané.
El riesgo químico: una amenaza invisible en la Unión Europea, Tatiana Santos.
Por muy verde que nos lo pinten, Javier Guzmán.
¿Qué nos dicen los litigios ambientales sobre nuestro tiempo?, Valeria Berros.

ACTUALIDAD
Desigualdad económica y dominación en España. Treinta años de crecimiento lento y mal repartido (I), Carlos Pereda.

EXPERIENCIAS
Hablar del racismo y la raza del algoritmo, Youssef Ouled.

ENSAYO
Colapso ecosocial, ecosocialismo y antropología simétrica, Raúl Garrobo Robles.

REFERENTES
La primavera silenciosa de Rachel Carson, Christof Mauch.

LECTURAS
Contra lo común. Una historia radical del urbanismo, Álvaro Sevilla Buitrago
José Luis Fernández Casadevante, «KOIS»

Simbioética. Homo sapiens en el entramado de la vida (elementos para una ética ecologista y animalista en el seno
de una nueva cultura de la tierra Gaiana, jorge Riechmann.
Raúl Garrobo Robles

Se busca: un futuro posible en el que desear vivir, Miguel Brieva.
Manuel Casal Lodeiro

Cobalto rojo. El Congo se desangra para que tú te conectes, Siddharth Kara.
Pedro L. Lomas

Notas de lectura

Límites ambientales y justicia ecosocial. Un diálogo filosófico con la igualdad de capacidades, Cristian Moyano.

FUHEM Ecosocial

El mundo entonces. Una historia del presente, Martín Caparrós.

FUHEM Ecosocial

RESÚMENES 

Información y compras:

Tel.: +34 914310280

Email: publicaciones@fuhem.es

Puedes adquirir la revista PAPELES en nuestra librería virtual.

Según la autora la creciente adopción de sistemas Inteligencia Artificial (IA) en distintos ámbitos de nuestra vida nos obliga a reflexionar desde una perspectiva ética y política en torno a estas tecnologías. Este artículo aborda tres problemas éticos (libertad, igualdad y crisis ecosocial) relacionados con la IA que buscan ir más allá de los planteamientos éticos más frecuentes y cuestionar no solo la eticidad de las implicaciones de estas tecnologías, sino también los presupuestos morales y políticos que en ella subyacen.

Las tecnologías de inteligencia artificial (IA) han emergido con fuerza durante los últimos años llegando a convertirse en el foco de acaloradas discusiones no solo en el ámbito tecnológico, sino también político, académico, filosófico y la esfera pública en su conjunto. Las promesas de mejora y progreso que se atribuyen a la IA se entremezclan con las preocupaciones que generan los posibles riesgos que estas tecnologías pueden producir tanto a escala individual como en el conjunto de la ciudadanía y los sistemas democráticos.¹

Aunque estos debates son útiles y sin duda necesarios, casi todos ellos asumen 1) que la adopción de la IA es inevitable y 2) que estas tecnologías son neutrales y sus efectos nocivos o beneficiosos dependen del uso que se haga de ellas. En este artículo abordamos brevemente tres grupos de problemas éticos –privacidad, autonomía humana y libertad; sesgos, discriminación e igualdad; y crisis ecosocial– que surgen en torno a la IA y que, de distinto modo, ponen de relieve como estas tecnologías, lejos de ser neutrales, son inherentemente políticas y, por tanto, su adopción responde a un compromiso con ciertos proyectos ideológicos.² Desde esta perspectiva la IA no es un conjunto de tecnologías neutrales, sino una industria que se vale de la extracción y explotación no solo de los recursos naturales, sino también de nuestros datos y nuestros cuerpos.

Algunos problemas éticos de la IA

Privacidad, autonomía humana y libertad. Una de las componentes esenciales que necesita cualquier sistema de IA para poder funcionar son los datos. Los datos son la información, la experiencia si usamos una metáfora humana, de la que se nutren los algoritmos (los sistemas de reglas) que permiten que la IA funcione. Grosso modo, podríamos decir que los algoritmos aprenden de los datos a extraer las relaciones y los resultados más probables. Identifica patrones que se encuentran presentes en los datos y así puede hacer estimaciones precisas. Por este y otros motivos la recopilación de datos es una práctica que tiene lugar diariamente de forma masiva y que nos afecta a todos.

En este contexto, muchos planteamientos éticos vinculados a la recopilación explotación y uso de los datos se plantean en relación con los problemas que estas prácticas pueden suponer, primero, para la privacidad. Los datos que se recopilan a través de nuestros relojes inteligentes, el consumo de películas y plataformas en streaming, etc, pueden contener y eventualmente revelar información extremadamente privada sobre nuestras vida como nuestra orientación sexual,³ nuestras prácticas sexuales, nuestra vida sentimental, familiar, y muchas otras cuestiones que con casi toda seguridad no compartiríamos con una persona de poca confianza y, aún menos con un extraño.⁴

Pero los problemas relacionados con los datos también pueden producir problemas en relación con la autonomía humana y la libertad individual. En relación con la autonomía humana el problema se encuentra relacionado con la pérdida de la capacidad para pensar y tomar decisiones por nosotros mismos en una sociedad donde el uso de algoritmos de IA es cada vez mayor. Pensemos que cuando Netflix o cualquier plataforma de streaming nos hace una recomendación sobre qué película o serie podríamos ver, casi automáticamente desaparece un abanico entero de posibles contenidos que podríamos haber elegido si hubiéramos sido nosotros los que hubiéramos hecho la selección. El problema aquí no es tanto que la recomendación en base a nuestras elecciones previas, sino nuestra predisposición a mantenernos dentro de las películas seleccionadas por el algoritmo.

En el caso de las plataformas de streaming esto puede ser algo anecdótico, pero ¿qué sucedería si este tipo de sistemas se usaran para recomendarnos que nuevos productos disponibles en el supermercado nos gustarán más en base a nuestras preferencias alimenticias? ¿Y si las recomendaciones fueran sobre qué carrera estudiar, qué universidad elegir, dónde veranear o con quién tenemos más posibilidades de construir una relación sentimental duradera? Nuestra tendencia no solo a considerar, sino en muchos casos a adoptar las recomendaciones de la tecnología puede resultar muy problemática si el número de ámbitos en los que estas actúan aumenta. Aunque seamos nosotros los que creemos tener la última palabra, lo cierto es que este tipo de recomendaciones acotan nuestro rango de actuación y en muchos casos eliminan siquiera la posibilidad de plantearnos otras preferencias, caminos y/o alternativas que rompan con ese sendero que los algoritmos marcan a partir de nuestros gustos previos.

Además de la pérdida de autonomía humana, la recopilación y uso masivo de datos también puede afectar a la libertad individual. En la tradición liberal que predomina en los países occidentales la libertad se entiende como la ausencia de interferencia para actuar de la forma que nosotros consideramos más adecuada siempre y cuando esta se mantenga dentro de los límites que permiten la convivencia dentro de una comunidad política.^5,6 Para ejemplificar como la IA afecta a esta idea de libertad normalmente se recurre al uso que hace China de estas tecnologías. El sistema de crédito social chino funciona a través de la recopilación de ingentes cantidades de datos sobre sus ciudadanos para sancionarlos o premiarlos en función de cómo de “cívica” haya sido su conducta. Así, por ejemplo, a los ciudadanos que hayan acumulado una serie de faltas, como ausencias a citas médicas o cruzar la calle con un semáforo en rojo, puede llegar a prohibirles realizar vuelos internacionales.⁷ En este sentido, resulta evidente como ciertas formas de uso de nuestros datos puede entrar en conflicto con la libertad individual de las personas.

El sistema de crédito social chino funciona a través de la recopilación de ingentes cantidades de datos sobre sus ciudadanos para sancionarlos o premiarlos

Aunque en Europa este tipo de sistemas estarán prohibidos según la regulación de IA,⁸ cabría preguntarse hasta qué punto, por ejemplo, el uso de sistemas de IA para determinar a qué personas se les otorga un crédito bancario y a quiénes se les deniega, controlar las fronteras, otorgar visados, etc., constituyen o no actos contrarios a la libertad. Si atendemos a otras formas de entender la libertad que se salgan del marco del liberalismo como, por ejemplo, la que se maneja dentro del marco del republicanismo donde la libertad no se entiende con relación al individuo, sino a la comunidad en su conjunto,⁹ entonces encontramos que es posible que los sistemas de IA preserven la libertad individual, es decir, no interfieran en nuestra vida, y, sin embargo, no nos permitan ser ciudadanos libres.¹⁰

El concepto de libertad como no dominación que opera en el seno del republicanismo muestra cómo, a ojos del liberalismo, un esclavo podría ser considerado libre si tuviera un amo muy bueno que le permitiese hacer lo que quisiera. El hecho de que el esclavo elija sus actos no le hace menos esclavo, pues siempre se encuentra bajo el control de su amo. En este sentido, el republicanismo y sus versiones contemporáneas ofrecen unas nuevas lentes con las que problematizar la IA y ser más críticos con estas tecnologías .

Estas reflexiones apuntan a que aún en aquellas circunstancias en las que la IA no llegase a interferir directamente en nuestra vida, el hecho de que estas tecnologías se materialicen en todos los ámbitos de nuestra vida convierte a las empresas que recopilan nuestros datos en dueños de nuestras vidas.

El republicanismo y sus versiones contemporáneas ofrecen unas nuevas lentes con las que problematizar la IA y ser más críticos con estas tecnologías

En el capitalismo de la vigilancia en el que son otros los que disponen de nuestros datos y los que eligen cómo y cuándo usarlos, nosotros, la ciudadanía, dejamos de ser libres¹¹.

Sesgos, discriminación e igualdad. En relación con los datos no solo importa cuántos datos se recopilen. También hay problemas éticos que surgen en función del tipo de datos que se usen para nutrir los sistemas IA. Como mencionábamos en el apartado anterior la IA aprende de los datos con los que se le entrena, principalmente, buscando patrones de repetición que le permitan identificar las relaciones más probables en función de la frecuencia. El entrenamiento y uso de datos de mala calidad y poco representativos en el caso de la IA puede producir problemas de discriminación y, por tanto, resultados que generan situaciones incompatibles con la justicia entendida en términos de igualdad.¹²

Los problemas de discriminación en la IA pueden tomar distinta forma y se pueden deber a cuestiones de raza, etnia, género, clase social, religión, lenguaje, etc.¹³ Estos problemas se producen cuando los datos de los que se nutren los sistemas de IA no son representativos y, al contrario, tiende a sobrerrepresentar a unos colectivos frente a otros. En la medida que la IA, como sucede de manera generalizada en el ámbito científico-tecnológico, es marcadamente androcéntrica los datos suelen representar con mayor frecuencia a los hombres blancos antes que a cualquier otro grupo de personas. Así, desde que estas tecnologías han empezado a operar entre nosotros se han ido descubriendo este tipo de sesgos que generan discriminación.

Para ilustrar esta problemática podemos usar el ejemplo del sistema IA que hace unos años puso en marcha Amazon para optimizar su proceso de selección de personal y elegir a los mejores candidatos para un puesto.^[14 Sin embargo, al poco tiempo de tener en funcionamiento este sistema, la compañía se dio cuenta de que a los currículums de mujeres se les asignaba, de manera sistemática, una puntuación más baja que a la de los hombres. Tras analizar qué estaba sucediendo descubrieron que en los datos con los que se había entrenado al algoritmo, que procedían de los procesos de selección de personal de la empresa durante los 10 años anteriores, había una desproporcionada presencia de hombres. Esto provocó que el algoritmo encontrase un patrón de repetición claro: si en el pasado más hombres se habían presentado para ocupar un puesto y habían sido seleccionados, entonces debe ser que ellos son más aptos para ese cargo. De este modo que cuando esta IA se puso en funcionamiento empezó a tomar la variable “hombre” como algo positivo, tal y como podría haber sido el tener más años de experiencia en un puesto similar o una formación especializada en el área de contratación.

Como hemos señalado antes, los sesgos también pueden producirse por cuestiones de raza. El proyecto Gender Shades¹⁵ analizó tres sistemas de reconocimiento facial y demostró como los rostros de personas negras eran identificados con menos precisión que los de personas blancas de manera sistemática. Uno de los sistemas, desarrollado por Microsoft, identificaba correctamente el 100% de las caras de hombres blancos, en el caso de los hombres negros el porcentaje de aciertos era del 94%. Las cifras de IBM eran incluso peores, frente al 99,7% de hombres blancos correctamente identificados el de hombres negros era del 88%. Si al color de la piel le sumamos la variable del género, entonces la diferencia es aún mayor. Frente al 100% de hombres blanco bien identificados por el sistema de Microsoft, este solo acertaba con el 79,2% de las mujeres negras. En el caso de IBM la diferencia era del 99,7% para los hombres blancos al 65,3% para las mujeres negras.

Un sistema de IA de Amazon asignaba a los curriculums de mujeres, de manera sistemática, una puntuación más baja que a los hombres

Estos y otros ejemplos muestran como la IA está sesgada en distintos sentidos, produce situaciones discriminatorias y evidencia de falta de neutralidad. Estos problemas no son fallos o errores puntuales que se den en la tecnología, sino que son el resultado de una forma de pensar, entender y hacer ciencia y tecnología desde presupuestos marcadamente androcéntricos y blancos. La IA, como el resto de las tecnologías, ha sido (y continúa siendo) imaginada, diseñada y usada no solo en el marco de un sistema patriarcal, sino también capitalista en el que la norma, el dato estándar, es el del hombre blanco occidental. Esta realidad que permea las estructuras de la IA , y todas las disciplinas científico-técnicas, son el verdadero motivo de las sistemáticas discriminaciones y situaciones de desigualdad producidas por la tecnología y evidencia que estas son indisociables de proyectos ideológicos, así como ciertos contextos políticos y sociales. Si buscamos construir sociedades justas en la que todos los ciudadanos y ciudadanas sean libres e iguales, entonces debería ser una prioridad no solo acabar con los sesgos, sino cuestionar el proyecto actual de IA. La tarea por delante no es sencilla, la igualdad en la IA no solo depende del uso de bases de datos que representen en igualdad de condiciones a los colectivos que se verán afectados por sus decisiones y/o recomendaciones, también implica revisar los propios fundamentos tecnológicos, científicos, políticos, económicos y sociales que han permitido que la IA surja con tanta fuerza y amenace con convertirse en un ser omnipresente en nuestra sociedad.

Crisis ecosocial. Desde finales del s. XX las tecnologías digitales han sido presentadas como radicalmente contrarias a las tecnologías industriales de la primera y la segunda revolución industrial y, por tanto, como limpias, respetuosas con el medioambiente, casi independientes de infraestructura y normalmente asociadas a trabajos de gran valor social que necesitan de alta cualificación. Así lo reflejan los distintos discursos sobre tecnologías como la IA que se encuentran plagados de metáforas ecológicas como “la nube”, “redes neuronales”, “montañas de datos”, “granjas de datos”, etc., que nos hacen relacionar estas tecnologías con el respeto a la naturaleza y un futuro verde.¹⁶ Metáforas que tratan de ocultar una realidad muy distinta: que la IA, lejos de ser un ente casi etéreo similar a una nube, es tan material y contaminante como una mina .

De la mina proceden los materiales que se necesitan para fabricar las tecnologías de IA. Materiales como el cobre, el níquel, el litio, las tierras raras, etc., se han convertido en elementos esenciales cuya extracción genera un impacto ecológico tremendo y su apropiación, conflictos geopolíticos serios. Y es que, por un lado, buena parte de estos materiales críticos, también conocidos como CRM,¹⁷ se encuentran en suelo chino y ruso, así como en otros países como Brasil, India, Chile, Bolivia, etc. Solo una pequeña parte de ellos se encuentra en territorio europeo. Por otro lado, las prácticas de extracción asociadas a la minería producen erosión, pérdida de biodiversidad, devastación de la vegetación cercana, contaminación de las aguas, deforestación, etc. Además, la minería, el refinamiento de materiales, la manufactura fuera de Europa, etc., suele estar vinculada a unas condiciones laborales pésimas para los trabajadores implicados.¹⁸

Los sesgos que permean las estructuras de la IA evidencian que estos sistemas son indisociables de proyectos ideológicos y de ciertos contextos políticos y sociales

Una vez se dispone de los materiales adecuados y estos son manufacturados su transporte a Europa también produce un impacto ecológico importante. En 2017, el transporte a través de barcos mercantes, utilizados, entre otros fines, para transportar los productos y las tecnologías de IA, fue responsable del 3,1% de las emisiones globales de CO2, lo que supera, por ejemplo, las emisiones producidas por un país como Alemania.¹⁹ Asimismo, los cables submarinos a través de los cuales se transmite gran parte de la información que necesita la IA para funcionar producen un impacto medioambiental muy alto y son una realidad normalmente opacada al hablar de IA.

La minería, el refinamiento, la manufacturación y el transporte ponen de relieve que lejos de ser realidades no contaminantes, la IA es un grupo de tecnologías que necesita de una amplísima infraestructura (mucho mayor que la de las tecnologías industriales) para funcionar. Una infraestructura que se extiende también dentro de las fronteras europeas. Los centros de datos donde se almacena la información –nuestros datos– que usa la IA también son realidades materiales que permanecen con frecuencia ocultas y que, sin embargo, consumen una gran cantidad de energía. En el año 2018, los centros de datos europeos consumieron el 2,7% de la energía eléctrica producida en la UE y las predicciones más optimistas, en el caso de que las ganancias en eficiencia energética crezcan al mismo ritmo que el consumo, estiman que este alcance el 3,21% en 2030. En el caso de que eficiencia y consumo no vayan de la mano este último podría alcanzar el 6%.²⁰

Y es que, ya en 2011, si la computación en la nube fuera considerado un país, esta sería el sexto país del mundo que más energía eléctrica demanda.²¹ Entre 2012 y 2014 la industria de las tecnologías de la comunicación y la información (TIC) consumió tanta energía eléctrica como el tercer país más contaminante del mundo, solo detrás de EEUU y China.²² También el entrenamiento de algoritmos como ChatGPT y otros grandes modelos de lenguaje consume grandes cantidades de energía que suelen ser pasadas por alto . Se estima que entrenar a ChatGPT-3 ha «generado 500 toneladas de CO2, el equivalente a ir y volver a la Luna en coche».²³ Además, «el uso que se habría hecho de electricidad en enero de 2023 en OpenAI, la empresa responsable de ChatGPT, podría equivaler al uso anual de unas 175.000 familias danesas»,²⁴ aunque se apunta que estas familias no son las que más consumen en Europa.

El entrenamiento de algoritmos como ChatGPT y otros grandes modelos de lenguaje consume grandes cantidades de energía, algo que se suele pasar por alto

Finalmente, el reciclaje de los desechos electrónicos que se derivan del uso masivo de tecnología, entre ellas las de IA, no es todavía una práctica totalmente extendida en la UE. Gran parte de estos desechos se trasladan a países como Ghana o Pakistán donde son acumulados produciendo un deterioro del entorno y las especies que lo habitan a través de la acidificación de las aguas, la expulsión de gases tóxicos, la pérdida de biodiversidad, etc. Esta realidad pone de relieve una forma de funcionamiento de la IA muy distinta a la narrativa de los datos y los algoritmos que solemos escuchar. Al contrario, plantea serias dudas sobre si los discursos políticos, económicos y académicos qué presentan a la IA como una aliada fundamental para luchar contra el cambio climático están o no en lo cierto y si esta no sirve más bien para hacer greenwashing y seguir justificando y legitimando el consumo ilimitado en Occidente sin importar el impacto socioecológico que ello implique.

Conclusiones

Los problemas éticos que hemos expuesto en este texto son solo algunos de los que surgen en torno al diseño, adopción y uso de estas tecnologías.²⁵ La elección de estos y no otros se debe a que apuntan a problemas de fondo asociados el proyecto de IA en su conjunto, no a una simple enumeración de debates éticos que parten de la asunción de que dicho proyecto es bueno y/o deseable en sí mismo. El impacto socioecológico de la IA, junto a sus implicaciones para la libertad, las mujeres y otros colectivos vulnerables, pone de relieve que estas tecnologías son mucho más que sistemas enfocados a tomar decisiones iguales o mejores que las humanas, sino que más bien constituyen una idea, una forma de entender y ejercer el poder, una infraestructura y una industria extractivista de nuestros de recursos naturales, nuestros datos y nuestros cuerpos. En este sentido, la reflexión ética y política sobre la IA nunca debería limitarse a asumir los marcos tecnooptimistas que se nos imponen dentro del capitalismo y, más bien, debería a apuntar hacia como construir futuros ecológicos y socialmente justos en los que la tecnología no sea la única solución a nuestros problemas y la vía preferencial hacia el progreso.

Lucía Ortiz de Zárate Alcarazo es investigadora en Ética y Gobernanza de la Inteligencia Artificial (IA) en la Universidad Autónoma de Madrid (UAM) e investigadora asociada en el Círculo de Bellas Artes de Madrid.

NOTAS

¹ Mariarosaria Taddeo y Luciano Floridi, «How AI can be a force for good», Science, 361(6404), 2018, pp. 751-752.

² Langdon Winner, El reactor y la ballena, Gedisa, 2013.

³ Ryan Singel, «Netflix Spilled Your Brokeback Mountain Secret, Lawsuit Claims», Wired, 17 de diciembre de 2009, disponible en:

⁴ Carissa Veliz, Privacidad es poder, Debate, 2021.

⁵ John Stuart Mill, Sobre la libertad, Alianza, 2013.

⁶ Isaiah Berlin, Sobre la libertad, Alianza, 2017.

⁷ Charlotte Jee, «China’s social credit system stopped millions of people from buying travel tickets», MIT Technology Review, 4 de marzo de 2019.

⁸ Lucía Ortiz de Zárate Alcarazo, «La regulación europea de la IA», ABC, 21 de marzo de 2023.

⁹ Quentin Skinner, Liberty before Liberalism, Cambridge University Press, 2012.

¹⁰ Filip Biały, «Freedom, silent power and the role of an historian in the digital age–Interview with Quentin Skinner», History of European Ideas, 48(7), 2022, pp. 871-878.

¹¹ Shoshana Zuboff, La era del capitalismo de la vigilancia. La lucha por un futuro humano frente a las nuevas fronteras del poder, Paidós, 2020.

¹² Lucía Ortiz de Zárate Alcarazo, «Sesgos de género en la inteligencia artificial», Revista de Occidente, 502, 2023.

¹³ Naroa Martinez y Helena Matute, «Discriminación racial en la Inteligencia Artificial», The Conversation, 10 de agosto de 2020.

¹⁴ Jeffrey Dastin, «Amazon scraps secret AI recruiting tool that showed bias against women», Reuters, 10 de octubre de 2018.

¹⁵ Toda la información sobre el proyecto está disponible en: https://gendershades.org/index.html

¹⁶ Allison Carruth, «The digital cloud and the micropolitics of energy», Public Culture, 26(2), 2014, pp. 339-364.

¹⁷ De sus siglas en inglés Critical Raw Materials.

¹⁸ Kate Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021.

¹⁹ Zoe Schlanger. «If Shipping Were a Country, It Would Be the Sixth-Biggest Greenhouse Gas Emitter», Quartz, 17 de abril de 2018.

²⁰ Francesca Montevecchi, Therese Stickle, Ralph Hintemann, Simon Hinterholzer, Energy-efficient Cloud Computing Technologies and Policies for an Eco-friendly Cloud Market, Comisión Europea, 2020.

²¹ Tom Dowdall, David Pomerantz y Yifei Wang, Clicking Green. How companies are creating the green internet, Greenpeace, 2014.

²² Adrián Almazán, «¿Verde y digital?», Viento Sur: por una izquierda alternativa, 173, 2020, pp.61-73.

²³ Manuel Pascual, «El sucio secreto de la Inteligencia Artificial», El País, 23 de marzo de 2023.

²⁴ Ibidem

²⁵ Mark Coeckelbergh, Ética de la inteligencia artificial, Catedra, 2021.

Acceso al artículo a texto completo en formato pdf:  Una ética para la inteligencia artificial: libertad, feminismo y ecologismo

Se encuentra en las plataformas desde las que adquirimos productos o contratamos servicios, en las redes sociales, en los buscadores y traductores de uso cotidiano, en los asistentes virtuales que prestan ayuda en los hogares, en los robots que actúan como sirvientes domésticos, en algunos termostatos que regulan la temperatura de la vivienda, en los electrodomésticos programables a distancia, en las pulseras que miden los signos vitales, en el smartphone del que no nos despegamos ni en las horas de descanso.

Nos acompaña de forma imperceptible a pesar de determinar profundamente nuestro modo de vida y la reproducción de las dinámicas sociales y relaciones de poder.

La proliferación de espacios digitalizados hace que vivamos con naturalidad en ámbitos crecientemente artificializados. Esa dificultad de percibir el medio en el que nos desenvolvemos es un poderoso obstáculo que impide pararnos a pensar en las implicaciones ecológicas, sociales, económicas y políticas que la digitalización conlleva y, más aún, las específicas que se desprenden de complejas tecnologías que −como el big data y la IA− impulsan su desarrollo.

Un misterio encerrado en un arcano

Otra dificultad para evaluar las consecuencias de la IA viene de la mano de su complejidad y opacidad. No resulta evidente identificarla y, mucho menos, definirla y conocer cómo funciona.  Aunque se viene desarrollando desde mediados del siglo pasado, la mayor parte de la población empieza a ser consciente de su presencia y uso masivo con la noticia del lanzamiento del ChatGPT, cuando se situó el asunto en el centro de la conversación social. Desde entonces, raro es el día en que no aparezca alguna noticia, crónica o artículo sobre el tema, pero en lo fundamental sigue siendo un arcano indescifrable para la ciudadanía.

Una definición básica de IA hace referencia a sistemas y programas que pretenden imitar las capacidades cognitivas propias de los humanos a partir de la suposición de que todas esas funciones (como el aprendizaje, el cálculo, la racionalidad instrumental, la percepción, la memorización e incluso la investigación científica y la creatividad artística) pueden describirse con tal precisión que resultaría posible programar un ordenador para que las replicara.

El desarrollo de la matemática de la comunicación y de la economía de los datos ha permitido que la información se convierta en una unidad cuantificable que no dependa de su contenido para ser trasmitida. La informática que ofrece dispositivos de entrada y salida (inputs/ outputs), unidades de procesamiento (mecanismo de control) y memorias (unidades de almacenamiento de las unidades de control), unida al desarrollo de los algoritmos y las teorías de redes, han hecho posible que, reunidos los conocimientos y los avances de esos campos, surgiera la inteligencia artificial. Los avances en la neurociencia han ofrecido espejos en los que inspirarse. La IA basada en modelos neuronales consiste en superponer capas de neuronas artificiales: «Cada neurona recibe muchos inputs (aportaciones) de la capa inferior y emite un único output (producto resultante) a la capa superior, como hacen las muchas dendritas y el único axón de las neuronas naturales. Capa a capa, la información se va haciendo más abstracta, como ocurre en nuestro córtex (corteza cerebral) visual».1 Lograr el reconocimiento de imágenes, la interpretación del lenguaje hablado o la generación de textos coherentes requiere ingentes cantidades de datos y gran potencia de computación que solo se ha alcanzado en tiempos recientes. Estas circunstancias son las que han permitido la aparición de la IA generativa, cuya función principal es generar contenidos en forma de texto, imagen, audio o video indistinguibles de los generados por un ser humano.

Resultados espectaculares acompañados de preocupantes sombras

Pero estos logros espectaculares vienen acompañados de nuevas opacidades que cubren con un misterio aún mayor el que provoca en el entendimiento de la ciudadanía de a pie la complejidad propia del funcionamiento de la IA. En efecto, los modelos de lenguaje extenso (large languaje models, LLM) que posibilita la IA generativa requieren un laborioso entrenamiento que emplea, como hemos dicho, una gran cantidad de datos cuyo manejo no está claro que cumpla un criterio mínimo de transparencia capaz de garantizar los derechos de los autores o el consentimiento en la entrega de la información de los usuarios digitales con los que se alimenta al sistema.

Otra cuestión tiene que ver con la fiabilidad de los contenidos generados. El sistema se entrena con información y a sus respuestas se les exige coherencia y credibilidad, pero poco más. Por eso hay que tener presente, como sostiene el profesor de ética de la Universitat Ramon Llull, Xavier Casanovas, «que la IA ni sabe por qué sabe lo que sabe ni entiende lo que dice o responde. Su respuesta busca simular el lenguaje humano y (…) puede dar lugar a un giro epistémico definitivo en nuestra escala de valores, en el cual la verdad deja de tener importancia y lo que cuenta es la verosimilitud, es decir, la apariencia de verdad».2 Situación que se agrava si, además de pretender utilizar la IA para avanzar en el conocimiento, aspiramos también a obtener recomendaciones y a automatizar decisiones. Lo señala el profesor de ciencias políticas Joan Subirats: «Estamos entrando en escenarios en los que los sistemas computacionales más avanzados son capaces de decirnos qué tenemos que hacer, qué alternativa de acción es la “correcta”, o dicho de otra manera, cuál es su “verdad”»,3 para subrayar a continuación la necesidad de (re)politizar el debate tecnológico, pues ante los procesos de cambio acelerado que vivimos como consecuencia del rápido despliegue de las nuevas tecnologías de la información no podemos dejar de incorporar de manera sistemática la incertidumbre y la complejidad al debate social y a la toma de decisiones colectivas. Asumir ambas cosas en el proceso colectivo de toma de decisiones exige considerar la pluralidad de subjetividades, la combinación de diferentes “inteligencias”, la contraposición de distintos intereses, perspectivas e ideas y la confrontación de valores, es decir, deliberar políticamente, para así poder encontrar soluciones comúnmente aceptadas más allá de la respuesta “correcta” propuesta por una máquina que no hace sino reproducir los criterios y sesgos con los que ha sido construida.

Sesgos y desigualdades automáticas

Nos encontramos ante una de las cuestiones centrales de la proliferación de la IA: la implantación de sistemas automáticos que deciden a quién se vigila, qué familias son merecedoras de los recursos públicos, a quién se preselecciona para un empleo, qué clientes deben obtener la cobertura de un seguro, a quién se le debe conceder un préstamo o investigar por fraude.4 La IA contribuye a preservar y profundizar viejas formas de segregación social al mismo tiempo que crea otras maneras de discriminación de la mano de los sesgos digitales. Si el «sesgo de la automatización» consagra la discriminación al dar por válido y usar una recomendación obtenida de un sistema automatizado, el «sesgo algorítmico» ya viene incorporado en el propio mecanismo en la medida en que los datos que se utilizan para entrenar ese sistema reflejan y perpetúan injusticias ya existentes.

La reproducción de injusticias y desigualdades a través de las tecnologías nos muestran que estas no tienen nunca un carácter neutro ni una evolución autónoma al encontrase incrustadas en una realidad social. Aunque el automatismo y los resultados inesperados que ofrece la IA puedan inducirnos a pensar en la emergencia de una realidad paralela plenamente autónoma de nuestra voluntad, lo cierto es que el desarrollo de esta tecnología está completamente integrado en las estructuras sociales, políticas y económicas de la sociedad. En este sentido, la IA no hay que verla únicamente como el producto de un proceso tecnocientífico, sino también como el resultado de la red de interconexiones de intereses, relaciones de poder, valores, normas, prácticas, costumbres y sesgos preexistentes durante el proceso de diseño, desarrollo y adopción del artefacto, de manera que su funcionamiento suele generar resultados discriminatorios por motivos de género, origen étnico o clase social. A su vez, la propia tecnología que forma parte de ese entramado de relaciones contribuye a su redefinición e influye, cuando no determina, los comportamientos en una sociedad.

El papel de la economía y de las finanzas

Se ha señalado que los programas de IA inspirados en la estructura del cerebro humano solo pudieron avanzar de forma significativa cuando dispusieron de enormes cantidades de datos y suficientes capacidades de computación para procesar esa información. Gracias a la popularización de las redes sociales y otras plataformas, los usuarios y clientes generamos diariamente los datos que el análisis automatizado de la IA convierte en una ventaja competitiva para las empresas. De esa apropiación de datos surgen nuevos modelos de negocio sobre los que asientan su poder las grandes tecnológicas como Meta, Amazon o Alphabet. Un modelo que tiene como objetivo captar permanentemente nuestra atención para mantenernos eternamente enganchados a los dispositivos digitales que permiten poder cumplir adecuadamente con nuestro papel de suministradores de información. Este imperativo extractivo eleva las operaciones de suministro a la categoría de función definitoria del llamado «capitalismo de la vigilancia».5

Pero para entender el poder de las grandes empresas tecnológicas es preciso examinar también cómo se han financiado. Pocas empresas del sector han crecido sin el impulso inicial de los fondos de capital riesgo. A fin de cuentas, el poder digital es parte de la economía financiarizada.6 Aunque venía desarrollándose desde la segunda mitad del siglo pasado, el auge y despliegue de la IA solo ha podido darse ahora, cuando las finanzas ocupan un papel central en el funcionamiento de la economía.

Implicaciones en todos los ámbitos

El aprendizaje automático es la parte de la IA que mayor influencia va a tener en nuestras vidas, ya que al reconocer patrones de datos permite anticipar, manipular y monetizar el comportamiento de los usuarios, pudiéndose además aplicar prácticamente a cualquier ámbito. La educación, el mundo del trabajo, la política o el funcionamiento de las democracias se están viendo afectadas por su presencia. En el ámbito educativo, se resaltan las ventajas y los riesgos que puede proporcionar tanto a los docentes como al alumnado.7 En el campo científico se promete que su aplicación ayudará a acelerar la investigación de forma exponencial. En el mundo laboral se nos dice que transformará el sentido del trabajo y se remarca el impacto que podrá tener sobre el empleo y las condiciones de su desempeño.8

Tal vez sea en el ámbito de la política donde se observa con mayor preocupación los efectos de la presencia masiva de la IA en la vida social. Podemos recordar la intención de influir en los electores, a partir de millones de perfiles de Facebook, de la empresa Cambrigde Analytica en el referéndum sobre el Brexit y en las elecciones estadounidenses de 2016 que auparon al gobierno a Donald Trump. Sin embargo, es probable que lo peor esté aún por llegar.

La combinación de la IA generativa con unas redes sociales cada vez más absorbentes u otras realidades virtuales como el Metaverso auguran un escenario en el que podrán hacer acto de presencia −como ya ocurre, pero a una escala más grande y con un grado de penetración incomparablemente mayor− contenidos tóxicos y sensacionalistas que inunden y enrarezcan con confusión y mendacidad la atmósfera del debate político, profundizando la polarización y la desinformación. Lo hemos ido señalando: si la IA suprime la verdad y la transparencia, es desarrollada al servicio y bajo el control de grandes corporaciones oligopólicas y actúa reproduciendo y simplificando sesgos de género, étnicos o de clase, puede llegar un momento en el que la aspiración a una idea de democracia real e inclusiva se convierta simplemente en una quimera.

El impacto ecológico de la IA

Por otro lado, no cabe obviar su materialidad. La IA emplea grandes cantidades de recursos y energía con amplias consecuencias ecológicas. Es importante considerar toda la cadena de suministro y producción de la IA. Empieza, como todas las dinámicas extractivistas, en las minas de las que obtenemos los recursos. La materialidad de la IA (como la de toda la economía digitalizada) está asociada a 17 elementos metálicos conocidos como «tierras raras», cuya disponibilidad es un factor limitante con relevantes implicaciones geopolíticas, como se ha señalado en otras ocasiones en esta misma revista. Antes de llegar a la fase de consumo está la fase de entrenamiento de los algoritmos, que conlleva una huella de carbono considerable. Continúa con la energía que exige su funcionamiento y los consumos propios de agua, energía y materiales (particularmente litio y cobre) de todas las infraestructuras que la hacen posible, como los centros de datos o las grandes instalaciones que albergan los servidores informáticos y los cientos de miles de kilómetros de cableado.9

Regular: ¿será suficiente?

Una investigación del Centro de Resiliencia de Estocolmo ha identificado catorce posibles “trampas evolutivas” que podrían convertirse en callejones sin salida para la humanidad.10 Somos increíblemente creativos como especie, capaces de innovar y adaptarnos a diversas circunstancias y de cooperar a escalas sorprendentemente grandes. Pero estas capacidades resultan tener consecuencias no intencionadas. El estudio muestra cómo la humanidad podría quedar atrapada en esas trampas evolutivas que se producen a partir de innovaciones inicialmente exitosas.11 La IA y la robótica quedan identificadas entre esas trampas potenciales. Sea o no así, la amenaza real que se vislumbra en estos momentos tiene que ver con el tipo de mentalidad de quienes viven y gobiernan en ese particular ecosistema de Silicon Valley. Para muestra un botón. Han elaborado un indicador −con nombre P(doom)− de la probabilidad de que la IA acabe con la civilización y la especie humana. Dado que no es una medida científica sino únicamente una forma de volcar la percepción que tiene esa gente del riesgo de la actividad que llevan entre manos, lo que verdaderamente muestra es la calentura vanidosa que padecen como narcisistas deseosos de imaginarse capaces de provocar el fin del mundo.12 De ser así, que la Unión Europea sea la primera región del mundo en regular los usos de la IA no dice gran cosa mientras no se adopte un enfoque que aborde desde la interseccionalidad las discriminaciones sexistas, racistas y de clase que comportan el desarrollo de esta tecnología, la materialidad de los procesos desde la «cuna hasta la tumba» y la complejidad de las tramas económicas e institucionales que distribuye desigualmente oportunidades y riesgos, beneficios y perjuicios, entre uno y otros. Como acierta a señalar Sara Degli-Esposti, «romper estas prácticas requiere un cambio social profundo que no puede materializarse simplemente en un código de buenas prácticas».13

Santiago Álvarez Cantalapiedra, Director de FUHEM Ecosocial y de la revista Papeles de relaciones ecosociales y cambio global.

NOTAS

1 Javier Sampedro, «Inteligencia artificial: el miedo no es un argumento», El País, 5 de enero de 2024.

2 Xavier Casanovas, «De la inteligencia Artificial a la inmortalidad del alma», Papeles núm. 269 (Suplemento del Cuaderno CJ núm. 234), septiembre del 2023.

3 Joan Subirats, «¿Qué hay de nuevo en la incertidumbre actual?», La maleta de Portbou, núm. 49, 2021, p. 16.

4 Virginia Eubanks en su libro La automatización de la desigualdad (Capitán Swing, Madrid, 2021) analiza innumerables casos en los EEUU donde los sistemas de elegibilidad automatizados, los modelos de predicción de riesgos o los algoritmos de clasificación están sirviendo, sobre todo, para supervisar y castigar a los más pobres.

5 Shoshana Zuboff, La era del capitalismo de la vigilancia, Paidós, Barcelona, 2020.

6 Nils Peter, «Control económico: el papel de la financiación en las grandes empresas tecnológicas», Estado del poder 2023, TNI/ FUHEM/ CLACSO, 2023.

7 Nacho Meneses, «Estas son las tendencias y los riesgos que marcarán el desarrollo de la IA en la educación», El País, 5 de enero de 2024.

8 Daniel Susskind, «Trabajo y sentido en la era de la inteligencia artificial», Nueva Sociedad, núm. 307, septiembre-octubre de 2023.

9 Sobre los efectos en el mundo rural de nuestro país, véase: Ana Valdivia, «El coste medioambiental de construir minas y centros de datos para la IA en la España rural», The Conversation, 16 de julio de 2023. Una estimación reciente de la huella eléctrica e hídrica de los servicios de datos digitales en Europa en: Javier Farfán y Alena Lorhmann, «Gone with the clouds: Estimating the electricity and water footprint of digital data services in Europe», Energy Conversion and Management, Vol. 290, 15 de agosto de 2023,

10 Peter Søgaard Jørgensen et al., «Evolution of the polycrisis: Anthropocene traps that challenge global sustainability», Philosophical Transactions of Royal Society of London B, 379, The Royal Society Publishing, 2023. https://doi.org/10.1098/rstb.2022.0261

11 La simplificación de los cultivos o la generalización de los antibióticos son algunos ejemplos de esas trampas evolutivas. La implantación de modelos agrícolas simplificados que permiten pocos cultivos altamente productivos (como el trigo, el arroz, el maíz o la soja) ha significado que las calorías producidas se hayan disparado durante el último siglo, pero con la contrapartida de depender de un sistema alimentario altamente vulnerable a cambios ambientales (como los fenómenos meteorológicos extremos o las nuevas enfermedades) o a riesgos en las cadenas de suministro. Otro ejemplo es la resistencia a los antibióticos, que mata anualmente a más de 1,2 millones de personas (más que el sida o la malaria).

12 Jesús Díaz, «Una nueva estimación del peligro de la inteligencia artificial para el futuro de la humanidad», El Confidencial, 13 de diciembre de 2023. Disponible en:

13 Sara Degli-Esposti, Lá ética de la inteligencia artificial, CSIC/Catarata, Madrid, 2023, p. 44.

Cabe preguntarse ahora hasta qué punto los nuevos desarrollos tecnológicos permitirán la emergencia de un orden social capaz de acompañarse de un modelo económico que garantice la sostenibilidad, la cohesión social y la democracia, como apuntan las visiones más optimistas o si, por el contrario, predominarán los insoslayables costes sociales y ecológicos del poder tecnológico y financiero.

Según palabras de Santiago Álvarez Cantalapiedra en la INTRODUCCIÓN del número “el capitalismo digital no se reduce a un sector de bienes de consumo tecnológico pensados básicamente para captar nuestra atención y entretenernos, ni al conjunto de empresas –las llamadas ”tecnológicas”– encargadas de producirlos. Es más bien una nueva forma de operar que incrusta las tecnologías de la información en todos los procesos y productos. Internet no ha transformado solo el modelo productivo; también las reglas del juego.”

ESPECIAL

Transformación antropológica y paradigma tecnológico 
Santiago Alba Rico

Conviene combatir la idea de que la finalidad de todas las tecnologías es la de conducir hacia la construcción de un mundo mejor. Este error se nutre de dos ilusiones: la de la neutralidad de los artefactos, los formatos y las funciones; y la que pone en paralelo progreso tecnológico y progreso humano y social. Todo aquello que nos permite hoy la tecnología impide ver cómo los artefactos tecnológicos imponen su propia lógica. Conviene, en este sentido, preguntarse también acerca de lo que la tecnología nos obliga a hacer, explorando para ello las implicaciones de la tecnología en el marco del capitalismo

Disrupción tecnológica global. ¿Transición a una nueva formación social?
Antonio Serrano Rodríguez

En este artículo se pasa revista a los distintos elementos de la actual revolución científico-tecnológica (RCT), con particular referencia a robótica e inteligencia artificial (AI), sintetizando sus efectos socioeconómicos y territoriales más significativos hasta la actualidad y los previsibles para el medio y largo plazo. Se dedica atención a los efectos sobre las relaciones sociales y productivas, y a la posibilidad de que las mismas puedan significar una transición desde el actual modelo de sociedad de consumo capitalista, globalizado y financiarizado, hacia una nueva formación social en la que los elementos más positivos que se detectarían serían una democracia directa más participativa y un auge de los procomunes que podrían llegar a cuestionar al capitalismo.

Inteligencia artificial, conocimiento y poder 
Margarita Padilla

La inteligencia artificial, en forma de máquinas que aprenden y toman decisiones, es ya una realidad que va entrando, sin apenas resistencia, en la vida cotidiana. Potenciada por la enorme cantidad de datos disponibles, lo que se conoce como big data, como toda nueva tecnología, viene cargada de sospechas sobre su neutralidad y de dilemas sobre sus límites éticos. Tanto el sector privado como el público destacan sus ventajas en el abaratamiento de los servicios y en la objetividad de sus comportamientos. Al sustentarse sobre una narrativa biológica, el funcionamiento del cerebro y de la inteligencia humana se tiñe de una naturalidad que sutilmente obstaculiza su cuestionamiento. Pero, ¿no estará reproduciendo los prejuicios, la exclusión y las desigualdades sociales? Y, sobre todo, ¿cuál es nuestra responsabilidad en todo ello?

Digitalización y trabajo: notas para un debate 
Albert Recio

El artículo examina las narrativas asociadas a la denominada revolución digital y sus efectos sobre la esfera laboral, tanto de corte pesimista como optimista. De un lado, estas tecnologías se presentan como panacea de oportunidades; de otro, como amenaza y azote que suprimirá miles de puestos de trabajo. Ambas visiones encierran aciertos y errores, pero ante todo, la digitalización constituye un conjunto de tecnologías que permiten reforzar el poder del capital en los tres espacios de conflicto: el de la distribución de la renta –con acceso a una fuerza de trabajo más barata–, el del control y el de la flexibilidad –al facilitar una organización de la actividad en tiempo real.

Costes y restricciones ecológicas al capitalismo digital
José Bellver

Pese a la imagen verde que rodea el desarrollo de las nuevas tecnologías de la información y comunicación como facilitadoras de una mayor eficiencia e impulsoras de una mayor inmaterialidad de la economía capitalista. La digitalización se muestra más exigente en el consumo de energía y materiales, así como generadora de residuos, de lo deseado. Este artículo muestra cómo la economía capitalista digital es todo menos ingrávida, está también sometida a las restricciones que impone la naturaleza, y podría de hecho estar contribuyendo más a la gran aceleración del deterioro ecosocial.

Guía para entender y combatir el capitalismo digital 
Javier de Rivera

Este texto aborda un breve análisis histórico y sistémico del capitalismo digital. El objetivo es encontrar fallas estructurales de esta configuración dominante de nuestro tiempo para explotarlas en pos de nuevos modelos sociales. Para ello es preciso sumergirse antes en la comprensión de cómo hemos llegado a la situación actual, resultado de lógicas abstractas que se desenvuelven por sí mismas y que es preciso contrarrestar. En la parte final ofrecemos una serie de estrategias para movilizar dinámicas estables de autonomía.