Inteligencia Artificial y Derechos Humanos: desafíos y oportunidades en la era digital.
Introducción al monográfico

Artificial Intelligence and Human Rights: challenges and opportunities in the digital age.
Introduction to the monograph

José Miguel Iturmendi Rubia

CUNEF Universidad. España

jmiturmendi@cunef.edu

ORCID: https://orcid.org/0009-0008-6402-9386

https://doi.org/10.18543/djhr.3202

Fecha de publicación en línea: diciembre de 2024

Cómo citar / Citation: Iturmendi, José Miguel. 2024. «Inteligencia Artificial y Derechos Humanos. Desafíos y oportunidades en la era digital». Deusto Journal of Human Rights, n. 14: 11-31. https://doi.org/10.18543/djhr.3202

Sumario: 1. Tecnología, sociedad y derecho.

1. Tecnología, sociedad y derecho[1]

Hace más de un siglo, el veinticuatro de enero de 1902, en el curso de una celebrada conferencia pronunciada en la Royal Institution of London que lleva por título “Descubrimiento del futuro”, el novelista, reformador activo y lúcido polemista inglés Herbert George Wells pudo decir, desde su apasionada creencia en la perfectibilidad ilimitada del género humano por medio del progreso científico: “En el siglo pasado se produjeron más cambios que en los mil años precedentes […] pero los que habrán de verse en el nuevo siglo harán que aquellos nos parezcan pequeños” (Wells 1913, 62). ¿Qué no decir aquí y ahora, en el tercer milenio, con tantas y tan hondas transformaciones por obra de las tecnociencias? La irrupción de la Red contribuyó hace décadas a una expansión enorme de nuestra capacidad de comunicación inmediata a distancia a costes extremadamente bajos superando con éxito los estrictos condicionamientos de tiempo y espacio a los que se habían visto sometido los instrumentos de que entonces disponíamos. La inteligencia artificial (en adelante IA), instrumento dotado de una compleja serie de potencialidades, permite tareas de realización imposible en un pasado no muy lejano. Ingenios emblemáticos de nuestra cultura y de nuestra actual sociedad tecnológica que están llamados a constituirse en elementos determinantes de la futura memoria histórica y confirmarían la existencia presente de un Prometeo definitivamente desencadenado, “al que la ciencia le proporciona fuerzas nunca antes conocidas y la economía un infatigable impulso” (Jonas[2] 1995, 15).

Los hechos confirman con holgura la validez de la afirmación de Wells, aunque constituye una verdad indisputada que la experiencia del excepcional nivel de desarrollo tecnológico se caracteriza por una velocidad de crecimiento desconocida hasta hace bien poco. Resulta palmario que la tecnología “ha apretado a fondo el acelerador” (Cuadrado 2020, 1650), revolucionando las relaciones organizativas y renovando de manera radical los modos de producción. Asimismo, el grupo de usuarios de los avances tecnológicos, que ha pasado a configurar un conjunto harto heterogéneo, entre los que se cuentan los más variados organismos, instituciones, empresas, profesionales y consumidores, deben adaptarse a los cambios. La denominada “cuarta revolución industrial”[3] (Schwab 2016) ha generado un proceso transformador que quizás concluya por ser imparable en tantos y en tan variados ámbitos de la realidad y del conocimiento. Se trataría de una revolución continua (Fragonard 1995, 199-210), de ser posible la existencia de tal género de revoluciones, que ha convertido de este modo a las transformaciones de las tecnociencias en el paradigma conceptual dominante en nuestro tiempo.

Los avances tecnológicos, de distinta condición y continuamente susceptibles de renovación, y de hecho renovados sin solución de continuidad, han determinado, entre otras novedades, que sus posibles desarrollos, rumbo futuro y conclusión no parezcan de predicción fácil por los analistas; aunque no por ello estamos carentes de augures y escudriñadores del futuro posible. “Algún día hemos de llegar / luego sabremos donde”, que se dice en el poema nacional argentino “El gaucho Martín Fierro” (Hernández 1872).

La IA ha terminado por convertirse en el sector estrella absoluto de las últimas semanas en los mercados de valores y conoce una verdadera explosión alcista. En la última década hemos sido testigos de la consolidación, el desarrollo y el éxito de un ingenio, la IA, cuya implementación en múltiples ámbitos de las actuales sociedades se produce en lapsus de tiempo que cada vez resultan ser mucho más cortos. Y todo ello se produce además con un acusado ritmo de mudanza, que nunca ha dejado de multiplicar su velocidad de emergencia y de desarrollo, lo que nos permite afirmar, sin que padezca la verdad, que se trata de uno de los indicadores de la definición del presente. De este modo, el resto de los restantes indicadores que caracterizan nuestro tiempo, en una visión probablemente no exenta de exageración, bien podrían ser reducidos a la condición de meros apéndices subalternos, las más de las veces mutuamente intercambiables o simples flecos, figurantes añadidos al rasgo tecnológico que ha terminado por convertirse en protagonista, acaparador indisputado de todos los más destacados títulos de crédito.

La revolución científica-técnica conforma en una medida tal nuestro ámbito cultural, que no resulta difícil advertir el desarrollo en este del fetichismo del “objeto tecnológico” que encierra su utilización en la fase actual de la evolución de los seres humanos, así como el efecto totem que de ordinario ejerce. Al margen del inmenso arsenal de las novedosas tecnologías, la era de la IA ha traído consigo su propia mitología, sus objetos y altares de culto, sus mitos y sus lenguajes[4], sus amenazas y esperanzas.

Estaríamos así ante una situación que se ha alcanzado, recurriendo para ello siempre, entre otros elementos, al apoyo y al refuerzo que nos proporcionan una serie de elementos retóricos que no son una mera envoltura en orden a la mejor presentación del contenido del discurso científico–técnico, sino, más bien por el contrario, una de sus partes constitutivas más esenciales. De esta manera, se afianzaron y desplegaron tres ideas–fuerza que contribuyeron a prestigiar al discurso científico–técnico, y a reforzar el ya de por sí elevado grado de consenso existente en torno al mismo: a) el progreso técnico debe ser considerado ética y moralmente neutro; b) la reglas tecnológicas pueden ser consideradas de una máxima racionalidad en la medida en que prescriben el curso de la acción humana óptima, y c) la tecnología está provista de una ilimitada capacidad en orden a la resolución de los problemas que pueda llegar a generar (Coolen 1987, 41-65). Al tiempo que se acrecienta la confiabilidad del conocimiento de los expertos y de la tecnología, de forma que la creciente conciencia del riesgo no perturba sin embargo en muchas ocasiones la conciencia cotidiana confiada.

Todo ello se compadece, a la vez que se encuentra alumbrado, por el principio de libertad de innovación y la libre extensión del conocimiento, que parece haber adquirido la condición de valor profundamente arraigado en nuestra sociedad, como un medio legítimo de cara a la realización de determinados fines de diversa índole -económicos, profesionales o individuales- y como una manera de aplicarnos a nuestros propios límites, actividad esta que nos define como especie, y que en el proyecto de los Modernos liberaría a los seres humanos a través del paulatino dominio de la Naturaleza. Tan es así que hace varias décadas se convirtió como políticamente incorrecta la tesis desplegada en el controvertido libro de Roger Shattuck (1996), en el que, en consideración a las nuevas realidades, sostuvo que tal vez haya llegado el momento de reanalizar críticamente el principio, tan básico desde la Ilustración, en cuya virtud el arte y la ciencia deberían gozar de libertad absoluta, no pudiéndose establecer trabas a su desarrollo. La libertad de innovación no es, empero, absoluta e irrestricta, y tiene sus límites en la seguridad y el respeto a los derechos esenciales.

Tras la implementación en nuestras sociedades de los sistemas de reconocimiento facial, asistentes virtuales, los algoritmos predictivos o los automóviles autónomos, la IA está revolucionando cómo interactuamos con el mundo y entre nosotros. Sin embargo, este avance también plantea importantes preguntas sobre sus implicaciones éticas y su impacto en los derechos humanos. Así, los riesgos asociados al uso de la IA han provocado una transformación de algunas de las visiones del mundo, un cierto descrédito de la tecnología, y podemos encontrar críticas de muy distinto calado a los ingenios tecnológicos que habría conducido al tránsito “del ciberentusiasmo a la tecnopreocupación” (Innerarity 2020, 92) o a una “frankenfobia tecnológica” (Cortina 2024, 15). Se sostiene, asimismo, que nos hallaríamos inmersos en una “Infocracia” (Han 2022, 25) o en la tantas veces referenciada “era del capitalismo de la vigilancia”
en la que se ha venido “a revitalizar el panoptismo digital” (García-Berrio 2023, 46) en el que lo sabuesos de la vigilancia husmean “la conducta en las profundidades de las personas […] porque [personas e investigadores] dejan a su paso un rastro de carne cruda y barata, clicable, que los capitalistas de la vigilancia gustosamente cazan y devoran […] las fieras no tardan en presentarse al festín” (Zuboff 2019, 373).

La potencia de los sistemas de IA a la hora de procesar datos ha terminado por generar una singular inquietud, recelo e incertidumbre y no son pocas las voces que alertan del peligro que implica la evolución de las técnicas hasta el punto de que las libertades más esenciales corren riesgos o pueden llegar a ser desterradas. Como hemos comentado en otros escritos, uno de los signos distintivos de la época presente es que en ella el progreso tecnológico se encuentra ineludiblemente asociado a elecciones de corte ético. Por ello, parece necesario establecer un marco ético adecuado que se encuentre respaldado por una normativa clara, taxativa, que potencie el respeto de los derechos humanos y contribuya a construir un sistema normativo digital que tenga por objeto la protección de la dignidad de la persona y los derechos humanos.

A este respecto es preciso señalar que nos encontramos en un renovado escenario en donde la IA ha pasado a ser un elemento esencial de una civilización. Un mundo que requiere la participación a la hora de establecer sus reglas tanto de instancias públicas de diferente ámbito territorial, transnacional, estatal y local, como de organizaciones privadas de muy diversa naturaleza. Los principales marcos regulatorios —la Unión Europea, China y Estados Unidos[5]— ofrecen diferencias que deben ser consignadas. Europa ha adoptado un enfoque distintivo en la regulación de la IA, marcando un contraste notable con otras regiones como Estados Unidos o China[6]. A través del Reglamento de Inteligencia Artificial (en adelante RIA)[7] la Unión Europea ha decidido no solo regular la tecnología, sino establecer un marco normativo proactivo que busca mitigar los riesgos antes de que ocurran, priorizando la protección de los derechos fundamentales y la seguridad de los ciudadanos. Por su parte, el Consejo de Europa aprobó recientemente el Convenio Marco del Consejo de Europa sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho[8]. Texto que, al reconocer jurídicamente una serie de principios éticos a los que se atribuye, por fin, carácter normativo, incorpora “la lírica” a la “prosa del RIA” (Cotino 2023, 177). Este modelo europeo, que considera la IA como un instrumento que debe operar bajo un conjunto claro de reglas que garantice su uso ético, se diferencia del enfoque de mercados como el estadounidense o el asiático, donde la innovación tecnológica se impulsa con mayor énfasis sobre la rapidez y la competitividad. En estos contextos, la regulación suele ser vista como un obstáculo que frena el progreso, y la actitud general es más reactiva, esperando a que los problemas surjan para luego corregirlos. De este modo, Europa no solo está diseñando políticas que regulen los desarrollos tecnológicos, sino que se propone anticiparse a las posibles vulneraciones de derechos, estableciendo medidas preventivas que aseguren una IA que sea segura, confiable y respetuosa con los principios democráticos, una postura que pone en relieve la prioridad de la protección frente a la simple aceleración de la innovación.

2. El impacto de la IA en los derechos humanos. Recomendaciones

La IA tiene el potencial de mejorar significativamente nuestras vidas en diferentes ámbitos y puede contribuir a generar las condiciones adecuadas que faciliten que los derechos y libertades de que gozan los ciudadanos puedan ser ejercidos de una forma más eficaz. Así, en el ámbito de la protección de la salud, la implementación de sistemas de IA permite diagnósticos más precisos, acelerar los mismo y tratamientos personalizados. En el entorno educativo ofrecen herramientas adaptativas que permiten atender las necesidades específicas de cada estudiante. En relación con el derecho a una tutela judicial efectiva, los algoritmos pueden optimizar el acceso y reducir las dilaciones indebidas. Sin embargo, también surgen preocupaciones sobre cómo estas tecnologías afectan derechos como la privacidad, la igualdad, la libertad de expresión y el debido proceso. Si bien estas tecnologías pueden mejorar la eficiencia y la imparcialidad en ciertos procedimientos, también existe el riesgo de que decisiones automatizadas comprometan el derecho a un juicio justo. La falta de transparencia en los algoritmos dificulta la posibilidad de apelación o revisión, erosionando principios básicos del Estado de Derecho (Cotino y Castellanos 2023).

Uno de los retos más significativos es el uso masivo de datos personales para entrenar sistemas de IA. Los datos biométricos, como huellas dactilares, reconocimiento facial o escaneo del iris son herramientas fundamentales en muchas aplicaciones tecnológicas. Aunque su uso puede incrementar la seguridad y eficiencia en diversos sectores, también plantea riesgos significativos para la privacidad y la protección de los derechos individuales. La recopilación y almacenamiento masivo de estos datos aumenta la vulnerabilidad frente a abusos, violaciones de la privacidad y usos discriminatorios.

Además, los sistemas de IA están íntimamente ligados a la problemática de los sesgos algorítmicos. Estos pueden surgir de los datos con los que se entrenan los sistemas o de decisiones tomadas durante su diseño. Los sesgos algorítmicos pueden perpetuar y amplificar desigualdades existentes, afectando desproporcionadamente a grupos vulnerables como mujeres, minorías étnicas, personas con discapacidad y comunidades marginadas. Esto pone en riesgo derechos fundamentales como la igualdad e interdicción de la discriminación.

La libertad de pensamiento, conciencia y religión también puede verse amenazada por el uso indebido de estas tecnologías. Los sistemas de IA pueden manipular preferencias y comportamientos a través de técnicas de personalización, lo que podría derivar en un control sutil pero poderoso sobre las creencias y elecciones de las personas. Por ello, garantizar la transparencia y la explicabilidad en los sistemas de IA es crucial para mantener la autonomía de los usuarios y proteger estos derechos.

Por otro lado, la relación entre la IA y los derechos de los menores es un tema especialmente delicado. Los niños y adolescentes son particularmente vulnerables al impacto de las tecnologías digitales, incluyendo la IA. Desde el uso de algoritmos en plataformas de redes sociales hasta la incorporación de IA en herramientas educativas, las interacciones de los menores con estas tecnologías pueden influir en su desarrollo cognitivo, emocional y social. Uno de los principales riesgos radica en la exposición a contenidos inapropiados o manipuladores y en la recopilación masiva de datos personales sin un consentimiento adecuado. Por ello, es fundamental que las aplicaciones de IA destinadas a menores cumplan con estrictos estándares éticos y legales, priorizando siempre el interés superior del niño y garantizando un entorno seguro y respetuoso de sus derechos fundamentales.

Asimismo, el derecho a la protección de la salud es uno de los ámbitos donde la IA puede tener un impacto transformador. Los sistemas de IA permiten avances significativos en la medicina personalizada, facilitando diagnósticos más rápidos y precisos, así como tratamientos adaptados a las necesidades específicas de cada paciente. Además, la IA ha demostrado ser crucial en la gestión de crisis sanitarias, como en la predicción y control de pandemias. Sin embargo, su implementación no está exenta de retos. La posible discriminación en el acceso a tecnologías médicas avanzadas, la privacidad de los datos de salud y la dependencia excesiva de sistemas automatizados son aspectos que requieren una regulación cuidadosa. Es esencial garantizar que la IA se utilice para fortalecer los sistemas de salud y que su desarrollo se alinee con los principios de equidad, accesibilidad y respeto por los derechos humanos.

Un aspecto crucial en el desarrollo y uso de la inteligencia artificial es la gobernanza, entendida como el conjunto de políticas, normativas y prácticas destinadas a guiar su implementación responsable. La gobernanza de la IA debe asegurar que estas tecnologías se utilicen en beneficio de la sociedad, estableciendo controles para mitigar riesgos y promover el cumplimiento de valores éticos y democráticos. Esto incluye la creación de marcos regulatorios que garanticen la transparencia, la rendición de cuentas y la participación ciudadana en la toma de decisiones relacionadas con la IA.

En este contexto, el fenómeno de las fake news adquiere una dimensión especial. Los algoritmos de IA tienen la capacidad de difundir información falsa a una escala y velocidad sin precedentes, afectando procesos democráticos y socavando la confianza en las instituciones. Los sistemas diseñados para identificar y combatir la desinformación se enfrentan al desafío de equilibrar la libertad de expresión con la necesidad de proteger la integridad del debate público. La gobernanza debe, por tanto, promover el desarrollo de tecnologías que refuercen la veracidad y la calidad de la información sin vulnerar derechos fundamentales.

Los chatbots, como herramientas basadas en IA, representan una innovación disruptiva en la comunicación y el acceso a servicios. Desde su uso en atención al cliente hasta su integración en servicios públicos, los chatbots pueden mejorar significativamente la eficiencia y accesibilidad. Sin embargo, su implementación plantea preguntas sobre privacidad, transparencia y calidad en la interacción. En el ámbito de los derechos humanos, los chatbots pueden ser utilizados para proporcionar asesoramiento jurídico, apoyo psicológico o información sobre derechos fundamentales, especialmente en contextos donde el acceso a estos servicios está limitado. No obstante, es esencial garantizar que estos sistemas sean inclusivos, libres de sesgos y diseñados para proteger los datos sensibles de los usuarios. Además, debe considerarse el impacto en el empleo y la relación humana, ya que la automatización excesiva puede deshumanizar ciertos procesos.

En este contexto, la regulación es fundamental. La Unión Europea ha liderado la discusión con propuestas como el Reglamento Europeo de IA, que busca establecer un marco para la gestión de riesgos y categoriza los sistemas de IA según su nivel de impacto. Este enfoque preventivo permite abordar problemas éticos y legales antes de que ocurran, protegiendo los derechos fundamentales sin sofocar la innovación.

No obstante, la regulación por sí sola no es suficiente. Es crucial fomentar una colaboración interdisciplinaria entre gobiernos, sector privado, academia y sociedad civil. La inclusión de voces diversas en el diseño y la implementación de sistemas de IA asegura que estas tecnologías sean inclusivas, éticas y responsables. También es esencial promover una alfabetización digital[9] que permita a los ciudadanos comprender los riesgos y beneficios de la IA, así como ejercer un control informado sobre su uso.

Las aplicaciones de la IA en el ámbito laboral también son motivo de preocupación y análisis. Los algoritmos que evalúan el desempeño en tareas laborales sirven para seleccionar personal o distribuyen diferentes tareas entre los trabajadores, y tienen un impacto directo en la vida de los mismos. Si no se gestionan adecuadamente, pueden generar discriminación o aumentar la precariedad laboral, o mermar los derechos laborales (Mercader 2022). Es esencial que se establezcan directrices claras para garantizar un uso justo y ético de estas herramientas, protegiendo el derecho al empleo digno.

Asimismo, el impacto de la IA en la esfera medioambiental no debe ser subestimado. Aunque esta tecnología puede contribuir a la sostenibilidad, optimizando procesos y reduciendo el desperdicio de recursos, también genera una huella de carbono significativa debido al alto consumo energético de los centros de datos y el entrenamiento de algoritmos complejos. Este aspecto plantea la necesidad de diseñar soluciones tecnológicas que sean no solo eficaces, sino también sostenibles y respetuosas con el medio ambiente.

Por otro lado, en el ámbito educativo, la IA ofrece oportunidades sin precedentes para personalizar el aprendizaje y ampliar el acceso a la educación. Sin embargo, también existe el riesgo de que estas herramientas refuercen desigualdades preexistentes si no se garantiza un acceso equitativo. Es crucial que las políticas públicas promuevan la inclusión digital y la formación en competencias tecnológicas, asegurando que nadie quede atrás en esta transformación.

Podemos afirmar sin riesgo a equivocarnos que la inteligencia artificial representa una oportunidad única para el avance humano, pero también una responsabilidad colectiva para garantizar que su desarrollo respete y promueva los derechos fundamentales. El equilibrio entre la innovación tecnológica y la protección de valores democráticos es el desafío central de nuestra era. Al abordar estos retos con rigor y compromiso, podemos construir un futuro donde la IA sea una herramienta para el bienestar y la justicia global.

A modo de conclusión, podemos afirmar que la IA representa una herramienta de enorme potencial para mejorar diversos aspectos de la vida humana, desde la salud y la educación hasta la justicia y la sostenibilidad medioambiental. Sin embargo, su implementación masiva plantea riesgos significativos para los derechos fundamentales. Entre estos riesgos destacan la discriminación derivada de sesgos algorítmicos, la vulneración de la privacidad mediante la recopilación y tratamiento de datos personales, y el debilitamiento de valores democráticos por la propagación de desinformación y el uso indebido de sistemas automatizados en la toma de decisiones. La gobernanza de la IA se perfila como un desafío central para garantizar que esta tecnología contribuya al bienestar social sin comprometer los derechos humanos. La participación activa de gobiernos, empresas, academia y sociedad civil es esencial para establecer un marco normativo que promueva la transparencia, la explicabilidad y la inclusión. Además, la alfabetización digital y el fortalecimiento de capacidades ciudadanas son herramientas clave para empoderar a los individuos frente al impacto de la IA. En ámbitos específicos como la protección de menores y el derecho a la salud, la IA ofrece oportunidades únicas, pero también exige un enfoque ético y regulaciones que prioricen el bienestar de las personas. La IA debe ser diseñada y aplicada de manera inclusiva, asegurando que beneficie a todos los sectores de la sociedad sin perpetuar desigualdades o vulnerar derechos.

Como recomendaciones ad futurum, podemos señalar las siguientes:

Primera. Fortalecer los marcos regulatorios: Diseñar normativas claras que promuevan la transparencia, la rendición de cuentas y el respeto por los derechos fundamentales en el desarrollo y uso de sistemas de IA. El futuro desarrollo y progreso tecnológico debe resultar acorde con el sistema de libertades característico de las sociedades democráticas avanzadas y resulta imperativo evitar que el inevitable desarrollo de la IA termine por generar un detrimento de las garantías jurídicas de las personas. Los avances tecnológicos deben ser adecuadamente controlados y puestos al servicio de la mejora de las condiciones de vida, para lo cual necesitamos un orden jurídico adecuado. Las tecnologías emergentes no deben en ningún caso acentuar renovadas formas de desigualdad, pérdida de derechos fundamentales o menoscabo de la dignidad.

Segunda. Fomentar la alfabetización digital: Implementar programas educativos que capaciten a la ciudadanía en el uso responsable de tecnologías basadas en IA, con énfasis en poblaciones vulnerables. Bastantes de las afirmaciones y no pocas de las conclusiones que encontramos en las obras que componen este monográfico, sólo pueden ser adecuadamente comprendidas desde la asunción de una responsable consciencia tecnológica, tarea a la que debemos invitar a despertar y desarrollar. Actitud crítica, reflexiva y responsable son cualidades necesarias ante los riesgos asociados a las tecnociencias y frente a los nuevos problemas.

Tercera. Garantizar la protección de datos: Reforzar las medidas para proteger los datos personales y limitar su uso a fines éticos y legales, evitando la explotación o manipulación de la información sensible.

Cuarta. Desarrollar tecnologías inclusivas: Promover la participación de comunidades diversas en el diseño de sistemas de IA para evitar sesgos y asegurar que estas herramientas reflejen las necesidades de todos los sectores de la sociedad.

Quinta. Priorizar la protección de menores: Establecer controles estrictos en plataformas digitales y sistemas de IA que interactúen con menores, garantizando su seguridad y bienestar.

Sexta. Optimizar el uso de la IA en salud: Asegurar que las aplicaciones de IA en el ámbito médico sean accesibles, equitativas y alineadas con los principios éticos, promoviendo el acceso universal a los avances tecnológicos.

Séptima. Combatir la desinformación: Desarrollar sistemas eficaces para identificar y mitigar la propagación de fake news mediante IA, preservando al mismo tiempo la libertad de expresión.

Octava. Incentivar la colaboración interdisciplinaria: Crear espacios de diálogo y cooperación entre expertos en tecnología, derecho, ética y política pública para abordar de manera integral los desafíos que plantea la IA.

Estas conclusiones y recomendaciones constituyen una hoja de ruta integral para maximizar los beneficios de la IA al tiempo que se mitigan sus riesgos, con el fin de garantizar un futuro en el que el progreso tecnológico sea plenamente compatible con la protección y promoción de los derechos humanos. En este contexto, la dignidad humana emerge como un principio rector fundamental, pues implica reconocer el valor intrínseco de cada persona y asegurar que el desarrollo tecnológico no comprometa, sino que refuerce, el respeto por este valor esencial. El RIA, en su considerando sexto, destaca esta perspectiva al afirmar: “Dadas las importantes repercusiones que la IA puede tener en la sociedad y la necesidad de generar confianza, es fundamental que la IA y su marco reglamentario se desarrollen de conformidad con los valores de la Unión consagrados en el artículo 2 del Tratado de la Unión Europea (TUE), los derechos y libertades fundamentales consagrados en los Tratados y, de conformidad con el artículo 6 del TUE, la Carta. Como requisito previo, la IA debe ser una tecnología centrada en el ser humano. Además, debe ser una herramienta para las personas y tener por objetivo último aumentar el bienestar humano”.

3. En torno al monográfico. La incidencia de la IA en los derechos humanos

El monográfico que presentamos en esta sede integra aportaciones que contemplan la intersección entre la IA y los derechos humanos desde una considerable variedad de perspectivas y con diversidad de enfoque con vistas a un diálogo jurídicamente interdisciplinario, de lo contrario no se asumirá la complejidad de la realidad de la que se ocupan los autores. Cierto es que, sin abordar toda su fértil problemática ni ofrecer un cuadro acabado que ambicione ser completo o exhaustivo de la temática, lo que hubiera excedido en mucho los propósitos con que se aborda la cuestión y, además, sería tarea imposible. Se trata, como es de sobra conocido, de uno de los sectores de mayor dinamismo de los ordenamientos jurídicos contemporáneos, y de un mundo, los retos que para los derechos humanos suponen los desarrollos ininterrumpidos de las tecnologías emergentes, en el que pocos datos pueden entenderse como definitivos.

A continuación, con este marco general establecido, realizaremos un somero repaso de las diferentes aportaciones individuales que los diversos autores han realizado sobre este tema.

El monográfico se abre con la aportación que lleva por título Human rights, vulnerability and artificial intelligence: an analysis in constitutional perspective, del profesor de Derecho Constitucional de la Universidad de Valencia, Jorge Castellanos, una de las voces más autorizadas en nuestra lengua a la hora de abordar la relación entre IA, democracia y derechos humanos. En su texto, Castellanos identifica, con oportunidad y acierto, el impacto de la IA sobre los derechos humanos desde una perspectiva constitucional, destacando cómo los avances tecnológicos pueden beneficiar, pero también amenazar, a los grupos más vulnerables. Castellanos subraya que la IA puede mejorar la eficiencia y resolución de problemas complejos, pero también perpetuar desigualdades y discriminar debido a sesgos algorítmicos. Asimismo, enfatiza la necesidad de garantizar que la tecnología no comprometa los derechos adquiridos, protegiendo especialmente a los menores, mujeres, migrantes y personas con discapacidad, quienes enfrentan riesgos desproporcionados. Propone, además, adaptar el progreso tecnológico a un marco ético que respete la dignidad humana y aborde los desafíos legales y sociales que plantea la IA. El autor concluye que solo una IA diseñada con enfoque en los derechos fundamentales puede contribuir a una sociedad más equitativa y democrática.

En el contexto de las cadenas de suministro globales, la IA emerge como una herramienta clave para abordar problemáticas profundas como la esclavitud moderna. El artículo AI in supply chains: freedom from slavery revisited, coescrito por Migle Laukyte, experta en Ética y Derecho digital y profesora en la Universidad Pompeu Fabra y Lorena María Arismendy, profesora de Derecho civil en CUNEF Universidad, plantea cómo la IA puede contribuir a identificar y combatir prácticas de trabajo forzoso y trata de personas en estas redes complejas. Las autoras destacan que, aunque la IA ha sido criticada por sus riesgos hacia los derechos humanos, también puede ser aprovechada para incrementar la transparencia en las cadenas de suministro mediante sistemas de vigilancia algorítmica y blockchain. Subrayan la necesidad de un desarrollo ético y regulado de estas tecnologías, para mitigar los sesgos y proteger los derechos fundamentales. Realizan un pertinente examen la idea de que la responsabilidad de combatir estas prácticas no recae solo en las empresas, sino en un marco colaborativo donde gobiernos, sociedad civil y tecnología trabajen conjuntamente.

La integración de la IA en la regulación europea abre nuevas fronteras en el debate sobre los derechos fundamentales y su interacción con el mercado digital. El capítulo The systematics of the European Artificial Intelligence Act in the context of the fundamental rights of the Union: the myth of the digital constitutionalism de la profesora de Derecho Constitucional en la Facultad de Derecho de la Universidad del País Vasco Ainhoa Lasa, examina con exhaustividad lo que sin duda constituye una de las cuestiones más representativas del nuevo escenario normativo, esto es, cómo el Reglamento Europeo de IA articula un marco jurídico diseñado para equilibrar los beneficios económicos de la tecnología con la protección de los derechos fundamentales. La profesora Lasa, en un texto complejo que acredita otra vez más su excelencia investigadora, destaca el riesgo de que la subjetividad digital derive en un modelo que priorice la lógica de mercado sobre valores como la igualdad y la dignidad humana. La autora cuestiona el denominado “constitucionalismo digital”, planteando que la centralidad del mercado en el sistema europeo puede debilitar las garantías sociales y los derechos fundamentales. Concluye señalando que, para lograr que la IA contribuya verdaderamente al bienestar humano, debe existir un enfoque normativo que ponga en primer plano la protección de la persona frente a las dinámicas deshumanizadoras del capitalismo digital.

En un universo donde la IA redefine nuestras sociedades, el siguiente artículo: Facing fundamental rights in the age of preventive ex ante AI: a contemporary form of discrimination, firmado por la profesora Titular de Filosofía del Derecho en la Facultad de Derecho de la Universidad Complutense, Teresa García-Berrio Hernández, sitúa el foco en los desafíos éticos y legales que plantea su uso, especialmente en la protección de los derechos fundamentales, un asunto del que se ha ocupado en publicaciones anteriores. La autora encara, con el detalle y rigor que caracterizan la totalidad de su producción bibliográfica, el estudio de cómo el Reglamento Europeo de IA establece un marco normativo pionero para gestionar los riesgos asociados a esta tecnología, categorizando los sistemas de IA según su nivel de riesgo. García–Berrio destaca con acierto los peligros de los sesgos algorítmicos, que perpetúan la discriminación hacia grupos vulnerables, y propone principios éticos como la no maleficencia y la beneficencia para mitigar estas desigualdades. Además, subraya la necesidad de salvaguardar la dignidad humana frente a manipulaciones subliminales y vulnerabilidades explotadas por la IA. La autora pone de relieve que, en el contexto de la inteligencia artificial, resulta fundamental proteger la libertad de pensamiento, conciencia y religión frente a los riesgos de manipulación y sesgos algorítmicos, destacando que cualquier sistema que amenace estas libertades básicas debe ser rechazado para preservar la autonomía y dignidad de las personas. Sólo un marco ético compartido puede garantizar un uso justo y humano de esta tecnología, promoviendo valores como la empatía y la transparencia.

En un mundo cada vez más digitalizado, la IA redefine la forma en que los jóvenes acceden a servicios esenciales, y los chatbots se posicionan como herramientas clave en este cambio. El capítulo de Alonso Escamilla y Paula Gonzalo: Opportunities and challenges of AI chatbots for digital youth information, advice, and counselling services in Europe, explora el uso de chatbots en servicios digitales de información, asesoramiento y orientación juvenil en Europa, destacando su potencial para ampliar el alcance, mejorar la eficiencia y personalizar la atención. Sin embargo, también subraya los riesgos asociados, como la falta de transparencia, los sesgos algorítmicos y la posible exclusión de grupos vulnerables. Los debutantes enfatizan la importancia de co-diseñar estas herramientas junto con organizaciones juveniles para garantizar que se adapten a las necesidades reales de los jóvenes. Aseveran que la incorporación ética de chatbots no solo debe complementar, sino enriquecer, los servicios existentes para garantizar que estos avances tecnológicos respeten los derechos fundamentales de los usuarios más jóvenes.

La irrupción de la IA plantea nuevos desafíos y oportunidades en la construcción de democracias participativas, donde los derechos fundamentales adquieren una dimensión clave. María Dolores Montero, profesora de Derecho Constitucional en la Facultad de Derecho de la Universidad de Córdoba, experta en el buen gobierno y en la relación entre los algoritmos, la democracia y los derechos fundamentales, analiza en el artículo que lleva por nombre The human right to participate and its connection to Artificial Intelligence, de una forma especialmente cuidadosa, el impacto que proyecta y extiende la expansión en curso de la IA en el derecho humano a participar en la esfera pública, subrayando tanto los riesgos como las posibilidades que esta tecnología ofrece para fortalecer o debilitar las instituciones democráticas. Por un lado, se ocupa de una cuestión fundamental al destacar que la IA puede facilitar el acceso a la información y mejorar la calidad del debate público mediante herramientas que procesen grandes cantidades de datos y permitan decisiones más informadas. Por otro, alerta sobre amenazas como la desinformación, la tribalización política y la creación de realidades paralelas que erosionan el tejido democrático. Montero insiste en que el desarrollo de la IA debe enmarcarse como un complemento de las capacidades humanas, no como un sustituto, asegurando que los valores democráticos y los derechos ciudadanos permanezcan en el centro del avance tecnológico.

Por otra parte, la catedrática de Derecho Financiero en la Facultad de Derecho de la Universidad Complutense de Madrid y Visiting Professor of Law en la Northwestern University , María Amparo Grau, aborda, en Towards a better protection of human rights through the use of AI and related technologies in budgeting and auditing of public expenditure, un asunto que ha constituido un punto central de referencia en algunas de sus publicaciones: el uso de la IA y tecnologías relacionadas en los procesos presupuestarios y de control del gasto público como una herramienta para optimizar la asignación de recursos y garantizar una mejor protección de los derechos humanos. Subraya, en una texto claro, conciso y completo, que la implementación de IA puede ayudar a prevenir irregularidades, reducir la corrupción y aumentar la eficiencia financiera, permitiendo un acceso más equitativo a servicios esenciales como salud y educación. Asimismo, destaca la necesidad de una supervisión eficaz para evitar que la tecnología comprometa los derechos fundamentales y asegura que la digitalización debe alinearse con objetivos de desarrollo sostenible, respetando principios éticos y legales. Grau enfatiza la importancia de establecer un equilibrio entre el uso de tecnologías avanzadas y la protección de los derechos humanos, proponiendo herramientas innovadoras como presupuestos basados en inteligencia artificial para mejorar la toma de decisiones y la transparencia en la administración pública.

La revolución tecnológica que supone la IA en el ámbito de la justicia abre un complejo debate sobre su impacto ético y legal y los desafíos para garantizar la igualdad, el acceso a la justicia y la transparencia. José Carlos Fernández Rozas, catedrático de
Derecho Internacional Privado de la Facultad de Derecho de la Universidad Complutense de Madrid y miembro del Institut de Droit International, reflexiona en su valioso estudio Ética, desafíos y riesgos del acceso a la justicia algorítmica acerca del tema a que compromete su título, en el estilo claro y terso que es marca de la casa, sobre la justicia algorítmica, destacando cómo la IA puede transformar el acceso a la justicia, agilizando procesos y mejorando la eficiencia en la resolución de conflictos. En su aportación no dejan de destacarse importantes riesgos como la opacidad de los algoritmos, la perpetuación de sesgos y la erosión del derecho a un juicio justo. A través de casos emblemáticos como State v. Loomis, el autor analiza cómo la falta de transparencia y las desigualdades en el uso de estas herramientas tecnológicas pueden socavar los principios fundamentales del Estado de Derecho. En un sistema en constante digitalización, Fernández Rozas enfatiza la necesidad de marcos regulatorios sólidos, transparencia en el diseño de algoritmos y una colaboración ética entre tecnología y derecho para asegurar que la IA refuerce, en lugar de poner en peligro, los valores democráticos y los derechos humanos.

En el acelerado desarrollo de las armas autónomas, el uso de la IA redefine la moralidad y la ética de los conflictos armados, planteando serias cuestiones sobre el futuro de la violencia sistemática. Jorge Couceiro aborda cómo las Armas Autónomas Letales (LAWS) generan una tecnificación que diluye la responsabilidad moral y deshumaniza tanto a víctimas como a perpetradores. Al sustituir decisiones humanas por procesos algorítmicos se debilitan las restricciones éticas tradicionales en el uso de la fuerza militar. Aunque sus defensores destacan la eficiencia y precisión de estas tecnologías, Couceiro destaca que perpetúan patrones históricos de violencia fría y calculada, socavando principios esenciales del Derecho Internacional Humanitario. Frente a estos dilemas, el debutante subraya la necesidad de un enfoque ético y regulatorio que priorice la dignidad humana por encima de los beneficios estratégicos inmediatos.

La combinación de métodos de resolución de conflictos y el uso de IA redefine la justicia al enfatizar la participación activa de las personas implicadas, aunque no está exenta de desafíos éticos. Ana María Vall, experta en mediación y profesora de Historia del Derecho en CUNEF Universidad, destaca que los Métodos Adecuados de Solución de Controversias (MASC) representan una evolución hacia una justicia más colaborativa y humanizada, con la IA como aliada clave para superar barreras logísticas y ampliar su alcance. Sin embargo, la autora también señala que confiar en exceso en sistemas tecnológicos puede deshumanizar procesos profundamente emocionales y complejos, planteando dudas sobre la capacidad de la IA para captar la riqueza de las interacciones humanas y las dimensiones éticas inherentes a los conflictos. Este enfoque subraya la necesidad de un desarrollo ético de estas tecnologías para asegurar que complementen, en lugar de sustituir, la experiencia humana en la búsqueda de soluciones justas y personalizadas.

El vínculo entre la ética y la responsabilidad social corporativa (RSC) es esencial para garantizar que la IA se utilice de manera compatible con los derechos humanos fundamentales. Raúl López González explora en su aportación cómo la RSC puede convertirse en un pilar para la protección de derechos como la privacidad y el acceso al trabajo en la era digital, destacando el papel de las empresas en la adopción de medidas éticas y responsables en el desarrollo y uso de tecnologías basadas en IA. Subraya la importancia de integrar principios éticos en la toma de decisiones corporativas, asegurando que los avances tecnológicos contribuyan al bienestar social y al respeto por los derechos fundamentales, convirtiendo a la IA en una herramienta para el progreso sostenible y equitativo.

La IA está transformando el tratamiento de datos personales, planteando retos y oportunidades para el ejercicio de los derechos de los interesados. María Luisa González Tapia, abogada experta en Derecho Digital y Counsel en Ramón y Cajal Abogados desde hace más de una década, analiza cómo la implementación de la IA impacta en los derechos contemplados en el Reglamento General de Protección de Datos (RGPD), con especial énfasis en el artículo veintidós sobre decisiones automatizadas. Destaca la importancia de rediseñar las políticas internas para garantizar el ejercicio de derechos como el acceso, la rectificación y la oposición, y resalta el papel clave de la transparencia y la supervisión humana en el uso de sistemas automatizados. Su trabajo ofrece una visión práctica sobre cómo adaptar las herramientas tecnológicas a los marcos legales, asegurando un equilibrio entre innovación y protección de los derechos fundamentales.

El avance de la IA en el tratamiento de datos biométricos redefine los retos éticos y jurídicos en la protección de los derechos fundamentales, evidenciando tanto sus beneficios como los riesgos asociados. Nuria Cuadrado, profesora de Filosofía del Derecho de la Universidad Complutense de Madrid, pionera en la materia en España, dado que se ha ocupado del Derecho Digital desde el último lustro del pasado siglo, tras su defensa y posterior publicación de su Tesis Doctoral sobre sistemas expertos jurídicos, examina con exhaustividad en su sólida aportación la capacidad transformadora de la IA en sistemas biométricos como el reconocimiento facial y el escaneo de iris, subrayando su impacto en áreas como la seguridad y la identificación personal. La profesora Cuadrado destaca, no puede ser de otra manera, preocupaciones críticas relacionadas con la privacidad, la transparencia y los sesgos algorítmicos que pueden perpetuar desigualdades y discriminar a ciertos colectivos. Mediante el análisis del caso de Worldcoin, el artículo ilustra cómo la recopilación masiva de datos biométricos plantea desafíos regulatorios y éticos que requieren soluciones urgentes. Este trabajo enfatiza la necesidad de marcos normativos sólidos y un compromiso ético claro para garantizar que los avances tecnológicos no comprometan los derechos fundamentales y promuevan un desarrollo inclusivo y respetuoso. En un mundo de condición multipolar, parece claro que se requiere la participación a la hora de establecer sus reglas tanto de instancias públicas de ámbito territorial, transnacional y estatal y local, como de organizaciones privadas de muy diversa naturaleza.

Finalmente, es importante señalar que buena parte de las aportaciones que configuran el monográfico se desarrollan en el marco del Proyecto de I+D+i PID2022-136439OB-I00/MCIN/AEI/10.13039/501100011033, titulado “Derechos y garantías públicas frente a las decisiones automatizadas y el sesgo y discriminación algorítmicas”, financiado por el Ministerio de Ciencia e Innovación y cofinanciado por el Fondo Europeo de Desarrollo Regional bajo el lema “Una manera de hacer Europa” y cuyo investigador principal el Lorenzo Cotino. Asimismo, se enmarca en el proyecto internacional “Developing SustAI’nAbility” (FEI-EU-23-02) y en el proyecto “Biosurveillance through Artificial Intelligence (AI) in the post COVID era: Corporality, Identity and Fundamental Rights” (TED Code 2021-129975B-C21). Estos proyectos convergen en el propósito de explorar las implicaciones éticas, sociales y legales de la inteligencia artificial en contextos globales, proporcionando un marco interdisciplinario para el análisis de cómo la IA está transformando nuestra sociedad. A través de estas iniciativas, se abordan tanto las oportunidades inéditas que la IA ofrece como los retos significativos que plantea en la protección de los derechos fundamentales, subrayando la necesidad de un desarrollo tecnológico centrado en valores humanos y el bienestar colectivo.

4. Agradecimientos

Las últimas líneas servirán como vehículo para expresar una serie de agradecimientos. No me resisto a poner de manifiesto mi agradecimiento a todas las personas que han participado en este número por su rigurosa dedicación y por ocuparse de asuntos relacionados con un proceso transformador que se encuentra en una deriva cuya previsión resulta harto azarosa para los expertos que apenas pueden bucear más allá de la delgada capa de la superficie, en el profundo océano de los desarrollos aún no definidos. Se trata, como es de sobra conocido, de uno de los sectores más dinámicos de los ordenamientos jurídicos contemporáneos y de un mundo, los retos que para los derechos humanos suponen los desarrollos ininterrumpidos de las tecnologías emergentes, en el que pocos datos pueden entenderse como definitivos. Su esfuerzo por abordar los complejos desafíos éticos, jurídicos y sociales que plantea la IA ha enriquecido enormemente el debate y nos impulsa a seguir reflexionando sobre el futuro de nuestras sociedades en este nuevo paradigma tecnológico.

Asimismo, extiendo mi gratitud a la Revista Deusto de Derechos Humanos por crear un espacio académico de excelencia para la divulgación y discusión de temas tan relevantes y necesarios en el contexto actual. De manera especial, quiero reconocer la labor de su directora, Trinidad L. Vicente por su dedicación y compromiso en la promoción de los derechos humanos desde una perspectiva multidisciplinar e innovadora. Su trabajo incansable hace posible que estas iniciativas sigan contribuyendo al avance del conocimiento y a la construcción de una sociedad más justa y equitativa. Un importante estímulo a la hora de aceptar la colaboración en la edición de este monográfico me lo proporcionó, vaya por delante, su inconfundible actitud personal, sus positivas maneras y sus modos característicos de comportarse frente a las más variadas exigencias y retos.

Gracias a todos por su valiosa aportación.

Referencias bibliográficas

Bradford, Anu. 2024. Imperios digitales. La batalla global por la tecnología que marcará la geopolítica del futuro. Barcelona: Shackelton books.

Castellanos, Jorge. 2023. «Sobre los desafíos constitucionales ante el avance de la Inteligencia Artificial. Una perspectiva nacional y comparada». Revista de Derecho Político 118: 261-87. Doi.org/10.5944/rdp.118.2023.39105.

Cotino, Lorenzo y Jorge Castellanos. 2023. Algoritmos abiertos y que no discriminen en el sector público. Valencia: Tirant lo Blanch.

Cotino, Lorenzo. 2023. «El Convenio sobre inteligencia artificial, derechos humanos, democracia y Estado de Derecho del Consejo de Europa».
Revista Administración y Ciudadanía 18: 161-182. Acceso el 2 de diciembre de 2024: https://egap.xunta.gal/revistas/AC/article/view/5173/9431.

Cortina, Adela. 2024. ¿Ética o ideología de la inteligencia artificial? El eclipse de la razón comunicativa en una sociedad tecnologizada. Barcelona: Paidós.

Cuadrado, Nuria. 2020. «Implicaciones ético–jurídicas de los sistemas de reconocimiento facial». En Estudios jurídicos multidisciplinares, dirigido por Mª José Falcón y Tella y Juan Antonio Martínez Muñoz (1647-1660). Valencia: Tirant lo Blanch.

García–Berrio, Teresa. 2023. «La sociedad digital como cultura del riesgo. Desafíos éticos y legales del uso de sistemas de inteligencia artificial para la evaluación de riesgos y la vigilancia preventiva». En Inteligencia artificial y democracia: garantías, límites constitucionales y perspectiva ética ante la transformación digital, dirigido por Jorge Castellanos (39-65). Barcelona: Atelier.

Fragonard, Michel. 1995. Le culture du 20ème siècel: dicctionnaire d´histoire culturelle. Paris: Bordad.

Han, Byung–Chul. 2022. Infocracia. La digitalización y la crisis de la democracia. Barcelona: Taurus.

Hernández, José. 1872. El gaucho Martín Fierro. Acceso el 4 de junio de 2024. https://www.cervantesvirtual.com/obra-visor/el-gaucho-martin-fierro--0/html/ff29f9cc-82b1-11df-acc7-002185ce6064_11.html.

Jonas, Hans. 1995. El principio de responsabilidad. Ensayo de una ética para la civilización tecnológica. Barcelona: Herder.

Innerarity, Daniel. 2020. «El impacto de la inteligencia artificial en la democracia». Revista de las Cortes Generales 109, 87-103. Doi:10.33426/rcg/2020/109/1526.

Lasa, Ainhoa. 2023. «La morfología jurídica del poder global de mercado en su fase digital: una reflexión constitucional». En Inteligencia artificial y democracia: garantías, límites constitucionales y perspectiva ética ante la transformación digital, dirigido por Jorge Castellanos (115-149). Barcelona: Atelier.

Mercader, Jesús R. 2022. Algoritmos e inteligencia artificial en el derecho digital del trabajo. Tirant lo Blanch: Valencia.

Presno, Miguel Ángel. 2023. Derechos fundamentales e inteligencia artificial. Madrid: Marcial Pons. Ediciones Jurídicas y Sociales.

Shattuck, Roger. 1996. Conocimiento Prohibido. Madrid: Taurus.

Simón, Pere y Lorenzo Cotino (dirs.). 2024. Tratado sobre el Reglamento de Inteligencia Artificial de la Unión Europea. Madrid: Aranzadi.

Wells, Herbert George. 1913. The Discovery of the Future. New York: Huebsch.

Zuboff, Shoshana. 2019. La era del capitalismo de la vigilancia. La lucha por un futuro humano frente a las nuevas fronteras del poder. Barcelona: Paidós.

---