Cotino, Lorenzo y Jorge Castellanos, eds. 2023. Algoritmos abiertos y que no discriminen en el sector público. Valencia: Tirant lo Blanch. 292 p.

doi: https://doi.org/10.18543/djhr.3201

Fecha de publicación en línea: diciembre de 2024

La inteligencia artificial (en adelante, IA) es un agente activador de procesos que afecta tanto a la vida cotidiana de las gentes, como a los procesos macrosociales de las colectividades. Así, la IA contribuye, en no pequeña medida, a la transformación del mundo. Por lo mismo, está transformando la administración pública, ofreciendo nuevas posibilidades para la gestión de datos, la prestación de servicios y la toma de decisiones. Sin embargo, esta transformación plantea desafíos que van más allá de lo técnico, ya que involucra cuestiones éticas, legales y sociales que tienen un impacto directo en los derechos fundamentales. Cuando los sistemas algorítmicos son utilizados para asignar recursos, evaluar beneficios o tomar decisiones automatizadas que afectan la vida de los ciudadanos, existe un riesgo real de vulnerar derechos como la igualdad ante la ley, la privacidad, el derecho a la participación política, el acceso a la justicia o la interdicción de la discriminación.

En este entorno resulta inevitable apuntar el riesgo que puede comportar la evolución de la tecnología inicialmente concebida como medio instrumental y aplicada, y que desde hace tiempo apunta una serie de preocupantes rasgos en orden a constituirse en un medio que puede socavar un buen número de derechos fundamentales. Así, la obra colectiva Algoritmos abiertos y que no discriminen en el sector público, coordinada por Lorenzo Cotino, Catedrático de Derecho Constitucional de la Facultad de Derecho de la Universidad de Valencia y por Jorge Castellanos, Profesor Titular de la misma asignatura en la misma Casa de Estudios, constituye, de manera indisputada, un aporte esencial que aborda de manera exhaustiva los aspectos nucleares de esta preocupación. Nos referimos a dos autores que desde hace ya unos años han contrastado su talento mostrado una inexhausta capacidad y una irrefrenable vocación en el abordaje de los aspectos tecnológicos y más estrictamente aplicados de la revolución digital y su intersección con el Derecho. Se configura en esta obra un conjunto que recoge colaboraciones, con un enfoque interdisciplinar, que combina reflexiones teóricas, análisis normativos y estudios de casos y ofrece un marco integral para analizar y resolver los problemas éticos y legales que plantea la implementación de la IA en el sector público. Los coordinadores, así como la nómina de prestigiosos autores que colaboran en el volumen que aquí recensionamos, no solo identifican los riesgos asociados con la opacidad algorítmica, los sesgos en los datos y la automatización de decisiones, sino que también presentan soluciones concretas para garantizar que estos sistemas sean transparentes, responsables y respetuosos de los derechos fundamentales.

La relevancia de esta obra, que ofrece un tratamiento acabado de la materia, radica en su capacidad para vincular los desafíos tecnológicos con el marco de los derechos humanos. Los autores confirman su honda preocupación por los derechos fundamentales al afirmar que, sin una regulación adecuada y un diseño ético, los algoritmos pueden perpetuar desigualdades, reforzar sesgos históricos y socavar la confianza pública en las instituciones. Para evitar estas consecuencias, en el libro se subraya la necesidad de implementar mecanismos de rendición de cuentas y de evaluar previamente el impacto de los sistemas algorítmicos sobre las libertades individuales y colectivas. Además, aborda el reto de adaptar las normativas existentes para enfrentar los riesgos específicos que plantea la IA, explorando cómo los principios jurídicos clásicos –la proporcionalidad, la igualdad o la no discriminación– pueden aplicarse a este nuevo entorno tecnológico.

Uno de los capítulos centrales de la obra recensionada en estas líneas lleva por título “Las evaluaciones de impacto algorítmico en los derechos fundamentales: hacia una efectiva minimización de sesgos”, escrito por Pere Simón. El profesor de la Universidad de Girona establece el marco conceptual para abordar el uso ético y responsable de la IA en el ámbito público. Simón introduce las evaluaciones de impacto algorítmico (EIA) como herramientas fundamentales para identificar, prevenir y mitigar los riesgos asociados al uso de algoritmos en decisiones administrativas que afectan derechos fundamentales. Tal y como pone de manifiesto Simón, estos sistemas, aunque se presentan como técnicamente avanzados, no están exentos de sesgos, ya que dependen de los datos utilizados para su entrenamiento y de las decisiones humanas implícitas en su diseño.

Simón realiza un análisis comparado de marcos normativos internacionales, destacando casos como el Algorithmic Impact Assessment Tool de Canadá, un modelo que obliga a las administraciones públicas a evaluar los riesgos de sus algoritmos antes de su implementación. También resalta el Reglamento de Inteligencia Artificial de la Unión Europea, que clasifica los sistemas de IA según su nivel de riesgo y establece requisitos específicos para aquellos considerados de alto riesgo. Estas normativas, explica Simón, no solo son aplicables a los contextos en los que fueron desarrolladas, sino que también pueden adaptarse a otros países, como España, donde todavía se carece de mecanismos estandarizados para supervisar y evaluar los algoritmos. El autor subraya que las EIA no deben concebirse como trámites burocráticos, sino como procesos dinámicos que se apliquen a lo largo de todo el ciclo de vida del sistema algorítmico. Propone que incluyan un análisis exhaustivo de los datos utilizados, las metodologías empleadas, los resultados esperados y las posibles repercusiones en los derechos de las personas afectadas. Además, destaca la importancia de incorporar la participación de múltiples actores, incluyendo auditores externos, expertos técnicos y comunidades afectadas, para garantizar una evaluación inclusiva y legítima. Este enfoque interdisciplinario, junto con ejemplos concretos de aplicación, hace que el capítulo de Simón sea un referente para abordar la problemática de los sesgos algorítmicos de manera práctica y efectiva.

El asunto de la discriminación algorítmica es asimismo abordado con detalle por Raquel Valle en el capítulo que lleva por nombre “Una inteligencia artificial a medida de las personas: el control de la discriminación algorítmica”. Valle argumenta que, aunque los algoritmos tienen el potencial de mejorar la eficiencia y optimizar procesos, también pueden amplificar desigualdades existentes o generar nuevas formas de discriminación. Esto se debe principalmente a sesgos inherentes en los datos de entrenamiento o al diseño del sistema. La autora analiza casos concretos, como los sistemas de contratación automatizada que han descartado a candidatos pertenecientes a minorías o algoritmos financieros que han denegado créditos a determinados grupos sociales. Valle propone un enfoque integral para abordar la discriminación algorítmica, combinando soluciones técnicas, principios éticos y marcos normativos. Entre sus propuestas destaca la implementación de auditorías algorítmicas periódicas, que permitan evaluar y corregir sesgos de manera continua. También aboga por la supervisión humana en las decisiones críticas y por la adopción de criterios de equidad durante el diseño de los sistemas. Además, enfatiza que la gobernanza algorítmica debe incluir mecanismos claros de rendición de cuentas, que permitan a las personas afectadas cuestionar las decisiones tomadas por algoritmos y entender cómo fueron generadas.

Marco Emilio Sánchez Acevedo, abogado especializado en Derecho Digital, analiza en el capítulo “Buena administración algorítmica y debido proceso frente a los sesgos”, cómo integrar los sistemas algorítmicos en la administración pública sin comprometer principios fundamentales como la equidad y la transparencia. Sánchez identifica los principales tipos de sesgos algorítmicos, como el sesgo de representación, el sesgo de selección y el sesgo de optimización. Para abordar estos problemas, propone medidas como la supervisión humana, la publicación de evaluaciones de impacto y la realización de auditorías externas. Según el autor, estas medidas no solo garantizan la equidad en las decisiones, sino que también refuerzan la confianza ciudadana en las instituciones públicas.

La interoperabilidad de datos y la reutilización de tecnología son analizadas por Rubén Martínez Gutiérrez en el capítulo titulado “Datos abiertos, interoperabilidad y reutilización de tecnología para la inteligencia artificial del sector público”. Martínez argumenta que los datos son la base de cualquier sistema algorítmico, pero su calidad y accesibilidad determinan la eficacia y la equidad de los resultados. Sin embargo, advierte que en el sector público persisten problemas como la fragmentación de los datos y la falta de estándares técnicos. Para superar estos desafíos, propone la creación de infraestructuras de datos interoperables y el uso de tecnologías de código abierto. También destaca la importancia de garantizar la privacidad y la seguridad de los datos, implementando medidas de protección como el cifrado y el acceso restringido.

Otro de los pilares de la obra es el análisis de Lorenzo Cotino relativo a los registros públicos de algoritmos, abordado en los capítulos “Cuándo deben crearse registros y dar transparencia a los algoritmos y sistemas de inteligencia artificial públicos” y “La información que hay que facilitar en los registros públicos de algoritmos y de inteligencia artificial”. Capítulos en los que el profesor Cotino desarrolla una propuesta innovadora y práctica para implementar registros públicos como herramientas clave para garantizar la transparencia y la rendición de cuentas en el sector público. Nuestro autor enfatiza que la transparencia no puede ser uniforme, sino que debe ajustarse al nivel de impacto de los algoritmos en los derechos fundamentales. Por ejemplo, los sistemas que toman decisiones en áreas críticas, como la justicia o la sanidad, requieren estándares de transparencia mucho más rigurosos que aquellos utilizados en tareas técnicas de menor relevancia.

En el primer capítulo, Cotino establece un marco normativo claro para determinar cuándo y cómo deben implementarse los registros públicos. Argumenta que estos registros no solo tienen un valor técnico, sino también ético y político, ya que permiten a los ciudadanos supervisar y entender cómo las administraciones públicas utilizan la IA. Además, propone un modelo escalonado de transparencia que clasifica los algoritmos según su nivel de riesgo. Este enfoque asegura que los sistemas más complejos y con mayor impacto estén sujetos a evaluaciones más detalladas.

En el capítulo coescrito con Alba Soriano, profesora de Derecho Administrativo, los autores detallan la estructura y contenido que deberían tener estos registros y sugieren que los registros incluyan desde información básica sobre la finalidad del algoritmo hasta detalles técnicos como los datos de entrenamiento, las metodologías utilizadas y los resultados de las auditorías algorítmicas. Proponen un modelo de presentación por capas que garantice la accesibilidad de la información a distintos públicos: ciudadanos, expertos técnicos y responsables políticos. Este enfoque, inspirado en modelos de transparencia como el utilizado en la protección de datos personales, equilibra la necesidad de accesibilidad con la protección de la privacidad y la seguridad de los sistemas. La relevancia de estas propuestas no solo radica en su aplicabilidad práctica, sino también en su capacidad para fortalecer la confianza ciudadana en el uso de IA en el sector público. Al detallar cómo implementar registros públicos efectivos, Cotino y Soriano ofrecen una guía práctica que podría adoptarse en múltiples contextos administrativos.

En el capítulo “Gobernanza pública en materia algorítmica: una propuesta de formulación de los registros públicos”, firmado por Jorge Castellanos y Adrián Palma, se trata la gobernanza como un elemento esencial para garantizar el uso ético y responsable de los algoritmos en el sector público. Los autores argumentan que la gobernanza algorítmica debe basarse en principios de equidad, transparencia y responsabilidad, y que estos principios deben guiar todas las etapas del ciclo de vida de un sistema algorítmico, desde su diseño hasta su implementación y evaluación continua. Castellanos y Palma proponen la creación de unidades administrativas especializadas dentro de las administraciones públicas, responsables de gestionar los registros de algoritmos, supervisar su uso y garantizar el cumplimiento de las normativas. Estas unidades tendrían la capacidad de clasificar los sistemas según su nivel de riesgo, realizar auditorías regulares y fomentar la participación ciudadana en la supervisión de los algoritmos. Además, los autores destacan la importancia de establecer marcos legales claros que definan las responsabilidades de las administraciones, los desarrolladores de algoritmos y otros actores involucrados.

Otro punto destacado del capítulo es la propuesta de Castellanos y Palma para fomentar la cooperación internacional en la gobernanza algorítmica. Argumentan que los desafíos asociados al uso de IA en el sector público no pueden abordarse de manera aislada, ya que las tecnologías y los datos suelen trascender fronteras nacionales. Por ello, sugieren que los países compartan experiencias, buenas prácticas y estándares técnicos para garantizar un enfoque coherente y efectivo en la regulación de los algoritmos.

En los capítulos finales, el libro se adentra en el análisis de sectores específicos donde la IA tiene un impacto significativo. La iusadministrativista Rosa Cernada examina en “De la digitalización a la inteligencia artificial: el porvenir de la justicia en la Unión Europea”, la capacidad transformativa de la IA en relación con el sistema judicial, mejorando su eficiencia y reduciendo los tiempos de resolución de casos. Sin embargo, Cernada también advierte sobre los riesgos éticos y legales que plantea el uso de algoritmos en decisiones judiciales. Argumenta que, aunque la IA puede ser una herramienta útil para asistir a los jueces en tareas como la búsqueda de precedentes legales o la predicción de resultados, nunca debe reemplazar la capacidad humana para interpretar y aplicar la ley. La autora subraya que los algoritmos utilizados en el ámbito judicial deben ser transparentes, explicables y auditables, para garantizar que no comprometan la imparcialidad ni los derechos de las partes involucradas. Además, destaca la importancia de establecer salvaguardas que aseguren que los jueces tengan la última palabra en las decisiones judiciales, evitando una dependencia excesiva de los sistemas automatizados.

Por su parte, Joan Guanyabens, explora en “Salut/IA” el impacto de la IA en el sector sanitario, centrándose en el caso de Cataluña. Guanyabens describe cómo la IA se está utilizando para mejorar la atención al paciente, optimizar recursos y avanzar en la investigación médica. Sin embargo, también identifica desafíos técnicos y éticos asociados al uso de datos médicos sensibles, como la privacidad, la seguridad y la equidad en el acceso a los beneficios de la IA. Entre las propuestas de Guanyabens destaca la creación de infraestructuras de datos que permitan un acceso seguro y eficiente a la información médica, así como el desarrollo de sistemas algorítmicos que sean inclusivos y representativos de la diversidad de pacientes. Además, subraya la necesidad de establecer mecanismos de supervisión que permitan identificar y corregir sesgos en los diagnósticos y tratamientos generados por algoritmos.

El caso práctico del Ayuntamiento de Barcelona, presentado por Paula Boet y Michael Donaldson en su aportación titulada “Datos, inteligencia artificial y servicios públicos: la apuesta del Ayuntamiento de Barcelona por la transparencia algorítmica y la protección de los derechos de la ciudadanía”, demuestra cómo las administraciones locales pueden liderar iniciativas de transparencia y rendición de cuentas. Este capítulo detalla cómo el Ayuntamiento ha implementado registros públicos de algoritmos y ha desarrollado protocolos internos para regular su uso. Los autores destacan que estas iniciativas no solo fortalecen la confianza ciudadana, sino que también posicionan a Barcelona como un modelo de referencia en la gobernanza de la IA.

El volumen colectivo Algoritmos abiertos y que no discriminen en el sector público constituye un oportuna y equilibrada orientación acerca del status quaestionis del uso de los sistemas de IA en el sector público, combina rigor académico con propuestas prácticas, proporcionando un análisis integral de los retos a los que nos enfrentamos. Asimismo, incorpora el tratamiento de la más reciente evolución tanto normativa, como jurisprudencial y doctrinal, lo que nos permite afirmar, sin riesgo de incurrir en error, que se trata de una referencia inexcusable de quienes quieran iniciarse en el conocimiento de este ámbito jurídico, y que será bien recibida por legisladores, administradores y académicos interesados en construir políticas públicas responsables en la era digital, además de profesionales interesados en la interacción entre la tecnología y los derechos humanos. Con su enfoque claro y completo que centra su atención en la protección de los valores democráticos y la dignidad humana, esta obra no solo enriquece el debate teórico, sino que también ofrece herramientas prácticas para asegurar que la implementación de la IA en el sector público no comprometa los derechos fundamentales de los ciudadanos. No solo invita a reflexionar sobre los riesgos asociados a la IA, sino que también inspira a actuar para garantizar que estos sistemas sean diseñados e implementados con un profundo respeto por los derechos humanos y el bienestar social. Más allá de ser un análisis crítico, el libro es un llamado a la acción para construir un marco ético, legal y técnico que permita aprovechar las oportunidades de la IA sin comprometer los valores que sustentan nuestras sociedades democráticas.

José Miguel Iturmendi Rubia

CUNEF Universidad