La discriminación algorítmica y su impacto en la dignidad de la persona y los derechos humanos. Especial referencia a los inmigrantes

José Miguel Iturmendi Rubia

doi:10.18543/djhr.2910

José Miguel Iturmendi Rubia CUNEF Universidad, España https://orcid.org/0009-0008-6402-9386

Palabras clave: discriminación algorítmica, sesgo algorítmico, inteligencia artificial, aprendizaje automático, derechos humanos, inmigrantes

Resumen

La discriminación algorítmica, también conocida como sesgo algorítmico, se refiere al fenómeno en el cual los algoritmos de inteligencia artificial y aprendizaje automático perpetúan o incluso amplifican los prejuicios y sesgos humanos existentes en los datos con los que son entrenados. Este problema plantea serias preocupaciones en relación con los derechos humanos, especialmente en el contexto de los inmigrantes. Puede conducir a la exclusión social, la marginalización y la perpetuación de estereotipos negativos. Estos algoritmos opacos pueden dificultar la rendición de cuentas y la apelación de decisiones injustas. Es fundamental abordar este problema mediante la implementación de prácticas de desarrollo de algoritmos éticos, como la transparencia en el diseño y la recopilación de datos, la auditoría de algoritmos y la diversidad en los equipos de desarrollo. Además, se requiere una regulación efectiva que garantice la protección de los derechos humanos en el contexto de la discriminación algorítmica, especialmente para los inmigrantes.

Recibido: 31 mayo 2023
Aceptado: 19 octubre 2023

Descargas

La descarga de datos todavía no está disponible.

Citas

Aguado i Cudolà, Vicenç, Vera Parisio y Oscar Casanovas i Ibàñez. 2018. El derecho a la ciudad: el reto de las smart cities. Barcelona: Atelier. Acceso el 15 de mayo de 2022: https://ucm.on.worldcat.org/oclc/1346587615.

Arrieta, Enrique y Amanda Vargas. 2021. «Analítica de datos aplicada al Plan Nacional de Desarrollo de 2018-2022, “Pacto por Colombia, Pacto por la equidad”». Estudios Políticos 62: 215-239. https://doi.org/10.17533/udea.espo.n62a09.

Asís, Rafael. 2020. «Inteligencia artificial, diversidad y derechos», Uc3m Working paper, Materiales de Filosofía del derecho, 20-04. Universidad Carlos III de Madrid.

Ausín, Txetxu. 2021. «¿Por qué ética para la Inteligencia Artificial? Lo viejo, lo nuevo y lo espurio». Sociología y Tecnociencia 11, n. 2. Acceso el 27 de mayo de 2022: https://dialnet.unirioja.es/servlet/oaiart?codigo=8155412.

Barona, Silvia. 2021a. Algoritmización del derecho y de la justicia: de la inteligencia artificial a la smart justice. Valencia: Tirant lo Blanch. Acceso el 13 de marzo de 2021: https://biblioteca-tirant-com.bucm.idm.oclc.org/cloudLibrary/ebook/info/9788413786667.

Barona, Silvia. 2021b. «Justicia algorítmica y neuroderecho: una mirada multidisciplinar». Alternativa 124. Acceso el 5 de Julio de 2021: https://biblioteca-tirant.com.bucm.idm.oclc.org/cloudLibrary/ebook/info/9788413972022.

Benítez, Lucía. 2019. «Ethics and transparency for detection of gender bias in algorithms». Estudios sobre el mensaje periodístico 25, n. 3: 1307-1320. Acceso el 6 de enero de 2022: https://revistas.ucm.es/index.php/ESMP/article/view/66989.

Blanco, Carlos G. 2022. «El tratamiento de los algoritmos de IA para evitar sesgos discriminatorios y la regulación jurídica de los robots y la IA». En Los Derechos Humanos en la inteligencia artificial: su integración en los ODS de la Agenda 2030, dirigido por Elena García-Antón, 235-252, Cizur Menor: Thomson Reuters Aranzadi.

Boczkowski, Pablo J. y Eugenia Mitchelstein. 2022. El entorno digital. Madrid: Siglo XXI Editores.

Campione, Roger. 2021. «Recopilar y vigilar: Algunas consideraciones filosófico- jurídicas sobre inteligencia artificial», Sociología y Tecnociencia 11, n. 2: 123-139. Acceso el 8 de febrero de 2013: https://dialnet.unirioja.es/servlet/oaiart?codigo=8155418.

Cippitani, Roberto, Antonella Mirabile y Martina Onofri. 2021. «“Objetividad científica” y sesgos en la toma de decisiones jurídicas: los casos de genética forense y de algoritmos», Revista Justicia y Derecho 4, n. 2: 1-22. https://doi.org/10.32457/rjyd.v4i2.1440.

Corrales, José M. 2022. «Derecho al trabajo y discriminación: las políticas públicas de empleo como instrumento de igualdad», en Los derechos humanos en la inteligencia artificial: su integración en los ODS de la Agenda 2023, dirigido por Elena García-Antón, 399-422, Cizur Menor: Thomson Reuters Aranzadi.

Cotino, Lorenzo. 2017. «Big data e inteligencia artificial. una aproximación a su tratamiento jurídico desde los derechos fundamentales», Dilemata 24: 131-150. Acceso el 6 de marzo de 2019: https://dialnet.unirioja.es/servlet/oaiart?codigo=6066829.

Cotino, Lorenzo. 2019. «Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el Derecho», Revista Catalana de Dret Públic 58: 29-48. https://doi.org/10.2436/rcdp.i58.2019.3303.

Cotino, Lorenzo. 2023a. «Una regulación legal y de calidad para los análisis automatizados de datos o con inteligencia artificial. Los altos estándares que exigen el Tribunal Constitucional alemán y otros tribunales, que no se cumplen ni de lejos en España», Revista General de Derecho Administrativo 63: 1-22. Acceso el 22 de agosto de 2023: https://www.uv.es/cotino/publicaciones/publicadoRGDACotin.pdf.

Cotino, Lorenzo. 2023b. «Qué concreta transparencia e información de algoritmos e inteligencia artificial es la debida», Revista Española de la Transparencia 16: 17-63. https://doi.org/10.51915/ret.272.

Cotino, Lorenzo. 2023c. «Discriminación, sesgos e igualdad de la inteligencia artificial en el sector público». En Inteligencia artificial y sector público: retos, límites y medios, dirigido por Eduardo Gamero, 257-351. Valencia: Tirant lo Blanch.

Cueva, Javier. 2019. «El derecho a no ser gobernados mediante algoritmos secretos», El Notario del siglo XXI 87. Acceso el 17 de septiembre de 2020: https://www.elnotario.es/index.php/hemeroteca/revista-87/9636-el-derecho-a-no-ser-gobernados-mediante-algoritmos-secretos.

Danesi, Cecilia C. 2022. «Inteligencia artificial y metaverso: el ordenamiento jurídico frente a los sesgos algorítmicos y los estereotipos de género en la realidad virtual». En Los derechos humanos en la inteligencia artificial. Su integración en los ODS de la Agenda 2030, dirigido por Elena García- Antón, 253-274, Cizur Menor: Thomson Reuters Aranzadi.

Eguíluz, Josu A. 2020. «Desafíos y retos que plantean las decisiones automatizadas y los perfilados para los derechos fundamentales», Estudios de Deusto 68, n. 2: 325-367: https://doi.org/10.18543/ed-68(2)-2020pp325-367.

Esteban, Francisco J. 2022. «La inteligencia artificial, inteligencia emocional y derechos humanos: las enseñanzas del caso del genocidio uigur». Los Derechos Humanos en la inteligencia artificial: su integración en los ODS de la Agenda 2030, dirigido por Elena García-Antón, 381-398, Cizur Menor: Thomson Reuters Aranzadi.

Febles, Gustavo. 2012. «Falsos negativos en mamografía», Revista de Imagenología, Época II - Vol. XVI, n. 2 / Junio 2013: 17-22. Acceso el 9 de abril de 2018: https://www.webcir.org/revistavirtual/articulos/diciembre13/uruguay/uru_espanol_a.pdf.

Ferrante, Enzo. 2021. «Inteligencia Artificial y sesgos algorítmicos ¿por qué deberían importarnos?», Nueva Sociedad, 294: 27-36. Acceso el 25 de mayo de 2022: https://biblat.unam.mx/hevila/Nuevasociedad/2021/no294/3.pdf.

García León, Alejandra G., Lima Sánchez, Dania Nimbe y Lucía Abascal. 2023. «Revisión sobre aspectos bioéticos en las decisiones de triaje en la unidad de cuidados intensivos durante la pandemia por Covid-19», Revista de Bioética y Derecho 57: 193-206: https://doi.org/10.1344/rbd2023.57.37282.

García-Antón, Elena y Francisco García Pascual. 2022. Los derechos humanos en la inteligencia artificial: su integración en los ODS de la Agenda 2030. Cizur Menor: Aranzadi.

Gutiérrez David, María Estrella. 2021. «Administraciones inteligentes y acceso al código fuente y los algoritmos públicos. Conjurando riesgos de cajas negras decisionales», Derecom 30: 143-228. Acceso el 6 de septiembre de 2022: https://www.derecom.com/derecom/.

Jiménez Schlegl, Pablo. 2021. «El aprendizaje en sistemas autónomos e inteligentes: visión general y sesgos de fuentes de datos», Arbor 197, n. 802: https://doi.org/10.3989/arbor.2021.802005.

López Flores, Luis M. 2022. «Colonialidad algorítmica: racialización y sexualización mecanizada en el capitalismo digital». Teknokultura 19, n. 2: 231-239. https://doi.org/10.5209/tekn.78681.

López Pinilla, Ana Mª. 2021. «Inteligencia Artificial en el proceso penal: análisis a la luz del Fiscal Watson». Pensamiento Jurídico 54: 147-164. Acceso 12 de octubre de 2022: https://revistas.unal.edu.co/index.php/peju/article/view/96091.

Martín López, Jorge. 2022. «Inteligencia Artificial, sesgos y no discriminación en el ámbito de la inspección tributaria», Crónica Tributaria 182: 51-89. https://doi.org/10.47092/CT.22.1.2.

Morales, Gabriela. 2023. «Problemática antropológica detrás de la discriminación generada a partir de los algoritmos de la Inteligencia Artificial», Medicina y ética 34, n. 2: 429-455. https://doi.org/10.36105/mye.2023v34n2.04.

Roa, Marcela del Pilar, Jesús E. Sanabria y Katherin Dinas. 2022. «Uso del algoritmo compas en el proceso penal y los riesgos a los derechos humanos», Revista Brasileira De Direito Processual Penal 8, n. 1: 275-310. https://doi.org/10.22197/rbdpp.v8i1.615.

Salas, Javier. 2019. «El algoritmo que discrimina a los pacientes negros sin conocer su raza», El País, 24 de octubre. Acceso el 24 de octubre de 2019: https://elpais.com/elpais/2019/10/24/ciencia/1571909798_596622.html.

Serrano, Fernando. 2021. Inteligencia artificial y administración tributaria: eficiencia administrativa y defensa de los derechos de los contribuyentes, Cizur Menor: Thomson Reuters Aranzadi.

Simón, Pere. 2021. Justicia cautelar e inteligencia artificial: la alternativa a los atávicos heurísticos judiciales. Barcelona: Bosch.

Sued, Gabriela E. 2022. «Culturas algorítmicas: conceptos y métodos para su estudio social», Revista Mexicana de Ciencias Políticas y Sociales 67, n. 246: 43-73. https://doi.org/10.22201/fcpys.2448492xe.2022.246.78422.

Valencia, Eduardo. 2018. People analytics: analítica y datos para recursos humanos. Cizur Menor: Aranzadi.

Van Est, Rinie and Joost Gerritsen. 2017. Human rights in the robot age: Challenges arising from the use of robotics, artificial intelligence, and virtual and augmented reality, The Hague: Rathenau Instituut. Acceso el 10 de julio de 2020: https://www.rathenau.nl/sites/default/files/2018-02/Human%20Rights%20in%20the%20Robot%20Age-Rathenau%20 Instituut-2017.pdf.