Ética en crisis: El impacto de la carrera armamentística de las armas autónomas en nuestros valores morales

Ethics in crisis: The impact of the autonomous arms race on our moral values

Jorge Couceiro Monteagudo

Universidad Complutense de Madrid. España

jorgecouceiromonteagudo@gmail.com

ORCID: https://orcid.org/0009-0005-0608-2304

https://doi.org/10.18543/djhr.3083

Fecha de recepción: 31.05.2024
Fecha de aceptación: 25.09.2024
Fecha de publicación en línea: diciembre de 2024

Cómo citar / Citation: Couceiro, Jorge. 2024. «Ética en crisis: el impacto de la carrera armamentística de las armas autónomas en nuestros valores morales». Deusto Journal of Human Rights, n. 14: 237‑257. https://doi.org/10.18543/djhr.3083

Resumen: Las matanzas sistemáticas han sido parte de los episodios más oscuros de la historia. Actualmente, se presentan como un objetivo en la guerra, especialmente con la IA militar y las armas autónomas. Sus defensores afirman que estas armas superarán a los humanos en capacidad militar y moral, ofreciendo violencia más precisa y sin emociones. Sin embargo, argumentamos que estas armas replican e intensifican los desafíos morales del pasado. La violencia autónoma desvaloriza moralmente a las víctimas y reduce la responsabilidad moral de los atacantes, poniendo en peligro las restricciones al uso de la fuerza militar.

Palabras clave: Armas autónomas letales, inteligencia artificial, valores morales, impacto, ética, crisis, violencia.

Abstract: Systematic killings have been part of the darkest episodes in history. Today, they are presented as a goal in warfare, especially with military AI and autonomous weapons. Proponents claim that these weapons will surpass humans in military capability and morale, offering more precise and emotionless violence. However, we argue that these weapons replicate and intensify the moral challenges of the past. Autonomous violence morally devalues victims and reduces the moral responsibility of attackers, jeopardising restrictions on the use of military force.

Keywords: Lethal autonomous weapons, artificial intelligence, moral values, impact, ethics, crisis, violence.

Sumario: Introducción.

Introducción

Gracias al avance de la tecnología, a día de hoy es posible que, sin saberlo e indirectamente, podamos formar parte, como engranajes en una máquina, de acciones cuyos efectos están lejos de lo que nosotros podemos percibir como acciones propias. Fuera de nuestros ojos e imaginación, si pudiéramos concebir sus consecuencias, no podríamos aprobarlas. Este hecho ha cambiado los fundamentos mismos de nuestra existencia moral (Anders 1962). En este instante nos enfrentamos a un futuro acelerado, en el que la creciente tendencia hacia la tecnificación humana (la sustitución del trabajo humano por la tecnología) y la sistematización exacerbaría la aplicación deshumanizada de la fuerza letal y conduciría a más violencia. En la actualidad, nos enfrentamos a un futuro acelerado con sistemas de armas autónomas dentro de una guerra altamente sistematizada. En particular, la velocidad del despliegue y la escala a la que pueden llegar los sistemas de armas habilitadas por IA deberían provocar una reflexión sobre las implicaciones morales sobre la integración de lógicas y sistemas no humanos en los procesos existentes de violencia militar.

El uso de sistemas autónomos letales (LAWS) en el acto de matar constituye siempre una forma sistematizada de violencia. En este proceso, toda la cadena de mando —desde el comandante hasta el operador y el objetivo— se ve sometida a una tecnificación que no solo degrada los valores morales hacia las víctimas, sino que también erosiona la agencia moral de quienes participan en la implementación de esta violencia autónoma. Esta dinámica amenaza con debilitar las restricciones fundamentales que legitiman el uso de la fuerza militar.

En este contexto, la reciente proliferación de estudios que defienden los LAWS como una alternativa moralmente superior —incluso más humana o posthumanista— para la administración de la fuerza letal, plantea un desafío significativo. Estas ideas, no obstante, permiten cuestionar los beneficios aparentes de esta tecnología, que suelen fundamentarse en una visión abstracta y excesivamente idealizada de su funcionamiento en los entornos dinámicos y complejos de la guerra.

1. ¿Qué ha cambiado con la autonomía?

La organización militar y la lucha bélica han sido ordenadas y reordenadas a lo largo de la historia en sistemas más fijos e instrumentales (Keegan 1994). Las reglas de la guerra también se han normalizado para vincular a los combatientes a un conjunto más fijo de medidas que limitan el alcance de la violencia permisible. La autonomía, o la sistematización intensificada, ha cambiado los modos de violencia en los que la lógica del cálculo, la clasificación y la optimización del acto de eliminación se vuelven primordiales. Este modo de ver la violencia pone en peligro las restricciones morales esenciales sobre el uso de la fuerza y es intrínseca a las armas autónomas letales habilitadas por la IA. De este modo, las LAWS reproducen, y en algunos aspectos intensifican, los desafíos morales asociados con episodios anteriores de asesinatos sistemáticos intensificados.

Las nuevas tecnologías pueden alterar el equilibrio de la guerra de distintas maneras. En algunos casos, la ventaja tecnológica disruptiva no resuelve los problemas de la guerra, sino que los hace más prominentes y duraderos (Crootof 2019). El desafío moral de la violencia autónoma es un claro ejemplo de esto. La matanza sistemática en la guerra no es nueva ni exclusiva de esta tecnología; sin embargo, los sistemas autónomos aceleran muchas de sus peores características debido a sus particularidades. Y, si bien su mayor desafío no radica únicamente en la falta de humanidad, esta tecnología plantea serias implicaciones éticas y operativas. Los seres humanos seguirán siendo intrínsecos a estos sistemas; lo que está en juego es el tipo de humanidad que esta tecnología hace cada vez más probable. Las armas autónomas nos liberan de una conducta llena de pasión y volatilidad propia del ser humano, corriendo el riesgo de hundirnos aún más en una conducta fría y desapasionada de los sistemas humanos.

A medida que la guerra se ha vuelto más compleja, los identificadores tradicionales ya no hacen que el enemigo sea coherentemente legible y visible, y cada vez más los datos sirven como sustitutos. “En condiciones tan difíciles de ilegibilidad y difluencia […] los datos se buscan en un grado sin precedentes” para identificar y rastrear enemigos y predecir quien podría convertirse en uno (Ansorge 2016, 124). Este método se amplifica con LAWS, donde los sistemas de IA comprenden e identifican objetivos basándose únicamente en el reconocimiento y la clasificación de objetos a través de redes neuronales. La IA representa el mundo tal como lo percibe, como un conjunto de datos y patrones relacionados a partir de los cuales se pueden predecir y calcular los resultados, incluida la decisión sobre cuáles deben de ser los objetivos. Y es que la razón por la cual un individuo puede ser asignado como objetivo para ser eliminado llega a conocerse mediante la probabilidad estadística en el que los fenómenos discretos e inconexos se unen y se evalúan correlativamente (Cheney-Lippold 2019), dejando de lado quién son, cómo se comportan o qué pretenden. Dentro del proceso de selección, los datos se reconfiguran continuamente para ajustarse a modos específicos de clasificación. A partir de estos datos, el sistema calcula una inferencia sistemática de quién, o qué, se identifica con un patrón de normalidad o anormalidad para eliminar la amenaza.

Este nuevo modo de identificar al enemigo está plagado del riesgo de ver patrones y hacer inferencias donde no las hay, un desafío bien conocido en el razonamiento humano que se organiza en estructuras algorítmicas y se sistematiza. Un sistema de IA encargado del reconocimiento de imágenes procesa una imagen como un conjunto de píxeles, y cada píxel como una serie de valores que representan distintas propiedades. En otras palabras, una ‘matriz de números que corresponden al brillo y el color de los píxeles de la imagen’ (Mitchell 2019, 78). Con el fin de entrenar tales sistemas para identificar a un enemigo, el sistema primero tendría que ser entrenado con un número considerable de mágenes debidamente etiquetadas (por ejemplo, con las variables “enemigo” o “terrorista”) introducidas en sus parámetros. Mediante las redes convencionales, ciertas características de la imagen se establecen para clasificar el objetivo en el que se entrena como útiles (Anders 1962). Estos datos se introducen en una red neuronal, que ordena y clasifica la entrada para predecir qué objeto representa la imagen con un cierto grado de confianza, expresado en valores porcentuales. Aunque esto nunca es un reflejo verdadero y completo de la realidad.

“Es sistemáticamente difícil para las LAWS clasificar un evento u objeto en una categoría particular. En cambio, su proceso lo revisarán y diseccionarán de acuerdo con un número inapropiadamente pequeño de características” (Walker 2021, 17 y 14). Para que un arma sea eficaz en el contexto dinámico de la guerra, esta debe “calcular continuamente nuevas probabilidades para su escenario inmediato” (Anders 1962, 1), un proceso que está gestionado por una función de error. Es decir, el método para tomar una decisión de eliminación con LAWS es aquella que se basa en la aproximación, la racionalización y el suavizado de los puntos de datos. Dentro de este proceso, las personas se convierten no solo en objetos en la aplicación selectiva de la violencia, sino en objetos que se constituyen a través de patrones algorítmicos. Primero se identifican patrones y se trazan líneas de asociación y, en base a estos, se realizan cálculos de muerte. La lógica intrínseca de la IA se basa en esta clasificación y codificación de la vida en datos computables para identificar objetos y patrones entre objetos. “Ser inteligible para un modelo estadístico que es transcodificado en un marco de objetivación y llega a ser definido, calculado de forma cruzada, como un objeto computacionalmente determinado y procesable (Cheney-Lippold 2019, 513-535). Esta fundamentación asistemática produce no solo una pura objetivación, sino también, si el objetivo es humano, una subjetivación y desindividualización. Estos individuos “no pueden confiar en nada único para ellos porque la solidez de su subjetividad está determinada totalmente fuera de uno mismo, y de acuerdo con lo que sea que se incluya dentro de una clase de referencia o conjunto de datos no pueden decidir” (Anders 1962, 1).

La tecnología de las armas autónomas ha avanzado de forma tan abrupta en los últimos años que se prevé que continúe haciéndolo en los próximos años, ya que está planteando una ventaja estratégica tan importante que muchos estados no pueden omitirla por el potencial militar que supone. Un potencial derivado de las sofisticadas innovaciones de IA a través de redes neuronales y de aprendizaje automático, junto con mejoras en la potencia de procesamiento de las computadoras, han abierto un campo de posibilidades en la amplia gama de aplicaciones militares, como la toma de decisiones autónomas, incluida la selección de objetivos. El aspecto que más destaca de esta tecnología es el potencial del sistema de armas para seleccionar y atacar objetivos de forma autónoma, sin intervención o acción humana. La definición ofrecida por el Comité Internacional de la Cruz Roja dice así: “Cualquier sistema de armas con autonomía en sus funciones críticas. Es decir, un sistema de armas que pueden seleccionar (buscar, identificar, rastrear o seleccionar) y atacar (usar la fuerza, contra, neutralizar, dañar o destruir) objetivos sin intervención humana” (Heyns 2017, 46–71; Asaro 2012, 687–709). A diferencia de los drones que son operados a distancia, las armas autónomas relegan al ser humano como supervisor en el bucle de la toma de decisiones o cadena de mando (humans on the loop), o eliminan al humano por completo (humans out of the loop). Cuando el humano permanece fuera de la toma de decisiones, las decisiones y acciones podrían iniciarse y completarse de forma autónoma, basándose en datos de entrada, sensores, algoritmos y programas de software.

Tanto en la teoría como en la práctica, las LAWS pueden acortar el tiempo de reacción entre el sensor y el tirador de minutos a segundos. La capacidad de procesar grandes cantidades de datos complejos en un marco de tiempo acelerado se considera un beneficio estratégico significativo, incluso si se produce sin la supervisión humana directa. Esto nos lleva a que la toma de decisiones de un agente humano pase de ser decisiones individuales para elegir dentro de la capacidad humana qué grupo de robots deben participar para después tomar ellos las decisiones individuales (Knight 2021). Esta nueva forma de ejecutar nos proporciona una visión más amplia de una guerra futura habilitada por IA en su totalidad. Una IA interconectada, que cruce dominios y que comprima el tiempo. Este nuevo concepto llamado “red de redes” puede llegar a convertirse en el nuevo modelo de los conflictos futuros, que puede requerir que se tomen decisiones en horas, minutos o potencialmente segundos en comparación con el proceso de varios días para analizar el entorno operativo y emitir órdenes. Es una visión que sistematiza todos los procesos y operaciones, incluidos los objetivos letales de la guerra, en la que tanto la velocidad como la escala prevista priorizan claramente la violencia autónoma. Aquí los LAWS basados en IA serán el punto clave para hacer realidad estas visiones de futuro (Congressional Research Service 2022).

Actualmente, hay varios tipos de LAWS, que incluyen municiones merodeadoras habilitadas por IA con armas equipadas con sistemas de enjambre de drones armados con la capacidad de identificar amenazas basadas en ciertos parámetros de entrada y salida, con la finalidad de fijar ciertos objetivos y eliminarlos una vez que se ha alcanzado un cierto valor condicionante. Sin embargo, este tipo de armas necesitaría ser entrenado mediante grandes cantidades de datos que sean relevantes para una zona de conflicto o área de participación y requiere actualizaciones frecuentes, ya que el campo de batalla es cambiante y da lugar a nuevos parámetros o datos ligeramente heterogéneos a los datos bajos los cuales el arma ha sido entrenada, que puede confundir al sistema (Walker 2021).

2. ¿Nos deshumaniza? Tecnificación de las operaciones humanas

Dentro de la tecnificación del ser, es necesario apuntar que no solo las víctimas son las que se ven afectadas negativamente por los asesinatos sistemáticos. Los que forman parte como participantes también pueden verse abrumados o reducidos por la lógica de los sistemas que gobiernan la organización y la imposición de la violencia. En un contexto de matanza sistemática, muchas de las características que desearíamos preservar y cultivar —el juicio, la responsabilidad personal, la autorreflexión, la moderación moral, etc.— tienen apenas espacio para operar. Lo que define este espacio es la lógica de la eficiencia y la velocidad en la que el ser humano, siendo operador, tiene la tarea de trabajar dentro de la lógica del sistema correspondiente. Este desafío se evidencia en la violencia autónoma, un método de asesinato que genera, al igual que sus antecedentes históricos, problemas relacionados con la autorización, la rutinización y la deshumanización.

Uno de los puntos más importantes, que está relacionado con la autorización, son las estructuras de autoridad, siendo uno de los pilares que autorizan y sostienen los asesinatos en masa. Los sistemas computacionales exigen la deferencia de los operadores o comandantes, que rara vez comprenden completamente los procesos involucrados en la toma de decisiones computacionales. Ante tal complejidad y abstracción, a los seres humanos no les queda más remedio que confiar en la superioridad cognitiva y racional de esta autoridad clínica. Dicha relación se conoce como “sesgo de automatización” y es un fenómeno bien documento en la literatura sobre las interacciones hombre-máquina (Cummings 2004). De este modo, la autoridad tecnológica sirve para relajar las tensiones morales (Emery 2016). Volviendo a las LAWS, lo que está en juego no es un proceso formal y jerárquico de autorización, sino uno que emerge del carácter ostensiblemente neutral y superior de la propia máquina. Independientemente del rango, la capacidad de desafiar la autoridad de la lógica de la máquina se ve debilitada.

Dentro de un entorno digital complejo, la experiencia, la cognición y la acción humana se ven mediadas y moderadas a través de la lógica de las máquinas. Dentro de este marco, la posibilidad de ejercer un albedrío moral se ve determinantemente truncado tanto para los comandantes como para los operadores (Schwarz 2021). Dicho de otro modo, la capacidad de decidir se ve influida mediante el entorno de control distribuido, relevante para el control humano de las LAWS (Ekelhof 2019). Sin embargo, el efecto es particularmente relevante cuando se pide a los operadores que actúen sobre la información entrante, incluida la información de vida o muerte, en cuestión de segundos. Los operadores ante tal nivel de estrés por dichas limitaciones pueden carecer tanto de un “nivel suficiente de conciencia situacional para hacer juicios significativos” como de “suficiente información sobre los parámetros bajo los cuales las partes automatizadas o autónomas de los módulos de mando que seleccionan y priorizan las amenazas para examinar la selección de objetivos y abordar el ataque” (Bode et Watts 2021, 28). “Como operadores en el bucle, el humano se convierte así en el módulo .exe[1] en la red computacional más amplia, con una capacidad limitada, si existe, para anular o intervenir en la acción preestablecida” (Corbett 2008, 167). En este contexto, es altamente probable que la combinación del despliegue de LAWS y la percibida superioridad de la lógica de la máquina genere una situación en la que el personal militar “se involucre en una acción sin considerar las implicaciones de esa acción y sin tomar realmente una decisión” (Kelman 1973, 25-61). A pesar de ello, esto no quiere decir que los agentes humanos sean una salvaguarda infalible contra las malas acciones, y tampoco liberas a las LAWS de sus aspectos moralmente problemáticos. Es necesario que los acusados de cometer actos de violencia comprendan el contexto y las consecuencias de sus acciones, y sean capaces de reconocer cuándo deben ceder ante la violencia y tengan la capacidad de actuar de acuerdo con este impulso, en lugar de retirarse del proceso. El peligro, por lo tanto, de los sistemas de Armas Autónomas Letales (SAAL) es que carecen de la capacidad misma para cumplir con estos estándares.

Otro aspecto de la tecnificación es la rutinización, que opera tanto a nivel individual como organizacional, cambiando el enfoque hacia lo puramente procedimental. A nivel individual, el operador es un elemento funcional dentro de la lógica del sistema, que ejecuta tareas específicas con una visión limitada de la situación. A nivel organizativo, las tareas relacionadas con la acción están divididas y, a menudo, difusas. El crear una rutina facilita la eficiencia, la precisión del procedimiento, la velocidad de reacción y ejecución de la tarea, etc. A su vez, se convierte en la norma, el estándar para llevar a cabo bien la acción, y la “naturaleza de la tarea se disocia por completo de la realización misma” (Anders 1962, 1). El principal peligro de la rutinización de la violencia es que excluirá las oportunidades de intervención moral y, por lo tanto, debilitará la restricción moral (Emery 2022).

En los conflictos, existen ambigüedades que siguen sin estar resueltas, en las que no se pueden establecer certezas en cuanto a la identidad y la responsabilidad de un objetivo potencial. Incluso cuando poseemos un conjunto de parámetros para tomar tales determinaciones con una confianza razonable, persiste cierto grado de incertidumbre. Y es esta incertidumbre la que deja espacio para el razonamiento ético, que después permite la intervención ética. Tales intervenciones son necesarias cuando el sistema y las reglas son estructuralmente inclusivas, lo que obliga a seleccionar a aquellos que han sido categorizados falsamente como objetivos legítimos. Las LAWS son idealizadas por algunos como sistemas potenciales capaces de “proezas éticas” (Umbrello et al. 2019, 273–282) diferenciando la parte cognitiva de la emotiva, dejándonos con agentes de violencia con menos poder moral.

A su vez, es importante mencionar que este desafío no se limita al extremo violento de la cadena de muerte. La rutina computacional incorporada en las LAWS reduce el espacio para la agencia humana. Los seres humanos permanecen dentro del sistema, pero la responsabilidad de la fuerza letal se difumina, o se separa, a través del propio proceso del sistema. En el peor de los casos, este desapego de responsabilidad facilita la aplicación descuidada o incluso deliberada de la violencia injusta.

Como último punto, respondiendo a la pregunta de la deshumanización, cuando se aplica un enfoque sistemático de la matanza, la deshumanización se multiplica. Las víctimas son cosificadas y despojadas de los derechos y el reconocimiento que de otro modo se les debería otorgar en virtud de su condición de seres humanos. Aunque es importante mencionar que este proceso también suele afectar deshumanizando al perpetrador. La deshumanización del soldado, del operador y de aquellos que establecen los parámetros para matar se afianza gradualmente a medida que funciona dentro del sistema más amplio de matar en el que la cognición y el afecto se separan. Cuando la responsabilidad personal, las relaciones humanas y la empatía se descartan sistemáticamente, uno no puede actuar como un ser humano moral (Kelman 1973). Como revela la rica literatura sobre este tema, estos procesos invitan a la violencia y al abuso (LeMoncheck 1985, Nussbaum 1995, Zurbriggen 2013).

¿Estos desafíos son inherentes a esta tecnología o son potencialmente resolubles? Según algunos, muchos de los problemas que asociamos con las LAWS pueden mitigarse si hacemos que los humanos sean funcionalmente relevantes dentro del sistema de toma de decisiones. Es decir, se inclinan hacia la tecnificación del ser. Los humanos deben ser capaces de entender y trabajar con la lógica de la máquina para obtener el mejor resultado: “Humano débil + máquina + mejor proceso [es] superior a [cualquier] computadora [o]... un humano fuerte + máquina + proceso inferior” (Kasparov, citado en Phillips-Levine et al. 2022, 1). Esto es intuitivo para la guerra futura solo si aceptamos que la lógica del sistema debe prevalecer en el proceso de matar con las LAWS. Un futuro así sancionaría a los sistemas de violencia que presentan a los enemigos ineludiblemente como objetos inhumanos, y hacen que los combatientes sean cada vez más inertes moralmente. Las leyes aceleran y racionalizan la decisión de matar, pero al hacerlo, abren nuevos espacios para infracción moral. La violencia computacional y desapasionada de las armas autónomas es incompatible con la regulación y la “humanización”.

3. ¿Cuáles son las implicaciones en nuestros valores humanos?

Las matanzas sistemáticas en la historia son un gran debate sobre la moralidad de las armas autónomas. A menudo el debate se centra en la función y el valor de la humanidad. Es un debate disperso, pues la imagen que debería cumplir un soldado según el Derecho Internacional Humanitario es la de un combatiente justo, sin embargo, esto es un tipo ideal de soldado, que está en desacuerdo con gran parte de la experiencia humana en guerras pasadas y presentes (Williams 2021). Los combatientes humanos internalizan las reglas del campo de batalla con demasiada lentitud y las descartan demasiado rápido para que sean consistentemente efectivos. Durante el paso del tiempo en el que se ha librado la guerra, los participantes humanos, impulsados por la rabia, el miedo y el odio, han cedido a sus ‘pasiones locas’ y han aterrorizado y asesinado a partes inocentes (Best 1980). Es esta imagen de la humanidad la causa de la misera en la guerra a la que hacen referencias los defensores de las armas autónomas cuando enmarcan la tecnología como una alternativa éticamente superior (Riesen 2022).

Y aunque no esté equivocada, esta descripción pesimista de la humanidad es excesivamente estrecha, excluyendo otros tipos de mala conducta e inmoralidad impulsadas por el ser humano que es más probable que los sistemas de armas autónomas potencien, a que las prevengan. La atrocidad de la guerra a menudo tiene su origen en la pasión: el odio al enemigo y la euforia y la alegría de su sufrimiento. Sin embargo, además de esto, existen las crueldades más desapasionadas y sistemáticamente dispensadas. “La violencia fría debería perturbarnos mucho más que la bestia de la ira en el hombre” (Glover 2000, 64). Matar de modo tan frío está impulsado menos por la animadversión personal que por un cálculo lógico. Los modelos sistemáticos y desapasionados de ‘control de plagas’ de matanza han sido una característica de algunos de los episodios más destructivos de la historia humana (Münkler 2004).

El problema del asesinato sistemático se deriva principalmente de su relación histórica con el daño inhumano e injusto; es decir, el uso de sistemas organizados para llevar a cabo matanzas masivas de personas inocentes. Sin embargo, es importante destacar que muchos también se sienten repelidos por el proceso de asesinar sistemáticamente y por el grado en que la subsunción de las emociones humanas en sistemas intensificados de violencia socava el estatus moral tanto de ellos que dispensan violencia como de los que reciben el daño. Mostrar esta historia y las realidades empíricas de la violencia en la guerra ayuda a ir más allá de los debates sobre las armas autónomas, excesivamente impregnados de supuestos teóricos abstractos.

Los procesos asociados con el asesinato sistemático, en las versiones más intensificadas, ponen en peligro la restricción al uso de la fuerza. Esto se observa en primer lugar en la relación con la situación de las personas a las que se dirige. La sistematización impone o incentiva categorías totalizadoras que suprimen las diferencias individuales de los destinatarios, incluidas aquellas que podrían ser relevantes para nuestro juicio moral sobre la legitimidad de los objetivos. Estos procesos han estado presentes en gran parte de la violencia colonial de los siglos anteriores. “El colonialismo estableció la idea de poblaciones enteras como objetivos legítimos” (Freedman 2017, 36). Bajo este contexto, se fijó la categorización, negando a las personas seleccionadas la oportunidad de expresar su inocencia y su inmunidad frente a daños directos y deliberados. Las tácticas británicas durante la Segunda Guerra ejemplifican este proceso. “Los británicos debían expulsar a los guerrilleros en una seria de campañas sistemáticas, organizadas como un tiro deportivo, con el éxito definido en una bolsa semanal de muertos, capturados y heridos, y barrer el país sin todo lo que pudiera dar sustento a los guerrilleros, incluidas las mujeres y los niños… Fue la eliminación de civiles, el desarraigo de toda una nación, lo que dominaría la última fase de la guerra” (Pakenham 1979, 493).

Este caso colonial deja claro que los desafíos morales implícitos en la sistematización contemporánea de la violencia tienen una historia más extensa[2]. Matar por una lógica de sistema reduce en gran medida, si no elimina, la posibilidad de conexión interpersonal, o incluso de reconocimiento. La persona cosificada que recibe la fuerza letal tiene poca o ninguna agencia en el proceso de selección de objetivos; no hay forma de saber cómo se desagrupan y reagrupan sus datos en la producción de la categoría “objetivo enemigo”. En estos sistemas se hacen inferencia y suposiciones que encasillan categorías como la “enemistad” en términos discretos. Esta lógica se deriva de la ambición totalitaria de conocer al enemigo basado en la clasificación de datos y la tabulación cruzada. Las políticas nazis se caracterizaron por un proceso de cosificación y deshumanización. La clasificación sistemática de los seres humanos para su eliminación masiva rompió la premisa misma de las relaciones humanas: la de ser considerado como un individuo: un sujeto, no un objeto. Hanna Arendt contaba que, bajo el cuerpo de las SS, “la bestialidad dio paso a una destrucción absolutamente fría y sistemática de los cuerpos humanos; calculada para destruir la dignidad humana y matar a cualquier individuo de los encarcelados en los campos” (Arendt 2018, 585). Los reclusos se convertían en objetos, clasificados en base a un sistema de identificación “según el cual cada prisionero tenía un identificador cosido a su uniforme” sobre el que se colocaba un “triángulo de clasificación” que indicaba por color si esa persona estaba categorizada como preso político, testigo de Jehová, prostituta u otro “asocial”, homosexual, criminal, judío, etc. (Lifton 2016). Aprovechando las nuevas tecnologías para matar a distancia, tanto física como socialmente, y de este modo evitar los “horrores de la matanza cara a cara”, la violencia de la Alemania nazi ofrece un claro ejemplo del desafío moral de la violencia sistemática desapasionada (Anders 1962).

Quizás estos ejemplos puedan no ser relevantes para los debates actuales sobre los peligros de las armas autónomas siendo demasiado exagerados. Pero es importante remarcar que no se pretende establecer una equivalencia moral entre las prácticas genocidas de la Segunda Guerra Mundial y el uso de la matanza autónoma a distancia. Lo que estos ejemplos históricos muestran es la matanza sistemática en su forma más patológica. El análisis de estos casos nos permite reconocer mejor las características problemáticas de la sistematización como proceso que opera en otros lugares, aunque en grados mucho menos severos. La sistematización de la violencia es un espectro que va desde lo rutinario y no problemático hasta lo asesino y genocida. En el medio no hay una serie de ejemplos de asesinatos sistemáticos que no son genocidas, pero siguen estando radicalmente en tensión con las normas morales prevalecientes.

Un ejemplo de ello es la estrategia de Estados Unidos en Vietnam durante la década de 1960, influenciada por la doctrina militar bajo Robert McNamara, centrada en un enfoque altamente cuantitativo y computacional conocido como “tecnoguerra”. McNamara y su equipo creían que, con suficientes datos, la guerra podría ser completamente racional y controlable. Este enfoque llevó a un énfasis excesivo en evaluaciones de costo-beneficio y al “recuento de cadáveres” como métrica de éxito, resultando en la orden de matar a tantos enemigos sospechosos como fuera posible. La amplia y a menudo imprecisa clasificación del enemigo facilitó la comisión de numerosas atrocidades. Se estima que, entre 1,1 y 3,8 millones de vietnamitas, tanto civiles como combatientes, murieron violentamente (Anders 1962). Este sistema incentivó la muerte y corrompió los valores morales. Estos riesgos persisten en la guerra algorítmica actual, amenazando tanto la moralidad de los objetivos como de quienes ejecutan la violencia.

De todo esto surge la siguiente pregunta: ¿cómo pudieron hacerlo? ¿Cómo pudieron todos ser partícipes de un sistema de asesinatos producidos en masa? La respuesta a esta pregunta nos ayudará a comprender mejor los peligros presentes y futuros de la matanza autónoma. Frente a ciertas atrocidades, se reconoce que la hostilidad “ha estado arraigada históricamente e inducida situacionalmente por las condiciones bajo las cuales se debilitan las inhibiciones morales habituales contra la violencia” (Kelman 1973, 25-61). Se identifica entonces que la autorización, la rutinización y la deshumanización son importantes contribuyentes a este debilitamiento de la restricción moral.

La autorización proporciona el sustrato necesario para las transgresiones sancionadas a gran escala. Cuando un agente legítimo y autoritario ordena explícitamente o aprueba actos de violencia, la disposición del agente a tolerarlo aumenta considerablemente. Mediante la autorización, el control se entrega a agentes autorizados vinculados a objetivos más amplios, a menudo abstractos, que van más allá de las reglas de la moralidad común (Anders 1962). Para aquellos, a los que se les permite hacer uso de la violencia de manera efectiva, la responsabilidad se ve dispersa en manos de las autoridades centrales, que a su vez ceden su autoridad a cargos aún más altos. Lo que causa que se separe la parte cognitiva de los afectos y la amoralidad personal de una apelación racionalizada a la violencia dominante.

Por otro lado, la rutinización erosiona las restricciones morales, mientras que la autorización anula las preocupaciones morales que de otro modo existirían; los procesos de rutinización limitan los puntos en los que las preocupaciones morales pueden surgir. La rutinización cumple dos funciones: la primera, reducir la necesidad de tomar decisiones, minimizando las ocasiones en las que pueden surgir cuestiones morales; y, la segunda, hace que sea más fácil evitar las implicaciones que conlleva la acción, pues el actor se centra en los detalles más que en el significado de la tarea en cuestión. A su vez, los procesos de deshumanización privan a las víctimas de su condición humana. “En la medida en que las víctimas son deshumanizadas, los principios de moralidad ya no se aplican a ellas y las restricciones morales contra el asesinato se superan más fácilmente” (Anders 1962, 1). A su vez, estos mismos procesos de degradación del estatus moral de la víctima también pueden deshumanizar a los perpetradores.

A través de su obediencia incondicional a la autoridad y a través de la rutinización de su trabajo, se le priva del albedrío personal. No es un actor independiente que emite juicios y decisiones sobre la base de sus propios valores y de la evaluación de las consecuencias. Más bien, se deja zarandear por fuerzas externas. Se enajena dentro de su tarea (Anders 1962, 1).

De lo dicho anteriormente podemos enfatizar que la sistematización como problema no es específica de ninguna tecnología o modo de guerra. Podemos observar el programa de aviones no tripulados armados de EE.UU. para una ilustración más reciente de los efectos problemáticos de la autorización, la rutinización y la deshumanización. Dentro de este programa, los aviones no tripulados armados eran parte de una “red flexible” de capacidades que abarcaban una distancia global y se entrelazaban mediante matrices de transmisión de datos (Schultz 2021). A partir de esta tecnología de integración de sistemas surgieron varios desafíos morales, particularmente en el contexto de los asesinatos selectivos. Inicialmente este programa se justificó como una respuesta necesaria al terrorismo, derivando en un deterioro de los estándares de selección de objetivos a medida que los asesinatos con drones se volvieron más rutinarios (BBC News 2013). Durante la candidatura de Obama se hizo referencia a la naturaleza sistemática de los asesinatos con aviones no tripulados de EE.UU. y a la perdida moral que incentivó:

El problema con el programa de drones... es que empieza a darte la ilusión de que eso no era la guerra... la maquinaria comenzó a volverse demasiado fácil de utilizar, y tuve que imponer internamente un conjunto sustancial de reformas en el proceso para dar un paso atrás y recordar a todos los involucrados que esto no es una práctica de tiro (CBS News 2020).

La deshumanización también afectó al programa de aviones no tripulados de EE.UU., agravada por la naturaleza basada en datos de los asesinatos: los objetivos a veces se comparan como si fueran malezas o plagas (Pilkington 2017). Las opiniones internas de la comunidad hacia los perseguidos por drones armados eran: “no tienen derechos. No tienen dignidad. No tienen humanidad para sí mismos. Solo son un ‘selector de objetivos’ para un analista. Al final llegas a un punto en el ciclo de vida del objetivo en el que simplemente lo sigues como si fuera un objeto, ni siquiera te refieres a él por su nombre real. Esta práctica, contribuye a deshumanizar a la gente incluso antes de que te hayas encontrado con la pregunta moral de ¿es este un asesinato legítimo o no?” (Scahill 2015, 93-110).

Tras una extensa revisión de los diferentes tipos de asesinato sistemático a lo largo de varios periodos históricos, que varían considerablemente tanto en los medios como en los fines de la violencia, se pueden identificar puntos en común. Aunque la violencia sistemática no es intrínsecamente problemática, plantea desafíos morales ineludibles, especialmente en casos de sistematización intensificada. Esto incluye la erosión del estatus moral tanto de quienes ejercen como de quienes reciben la violencia, una pérdida que puede impactar negativamente en la moderación durante la guerra; un riesgo que persiste en el contexto actual de la violencia autónoma sistemática.

4. ¿Hay posibilidad de retroceder?

La carrera armamentística en torno a las armas autónomas se ha intensificado en los últimos años, impulsada por avances tecnológicos y el deseo de mantener una ventaja militar. A pesar de los profundos dilemas éticos y las amenazas a la estabilidad global, el retroceso en esta carrera parece prácticamente imposible. Esto se debe en gran medida a la disposición de ciertos países a priorizar la superioridad militar sobre la preservación de valores morales y la estabilidad internacional. A continuación, se exploran las razones detrás de esta dinámica y sus implicaciones.

Las armas autónomas ofrecen una promesa tentadora de superioridad militar. La capacidad de desplegar sistemas de combate que operan con velocidad, precisión y sin la necesidad de intervención humana directa proporciona una ventaja estratégica significativa. Países como Estados Unidos, China y Rusia están invirtiendo enormes recursos en el desarrollo de estas tecnologías, reconociendo que quien domine en este campo podría establecer una hegemonía militar (Scharre 2018).

El dilema de seguridad juega un papel crucial en la carrera armamentística. Si un país reduce su inversión en armas autónomas, corre el riesgo de quedar vulnerable frente a aquellos que continúan avanzando. Este temor de quedarse atrás crea una situación en la que ninguna nación quiere ser la primera en detener el desarrollo de estas tecnologías (Altmann y Sauer 2017). La percepción de que los adversarios potenciales podrían obtener una ventaja decisiva empuja a los países a seguir adelante, perpetuando la carrera.

La falta de confianza entre las naciones complica aún más la posibilidad de un acuerdo para detener o revertir el desarrollo de armas autónomas. Sin un marco internacional sólido y verificable, los países no pueden estar seguros de que sus rivales cumplirán con cualquier acuerdo de limitación. Esta desconfianza mutua fomenta un ciclo continuo de desarrollo y despliegue de armas autónomas (Payne 2021).

Establecer un régimen de control efectivo para las armas autónomas es extremadamente complicado. Las definiciones y límites sobre qué constituye un arma autónoma pueden ser ambiguas, y las tecnologías subyacentes, como la inteligencia artificial, son duales, es decir, pueden tener usos tanto civiles como militares. La regulación internacional enfrenta obstáculos significativos en la verificación del cumplimiento y la imposición de sanciones (Marchant et al. 2011).

Los complejos industriales-militares tienen un interés económico en el desarrollo continuo de nuevas tecnologías de armas, incluidas las autónomas. Las inversiones en investigación y desarrollo, así como las expectativas de lucrativos contratos de defensa, crean una fuerte inercia que impulsa la carrera armamentística. Estos actores suelen ejercer presión sobre los gobiernos para mantener y aumentar las inversiones en capacidades militares avanzadas (Singer 2009).

La posibilidad de retroceder en la carrera armamentística de las armas autónomas es extremadamente limitada debido a la combinación de la búsqueda de ventaja militar, el dilema de seguridad, la desconfianza internacional, los desafíos regulatorios, la presión de los complejos industriales-militares y la erosión de valores morales. Para mitigar los riesgos asociados es esencial un enfoque multilateral que fomente la cooperación internacional, la transparencia y la construcción de confianza; aunque lograrlo sea una tarea formidable en el actual clima geopolítico.

Conclusión

Los procesos de sistematización subsumen el juicio humano en el campo de batalla hasta un grado moralmente problemático. El derecho internacional humanitario valora el juicio humano precisamente porque, aunque históricamente ha demostrado ser un control insuficiente de la conducta individual, representa una salvaguarda ética esencial. El principio de discriminación, la prohibición de la perfidia y la protección de los prisioneros de guerra: estas reglas resisten a cualquier presión externa situacional que exista, es independiente de cualquier capricho del juicio de los combatientes. Sin embargo, estas reglas no deben cegarnos ante los peligros de lo contrario: formas frías y desapasionadas de violencia sistemática que erosionan el estatus moral de los objetivos humanos, así como el estatus de aquellos que participan dentro del propio sistema.

El argumento de que los LAWS pueden ser agentes más éticos en la guerra solo puede sostenerse si pensamos en la guerra como una actividad en gran medida procesal y centrada en el proceso en la que las líneas morales son relativamente fáciles de identificar y lo suficientemente firmes como para soportar la incertidumbre y la ambigüedad. Esto puede ser un ideal, pero no lo es, y probablemente nunca será una realidad. La guerra está dividida por una complejidad que impide la certeza; y, por extensión, la aplicación fluida y fiable de la violencia sistemática a los sujetos que son un objetivo. Actuar como si esta no fuera la realidad, imponer la violencia sistemática en entornos estructuralmente inadecuados para tal enfoque, es cortejar un daño moral previsible y ruinoso.

Las LAWS y los asesinatos infundidos por la IA, sistematizan la violencia en el sentido más literal. El sistema proporciona la organización, la función optimizada, el distanciamiento y el vacío moral necesarios para expandir los modos de matar en lugar de fomentar la restricción. Esto no es un genocidio ni una limpieza étnica ni ninguna de las otras formas de asesinato sistemático histórico examinadas en este artículo. La violencia de las LAWS no se acerca moralmente a la matanza masiva que marcó gran parte del siglo XX. Pero sí se observa, sin embargo, un eco del pasado problemático en los procesos autónomos de hoy: un conjunto implícito de condiciones que podrían facilitar la infracción moral en el uso de la violencia letal en la guerra.

Retroceder en la carrera armamentística de las armas autónomas letales es poco realista en la actualidad, ya que requeriría un esfuerzo coordinado y multifacético que involucre voluntad política, cooperación internacional, desarrollo de regulaciones y tratados, y la consideración de las implicaciones éticas y humanitarias. La historia de los tratados de control de armas ofrece precedentes de éxito, pero también destaca los desafíos que se deben superar para lograr un control efectivo de las LAWS.

Nada es tan peligroso en el estudio de la guerra como permitir que las máximas se conviertan en un sustituto del juicio (Corbett 2008, p.167).

Referencias

Altmann, Jürgen y Frank Sauer. 2017. «Autonomous weapon systems and strategic stability». Survival 59 (5): 117-142.

Anders, Günther. 1962. Burning conscience. Nueva York: Monthly Review Press

Ansorge, Josef T. 2016. Identify and sort: How digital power changed world politics. Oxford: Oxford University Press.

Arendt, Hannah. 2018. The origins of totalitarianism. Galway: Penguin.

Asaro, Peter. 2012. «On banning autonomous weapon systems: human rights, automation, and the dehumanization of lethal decision-making». International Review of the Red Cross 94 (886): 687–709. doi:10.1017/S1816383112000768

BBC News. 2013. US Drone Programme: ‘Strict, fair and accountable’ - Kerry. Acceso el 28 de mayo de 2024. https://www.bbc.com/news/av/world-radio-and-tv-22690918/us-droneprogramme-strict-fair-and-accountable-kerry.

Best, Geoffrey Francis Andrew. 1980. Humanity in warfare. The modern history of the international law of armed conflicts. Oxford: Routledge.

Bode, Ingvild y Thomas Watts. 2021. Meaning-less human control: Lessons from air defence systems on meaningful human control for the debate on AWS. Odense: University of Hertfordshire.

CBS News. 2020. Barack Obama: The 2020 60 minutes interview. Acceso el 16 de noviembre de 2023. https://www.cbsnews.com/video/barack-obama-60-minutes-2020-11-15.

Cheney-Lippold, John. 2019. «Accidents happen». Deleted Journal 86 (2): 513-35.

Congressional Research Service. 2022. «Defense Primer: command and control», In Focus, actualizado el 14 de Noviembre.

Corbett, Julian. 2008. Some principles of maritime strategy. Milton Park: Routledge.

Crootof, Rebecca. 2019. «Regulating new weapons technology». En The impact of emerging technologies in the Law of armed conflict, editado por Ronald T.P. Alcala y Eric Talbot, 3-36. Oxford: Oxford University Press eBooks. doi.org/10.1093/oso/9780190915322.003.0001.

Cummings, Mary. 2004. «Automation bias in intelligent time critical decision support systems». American Institute of Aeronautics and Astronautics, junio. doi.org/10.2514/6.2004-6313.

Ekelhof, Merel. 2019. «Moving beyond semantics on autonomous weapons: Meaningful human control in operation». Global Policy 10 (3): 343-48. doi.org/10.1111/1758-5899.12665.

Emery, John R. 2016. «Review: Anthony F. Lang Jr., Cian o’Driscoll y John Williams, eds. Just War: Authority, Tradition, and Practice». European Review of International Studies 3 (1): 143-47. doi.org/10.3224/eris.v3i1.26023.

Freedman, Lawrence. 2017. The future of war: A history. Londres: Allen Lane.

Glover, Jonathan. 2000. Humanity: A moral history of the Twentieth Century. Londres: Yale University Press. http://ci.nii.ac.jp/ncid/BA44910039.

Heyns, Christof. 2017. «Autonomous weapons in armed conflict and the right to a dignified life: an African perspective». South African Journal of Human Rights 33 (1): 46–71. doi.org/10.1080/02587203.2017.1303903

Keegan, John. 1994. A history of warfare. Londres: Pimlico.

Kelman, Herbert G. 1973. «Violence without moral restraint: Reflections on the dehumanization of victims and victimizers». Journal of Social Issues 29 (4): 25-61. doi.org/10.1111/j.1540-4560.1973.tb00102.x.

Knight, Will. 2021. «The Pentagon inches toward letting AI control weapons». WIRED. Acceso el 10 de mayo de 2023. https://www.wired.com/story/pentagon-inches-toward-letting-ai-control-weapons/.

LeMoncheck, Linda. 1985. Dehumanizing women: Treating persons as sex objects. Londres; Rowman & Allanheld.

Lifton, Robert J. 2016. «The genocidal mentality». Tikkun 31 (3): 32-33. doi.org/10.1215/08879982-3628248.

Marchant, Gary E., Braden R. Allenby, y Joseph R. Herkert. 2011. The growing gap between emerging technologies and legal-ethical oversight: The pacing problem. Dordrecht: Springer.

Mitchell, Melanie. 2019. Artificial Intelligence: A guide for thinking humans. Nueva York: Farrar, Straus y Giroux.

Münkler, Herfried. 2004. Die neuen kriege. Hamburgo: Rowohlt. http://ci.nii.ac.jp/ncid/BB06266147.

Nussbaum, Martha C. 1995. «Objectification». Philosophy and Public Affairs 24 (4): 249-91. doi.org/10.1111/j.1088-4963.1995.tb00032.x.

Pakenham, Thomas. 1979. The Boer war. Barcelona: Futura Book. http://ci.nii.ac.jp/ncid/BA86489462.

Payne, Kenneth. 2021. The dawn of artificially intelligent conflict. Londres: Hurst Publishers.

Phillips-Levine, Trevor, Michael Kanaan, Dylan Phillips-Levine, Walter D. Mills y Noah Spataro. 2022. «Weak human, strong force: applying advanced chess to military AI». War on the Rocks. Acceso el 7 de julio de 2023. https://warontherocks.com/2022/07/weak-human-strong-force-applying-advanced-chess-to-military-ai.

Pilkington, Ed. 2017. «Life as a drone operator: ‘Ever step on ants and never give it another thought?’» The Guardian, 14 de julio. Acceso el 4 de julio de 2024. https://www.theguardian.com/world/2015/nov/18/life-as-a-drone-pilot-creech-air-force-base-nevada.

Riesen, Erich. 2022. «The moral case for the development and use of autonomous weapon systems». Journal of Military Ethics 21 (2): 132-50. doi.org/10.1080/15027570.2022.2124022.

Scahill, Jeremy. 2015. «Leaked military documents expose the inner workings of Obama’s drone wars». The Intercept. 21 de octubre. Acceso el 21 de octubre de 2024. https://www.theintercept.com/drone-papers/the-assassination-complex.

Scharre, Paul. 2018. Army of none: Autonomous weapons and the future of war. Nueva York: W. W. Norton & Company.

Schultz, Timothy P. 2021. Remote warfare: A new architecture of air power. Cambridge: Cambridge University Press. doi.org/10.1017/9781108985024.003.

Schwarz, Elke. 2021. «Autonomous weapons systems, artificial intelligence, and the problem of meaningful human control». Philosophical Journal of Conflict and Violence 5 (1): 53-72. doi.org/10.22618/tp.pjcv.20215.1.139004.

Singer, P. W. 2009. Wired for war: The robotics revolution and conflict in the 21st century. Nueva York: Penguin Books.

Umbrello, Steven, Phil Torres, y Angelo F. de Bellis. 2019. «The future of war: could lethal autonomous weapons make conflict more ethical?». AI & Society 35 (1): 273-82. doi.org/10.1007/s00146-019-00879-x.

Walker, Paddy. 2021. «Leadership challenges from the deployment of lethal autonomous weapon systems: How erosion of human supervision over lethal engagement will impact how commanders exercise leadership». The RUSI Journal 166 (1): 10–21. doi:10.1080/03071847.2021.1915702.

Williams, John. 2021. «Locating LAWS: Lethal autonomous weapons, epistemic space, and ‘meaningful human’ control». Journal of Global Security Studies 6 (4): 1-18. doi.org/10.1093/jogss/ogab015.

---