Armas de destrucción matemática

algoritmos

En 2003, en medio de la agria polémica en torno a las armas de destrucción masiva de Irak, se popularizó en los medios de comunicación anglosajones el acrónimo WMD. Estas siglas, correspondientes a Weapons of Mass Destruction, hacían referencia a un conjunto de armas de destrucción masiva cuya posesión se atribuyó durante un tiempo a Saddam Hussein.

En 2018, el término ha regresado del olvido, con las mismas siglas, pero con una lectura ligeramente diferente – Weapons of Math Destruction-, y un nuevo contexto: el de los algoritmos Big Data y los riesgos que suponen para la sociedad. La autora del juego de palabras, y de un libro con el mismo título, es la profesora Cathy O’Neil, doctorada en matemáticas por Harvard. En su obra, traducida como Armas de Destrucción Matemática, explica cómo la progresiva cesión de la responsabilidad de las decisiones con repercusiones sociales a los algoritmos, favorece la comisión sistemática de actos discriminatorios e injustos por parte de las instituciones y sus responsables.

Los algoritmos en la toma de decisiones

El argumento encierra cierta complejidad, ya que a primera vista, un algoritmo es mucho más objetivo que un ser humano. Y si fuera subjetivo, lo sería en la medida en que su programador, o su “entrenador” – pues los algoritmos en Machine Learning son el resultado de una programación y de un posterior entrenamiento-, le haya transferido sus propias subjetividades.

En cuanto a coherencia, disciplina, y ausencia de prejuicios personales nadie puede ganar a un algoritmo. Si fuera posible eliminar el sesgo discriminatorio en el que tarde o temprano, en mayor o menor medida, incurrimos todos al juzgar a las personas, el mundo sería más justo y amable.

Pero los algoritmos, sostiene O’Neil, aprenden de las relaciones verdaderas entre las variables sociales, y son capaces de interiorizar y reproducir los fenómenos discriminatorios anclados en la sociedad. Más aún, cuando los algoritmos actúan al servicio de instituciones como aseguradoras o bancos, los sesgos discriminatorios se aplican sistemáticamente, de manera opaca, a gran escala y sin ningún remordimiento.

Para entender esta idea, pensemos en un algoritmo que evalúa las probabilidades de que una persona devuelva el crédito bancario que está solicitando. En lugar de analizar a la persona en sí, utilizará toda la información disponible en la base de datos, como el código postal, edad, estado civil, etc., e incluso otros datos que podrá inferir de los anteriores: raza, sexo, religión (el código postal suele ser bastante determinante de la raza, en determinados países y regiones). Estos datos identificarán a la persona con un grupo social determinado, y a partir de patrones conocidos de comportamientos pasados de dicho grupo, el algoritmo estima la probabilidad de que el solicitante incurra en un impago. Si esta es elevada, se deniega el crédito.

Desde el punto de vista económico, el razonamiento tiene sentido, qué duda cabe. Pero al mismo tiempo se incurre en un acto discriminatorio. ¿Por qué? Porque si se emplea información personal de la que se pueda deducir la pertenencia a grupos sociales que han sido tradicionalmente desfavorecidos en el reparto social, condenamos a los miembros de dichos grupos a perpetuar el destino de sus predecesores, es decir, eliminamos las posibilidades de movilidad social. En cierto modo, desmontamos el futuro y lo hacemos idéntico al pasado.

La realimentación

Detrás de este razonamiento, alude la autora, subyace el principio de realimentación en la sociedad. Me detendré en este detalle, al igual que hace O’Neil, porque nos es muy familiar a los ingenieros. Realimentación significa utilizar la información que se obtiene a la salida de un proceso para corregir, de manera instantánea, la información -órdenes- que se suministran -alimentan- a la entrada del mismo. La realimentación ocurre, por ejemplo, cuando conducimos un coche, al que damos órdenes mediante el volante (entrada). Dichas órdenes tendrán un indudable efecto en la trayectoria -la salida-, pero al mismo tiempo son elaboradas en función de la salida observada. La salida es a la vez causa y consecuencia de las órdenes que hemos transmitido. Aparece, por tanto, una cadena circular de información: orden – volante – ruedas – trayectoria – observación – y de nuevo, orden. Esta cadena causal circular se repite indefinidamente, y las complejas características de su comportamiento son objeto de estudio de una disciplina científica originada en el siglo XIX, la teoría de los Sistemas Dinámicos.

La realimentación es la base de los sistemas automáticos, y también de la regulación de los sistemas biológicos, a través de los procesos homeostáticos. Como resultado positivo, permiten mantener equilibrios necesarios para el funcionamiento de los mecanismos y de la vida. Como efecto negativo, un mal ajuste de la cadena causal puede dar lugar a la inestabilidad.

La realimentación con resultado de inestabilidad a veces sucede en la sociedad, con efectos muy dañinos. Uno de ellos son las escaladas de especulación y precios, que pueden desembocar en graves crisis como la que sufrimos en 2008. Otras son la polarización de la sociedad y los enfrentamientos. No me resulta difícil postular que las grandes categorías sociales, como el pensamiento de izquierdas y derechas, modos de vida norte-sur, nacionalismo – integración, son dicotomías no por su naturaleza discreta (pues creo que para cada problema político concreto hay un continuo de posturas posibles entre lo que conocemos como izquierda y derecha), sino por las dinámicas realimentación inestables que tras una cadena de acciones y reacciones nos acaban empujando hacia uno u otro bando.

Un debate ético

La idea más interesante de las tesis de Cathy O’Neil, es, en mi opinión, la de los lazos de realimentación que se están creando en la sociedad por el uso de los algoritmos Big Data. Según el ejemplo del crédito bancario, los resultados económicos de un grupo social se miden y se realimentan a través de los algoritmos de predicción, que por vía de la denegación de préstamos o el encarecimiento de seguros, apuntalan aún más el destino de los desfavorecidos, destruyendo sus posibilidades de progresar. El citado efecto no se restringe a este contexto, se extiende a muchos otros, alcanzando a la evaluación del profesorado, al crear unos incentivos monocromáticos que reprimen la diversidad de perspectivas y métodos.

Este artículo puede parecer pesimista, pero en realidad refleja cierto alivio al constatar que hay voces destacadas señalando las amenazas consustanciales a la revolución digital que vivimos. Estas voces, acaban permeando incluso el discurso de los más entusiastas, como ilustra el siguiente ejemplo. El jefe de datos de The Economist, Kenneth Cuckier, ha escrito dos libros sobre Big Data con un año de diferencia. El primero, puramente sobre el concepto y las posibilidades del Big Data, es un verdadero canto al optimismo. El segundo, sobre Big Data en educación, es infinitamente más matizado y consciente de los innumerables riesgos que dicha tecnología encierra.

Es hora de que nos pongamos serios sobre el uso de algoritmos Big Data. Si uno observa la política local, parece que no está en la agenda de nuestros representantes, que prefieren que aceptemos que la batalla por la salud democrática se libre en otra arena en la que se ven más fuertes. Interesadamente o no, una política social que no entienda los retos de sociedad digital está condenada a la irrelevancia.

ComparteShare on Facebook6Share on Google+0Tweet about this on TwitterShare on LinkedIn0
Fabio Gómez Estern

Fabio Gómez Estern

Director del Master en Ingeniería Industrial. Director de la Escuela de Ingeniería (Catedrático). Es Ingeniero de telecomunicaciones por la Universidad de Sevilla. Máster en sistemas de control por la Universidad de Sevilla. Doctor en sistemas de control por la ETSI de la Universidad de Sevilla y SUPELEC (Francia). Ha sido profesor titular en la Universidad de Sevilla y Director del Departamento de Ingeniería de sistemas y Automática. Es el creador (programador) del Goodle GMS, un sistema de evaluación automática de problemas complejos de ingeniería.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *