Inteligencias artificiales que administran justicia

Es probable que muchos de los lectores recuerden la película Minority Report, estrenada en 2002 y dirigida por Steven Spielberg. El film se basa en un relato corto de Philip K. Dick, y la trama se desarrolla en un futuro distópico en el que existe una unidad especial de la policía encargada de prevenir los crímenes antes de que sucedan. Para este fin, la unidad especial emplea a tres precogs, individuos con habilidades premonitorias capaces de observar quién va a cometer un crimen antes de que lo cometa. Gracias a esta unidad policial especial, el índice de delincuencia es prácticamente nulo, por lo que a priori, puede resultar un sistema eficiente. Sin embargo, ¿nos deberíamos fiar de los precogs?, ¿con qué porcentaje de acierto actúan? Pueden parecer preguntas sin sentido ya que se basan en una sociedad distópica, pero como veremos en este artículo, ese futuro no es tan lejano como parece.

Hace unos años en Estados Unidos, la población reclusa ascendía a 2 millones de personas (hoy en día es superior), como el costo de mantener a tal cantidad de personas privadas de libertad era altísimo, se planteó la posibilidad de liberar a aquellas personas que hubiesen cometido delitos menores. En algunos casos, las penas serían conmutadas por trabajos comunitarios, y en los más leves serían directamente puestos en libertad. Pero ¿cómo escoger quienes iban a ser liberados y quienes no? Con este objetivo, se comenzaron a fabricar una serie de algoritmos, que establecieran un factor de riesgo de reincidencia; es decir, se empleó una inteligencia artificial que determinara la probabilidad de reincidencia que mostraba cada individuo. Para ello, se evaluaban los delitos cometidos (y sus antecedentes), y el preso debía contestar a un cuestionario de 100 preguntas. Con estos datos se alimentaba al algoritmo para que determinase el mencionado factor de riesgo de reincidencia. Estos algoritmos son a día de hoy una realidad, y se emplean en varios estados para sugerir decisiones a lo largo de todo el proceso legal (fianzas, validación de libertad condicional, severidad de condena…), no sólo para decidir liberar a determinados individuos debido a la sobrepoblación carcelaria.

El algoritmo más empleado en estos casos se denomina COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) y se encarga de determinar la probabilidad de reincidencia de cada individuo, información que es proporcionada al juez para ayudarle a dictar sentencia. El problema de esta metodología, se basa en la discriminación que realiza. Por ejemplo, un joven de 20 años soltero y sin empleo, va a mostrar un mayor riesgo de reincidencia que una mujer de mediana edad casada y con hijos. Es decir, por cometer exactamente el mismo delito, el factor de riesgo será muy superior en el caso del hombre, y eventualmente, sufrirá una condena más elevada. No sé si te ha quedado del todo claro lo que acabo de decir, por ser joven y soltero, se supone que tienes mayores probabilidades de volver a delinquir, parece una broma pero es la realidad. Aun así, las discriminaciones van mucho más allá, ya que entre los elementos que se emplean para estimar este factor de riesgo, la situación social tiene un enorme peso. Si naces en un barrio humilde con unas condiciones socioeconómicas precarias, tendrás un factor de riesgo superior a una persona que nace en un barrio acaudalado. Luego defienden la movilidad social y que Estados Unidos es el país de las libertades y mierdas por el estilo. Además, en la estimación del factor, también influye si tus familiares han cometido delitos, ¿Cómo pueden juzgar tus actos por los que ha cometido otra persona?, pues lo hacen. Esto se ve reflejado en el cuestionario, donde algunas preguntas son del tipo “¿estuvieron tus padres alguna vez en prisión?” o “¿cuántos de tus amigos o conocidos toman drogas ilegales?” Como si el congreso y el senado estadounidense no estuvieran repletos de cocainómanos.

Los ejemplos concretos son desoladores: un chico negro de 20 años que solo había cometido un robo menor, fue calificado con el doble de riesgo de reincidencia, que un varón blanco de 50 años con antecedente por violencia doméstica, robos mayores y tráfico de drogas, muy eficiente el sistema. Lo peor, es que el el blanco de 50 años, volvió a cometer un robo al ser liberado, mientras que el negro, supuestamente el doble de peligroso, no volvió a cometer un delito. Un estudio de 7000 casos en los que se empleó el sistema COMPAS, determinó que el algoritmo proporciona factores de riesgo más elevados a la población negra que a la blanca, y por si fuera poco, el porcentaje de blancos que reincidieron, fue el doble que el de la población negra, el chiste se cuenta solo. Aunque el sistema no sea eficiente (que no lo es), puede que no te resulte tan abrumador, ya que las decisiones, en última estancia, las toman los jueces. ¿Crees que los jueces se verán influidos por lo que determina el algoritmo? veamos algún caso.

En un caso en el que un joven fue detenido por robar un cortacésped y un par de herramientas (menudo terrorista), la fiscalía y la defensa acordaron una pena de un año de prisión, pero el juez, al observar el factor de riesgo del individuo, revocó el acuerdo y duplicó la condena. La defensa apeló, y solicitó como testigo al desarrollador del algoritmo, que declaró que el objetivo de COMPAS, era reducir las sentencias y la sobrepoblación carcelaria, no aumentar ambas. Tras escuchar el testimonio, el juez redujo la condena a lo inicialmente acordado. Otro caso concreto, en que el delincuente fue arrestado por huir de la policía en un coche robado, el juez alegó explícitamente que la decisión de su fallo, se basó en parte, en el factor de riesgo. Los abogados, inteligentemente, solicitaron la información en base a la cual el algoritmo estima el factor, ya que un condenado tiene el derecho de acceder a la información en la que se basa su condena. La compañía que provee COMPAS, se negó a explicar cómo funcionaba su algoritmo (muy posiblemente no lo supieran como ocurre con el de YouTube y otras redes sociales), alegando que era información secreta protegida por las leyes de propiedad intelectual. Tras la apelación, la Corte Suprema del estado la rechazó. La sentencia quedó firme, tras la negativa de la Corte Suprema de Estados Unidos a revisar el caso. O sea, es más prioritaria la capacidad de lucro de una empresa con la comercialización de su algoritmo, que el derecho a saber en base a que se realiza la condena de miles y miles de personas; olé, olé y olé.

Estos son solo algunos casos de cómo en la sociedad actual se están relegando labores prioritarias a algoritmos e inteligencia artificiales, que sistemáticamente aplican los sesgos de quienes las han creado, amplificándolos e institucionalizándolos. Puede que el índice de delincuencia cero de Minority Report parezca un paraíso utópico, pero yo no quiero vivir en un mundo en el que la justicia se administra de forma sesgada; y menos, en uno en el que cualquier día toquen a mi puerta para detenerme por un crimen que no he cometido, pero se supone que cometeré.

Artículo basado en: