Phys.org
Cuando usted navega en línea para un nuevo par de zapatos, escoger una película para transmitir en Netflix o solicitar un préstamo de coche, un algoritmo probablemente tiene su palabra para decir sobre el resultado.
Las complejas fórmulas matemáticas están desempeñando un papel cada vez más importante en todos los ámbitos de la vida: desde la detección de cánceres de piel hasta la sugerencia de nuevos amigos en Facebook, decidir quién obtiene un empleo, cómo se despliegan los recursos policiales, quién obtiene un seguro a qué costo, o quien está en la lista de "No permitido a volar".
Algoritmos se están utilizando-experimentalmente-para escribir artículos de noticias de datos en bruto, mientras que la campaña presidencial de Donald Trump fue ayudado por los vendedores de comportamiento que utilizaron un algoritmo para localizar las concentraciones más altas de "votantes persuasibles".
Pero si bien estas herramientas automatizadas pueden inyectar una medida de objetividad en las decisiones subjetivas anteriores, los temores están aumentando por la falta de transparencia que los algoritmos pueden implicar, con la presión de aplicar estándares de ética o "rendición de cuentas".
La científica de datos Cathy O'Neil advierte sobre las fórmulas de "confiar ciegamente" para determinar un resultado justo.
"Los algoritmos no son inherentemente justos, porque la persona que construye el modelo define el éxito", dijo.
Ampliar desventajas
O'Neil argumenta que aunque algunos algoritmos pueden ser útiles, otros pueden ser nefastos. En su libro de 2016, "Weapons of Math Destruction", cita algunos ejemplos preocupantes en los Estados Unidos:- Las escuelas públicas en Washington DC en 2010 despidieron a más de 200 maestros -incluyendo a varios instructores muy respetados- basados en puntuaciones en una fórmula algorítmica que evaluó el rendimiento.
- Un hombre diagnosticado con desorden bipolar fue rechazado para el empleo en siete minoristas importantes después de que un tercero "prueba de la personalidad" lo considerara un riesgo alto basado en su clasificación algorítmica.
- Muchas jurisdicciones están utilizando "políticas preventivas" para trasladar los recursos a posibles "puntos calientes". O'Neill dice que dependiendo de cómo los datos son alimentados al sistema, esto podría conducir al descubrimiento de más delitos menores y un "bucle de retroalimentación" que estigmatiza a las comunidades pobres.
- Algunos tribunales se basan en fórmulas ordenadas por computadora para determinar las penas de cárcel y la libertad condicional, lo que puede discriminar a las minorías teniendo en cuenta factores de "riesgo" tales como sus vecindarios y los vínculos de amigos o familiares con el crimen.
- En el mundo de las finanzas, los corredores "raspan" los datos de fuentes en línea y otras en nuevas formas de tomar decisiones sobre el crédito o los seguros. Esto a menudo amplifica los prejuicios contra los más desfavorecidos, argumenta O'Neil.
Sus hallazgos se hicieron eco en un informe de la Casa Blanca el año pasado advirtiendo que los sistemas algorítmicos "no son infalibles-se basan en los insumos imperfectos, la lógica, la probabilidad y las personas que los diseñan".
El informe señaló que los sistemas de datos pueden idealmente ayudar a eliminar el sesgo humano, pero advirtió contra los algoritmos "sistemáticamente en desventaja ciertos grupos".
Migas digitales
Zeynep Tufekci, profesor de la Universidad de Carolina del Norte que estudia tecnología y sociedad, dijo que las decisiones automatizadas a menudo se basan en datos recopilados sobre personas, a veces sin su conocimiento."Estos sistemas computacionales pueden inferir todo tipo de cosas sobre usted desde sus migajas digitales", dijo Tufekci en una reciente conferencia de TED.
"Pueden inferir su orientación sexual, sus rasgos de personalidad, sus tendencias políticas, tienen poder predictivo con altos niveles de precisión".
Dichas ideas pueden ser útiles en ciertos contextos -como ayudar a los profesionales médicos a diagnosticar la depresión posparto- pero injustas en otros, dijo.
Parte del problema, dijo, proviene de pedir a las computadoras que respondan a preguntas que no tienen una sola respuesta correcta.
"Son preguntas subjetivas, abiertas y llenas de valor, preguntando a quién debe contratar la compañía, qué actualización de qué amigo se le debe mostrar, que convicto es más probable que reincidir".
¿El modelo de la UE?
Frank Pasquale, profesor de derecho de la Universidad de Maryland y autor de "The Black Box Society: Los algoritmos secretos que controlan el dinero y la información", comparte las mismas preocupaciones.Sugiere que una manera de remediar los efectos injustos puede ser la aplicación de las leyes existentes sobre protección del consumidor o prácticas engañosas.
Pasquale apunta a la ley de protección de datos de la Unión Europea, establecida a partir del próximo año para crear un "derecho de explicación" cuando los consumidores se ven afectados por una decisión algorítmica, como un modelo que podría ampliarse.
Esto "obligaría a la transparencia o impedirá que los algoritmos se utilicen en ciertos contextos", dijo.
Alethea Lange, analista de política del Centro para la Democracia y la Tecnología, dijo que el plan de la UE "suena bien", pero "es realmente oneroso" y arriesgó demostrar que es impracticable en la práctica.
Ella cree que la educación y la discusión pueden ser más importantes que la aplicación en el desarrollo de algoritmos más justos.
Lange dijo que su organización trabajó con Facebook, por ejemplo, para modificar una fórmula muy criticada que permitía a los publicistas usar "afinidad étnica" en su orientación.
Chivo expiatorio
Otros, mientras tanto, advierten que los algoritmos no deberían ser un chivo expiatorio para los males de la sociedad."La gente se enoja y está buscando algo que culpar", dijo Daniel Castro, vicepresidente de la Fundación de Tecnología de la Información e Innovación.
"Estamos preocupados por el prejuicio, la responsabilidad y las decisiones éticas, pero estos existen si está utilizando algoritmos o no".