Tecnología

¿Es racista el algoritmo de Twitter?

Cuando una fotografía es demasiado grande, un algoritmo en Twitter recorta automáticamente la imagen para mostrar la parte que considera más relevante.

Un experimento del desarrollador informático Toni Arcieri ha puesto en jaque a Twitter. El pasado sábado, Arcieri publicó dos fotografías. Una mostraba una foto frontal del rostro del líder republicano del senado estadounidense, Mitch McConell, seguido del rostro del ex-presidente de EE.UU. Barack Obama. La segunda invertía el orden, mostrando a Obama seguido de McConell.

Cuando una fotografía es demasiado grande, un algoritmo en Twitter recorta automáticamente la imagen para mostrar la parte que considera más relevante. En ambos casos eligió la cara de McConell, ocultando la de Obama.

Arcieri procedió a cambiar algunos elementos de la imagen, como el color de la corbata, para descartar diferentes variables pero el resultado era siempre el mismo. Entre dos personas, una de raza blanca y otra de raza negra, el algoritmo que decide qué parte de la imagen mostrar parecía elegir siempre el rostro de la de raza blanca.

Sólo cuando Arcieri cambió el color de la piel de ambos sujetos usando un filtro de inversión (como en el negativo de una foto), el algoritmo eligió rostros diferentes para el recorte. “Twitter es sólo un ejemplo más del racismo que se manifiesta a través de los algoritmos de aprendizaje máquina”, concluía Arcieri.

RACISTA POR DISEÑO
Los tuits de Arcieri se propagaron rápidamente por la red social y muchos usuarios comenzaron a realizar sus propios experimentos, cambiando los sujetos, el tamaño de los rostros y todo tipo de variables. Se convirtió pronto en un meme que han llegado a aprovechar algunas marcas de comida rápida para promocionar sus productos.

Con tantos experimentos, no tardaron en aparecer situaciones contradictorias. Imágenes que parecían ir incluso contra la tesis de Arcieri. Pero, ¿qué hay de cierto en todo esto?, ¿tiene el algoritmo de Twitter predilección por los rostros de piel blanca frente a los de piel negra? No es descabellado pensarlo y, de hecho, es uno de los problemas a los que se están enfrentando las primeras aplicaciones prácticas de inteligencia artificial.

Casi todos estas funciones utilizan lo que se denomina ‘aprendizaje máquina’;. Se alimenta un algoritmo inicial con cientos de miles o millones de ejemplos y se le indica que busque similitudes entre ellos. A partir de ahí se crea un modelo que se aplica a cualquier nuevo elemento para encontrar esos mismos patrones. Los nuevos elementos a los que se expone pasan a reforzar el modelo inicial.

Si no es escogen con cuidado los ejemplos iniciales, es posible introducir sesgos en el proceso. Si, por ejemplo, Twitter sólo hubiese entrenado el algoritmo de detección de rostros con fotos de gente de raza blanca, el algoritmo podría inferir que cualquier rostro con otro tono de piel no tiene la misma prioridad.

ENTRENAMIENTO EN DIVERSIDAD
Este tipo de problemas se da con bastante frecuencia y puede tener consecuencias muy serias. Varios expertos en Inteligencia artificial, por ejemplo, han desaconsejado usar algunos servicios de identificación facial o algoritmos de predicción de crimen porque introducen sesgos raciales.

Conforme las técnicas de inteligencia artificial se expanden a nuevos campos, como el diagnóstico médico, las consecuencias de estos sesgos pueden ser muy graves.

En el caso de Twitter, muchos factores parecen estar confluyendo, incluido un problema muy conocido. En este tipo de algoritmos el contraste de una imagen tiende a ser un elemento con mucho peso en el análisis. Los rostros blancos tienden a mostrar más contraste entre las diferentes zonas y por tanto suelen salir favorecidos a la hora de valorar la parte de la imagen que tiene más relevancia.

En herramientas de videoconferencia que hacen un recorte automático de la escena para centrarse en el interlocutor o eliminan el fondo para poner uno virtual, este efecto también se produce, como se puede ver en este ejemplo de Colin Madland.

Incluso los mejores algoritmos de identificación facial tienden a confundir a las personas de raza negra con 10 veces más frecuencia que a las de raza blanca por este motivo.

Twitter ha asegurado que va a estudiar la situación pero que tiene en cuenta estos factores a la hora de diseñar sus algoritmos. “Nuestro equipo comprobó posibles sesgos antes de activar el modelo y no encontró evidencia de prejuicio racial o de género en nuestras pruebas”, dijo esta semana un portavoz de la compañía a la publicación Mashable.

Parte del problema al que se enfrenta Twitter es que esos modelos son difíciles de analizar una vez el algoritmo se ha creado y está en funcionamiento. Son como ‘;cajas negras’ con reglas que sólo la red neutral que los creo es capaz de entender. Sólo se conocen las condiciones iniciales que se aplicaron en el proceso, y que suelen ser muy simples. La empresa publicó en 2018 un extenso post con los detalles del funcionamiento del algoritmo de recorte de las imágenes. En él, Twitter explica que su método se apoya en la ‘notabilidad’ de los elementos de una imagen.

“En general, las personas tienden a prestar más atención a las caras, el texto, los animales, pero también a otros objetos y regiones de alto contraste. Estos datos se pueden usar para entrenar redes neuronales y otros algoritmos para predecir lo que la gente podría querer mirar”, explica la empresa.