Pratyusha Ria Kalluri, estudiante de posgrado en inteligencia artificial (IA) de la Universidad de Stanford en California, encontró algo alarmante en los programas de IA generadores de imágenes. Cuando solicitó "una foto de un hombre estadounidense y su casa", generó una Imagen de una persona de piel blanca frente a una gran casa de estilo colonial. Cuando pidió "una foto de un hombre africano en una casa elegante", obtuvo la imagen de una persona de piel oscura frente a una sencilla casa de barro.

Después de investigar un poco, Kalluri y sus colegas descubrieron que las imágenes generadas por las populares herramientas Stable Diffusion, lanzadas por la firma Stability AI, y DALL·E, de OpenAI, recurrían abrumadoramente a estereotipos comunes, como asociar la palabra África con la pobreza o pobre con tonos de piel oscuros. Las herramientas que estudiaron incluso amplificaron algunos sesgos. Por ejemplo, en imágenes generadas a partir de solicitudes que solicitaban fotografías de personas con determinados trabajos, las herramientas retrataban a casi todas las amas de casa como personas de color y a todas las azafatas de vuelo como mujeres blancas, en proporciones mucho mayores que la realidad demográfica. Otros investigadores han encontrado sesgos similares en todos los ámbitos: los modelos de IA generativa de texto a imagen a menudo producen imágenes que incluyen rasgos sesgados y estereotipados relacionados con el género, el color de la piel, las ocupaciones, las nacionalidades y demas.

Quizás esto no sea sorprendente, dado que la sociedad está llena de estos estereotipos. Los estudios han demostrado que las imágenes utilizadas por los medios de comunicación , las organizaciones mundiales de salud  y las bases de datos de Internet como Wikipedia  a menudo tienen representaciones sesgadas de género y raza. Se están entrenando modelos de IA con imágenes en línea que no sólo son sesgadas sino que a veces también contienen imágenes ilegales o problemáticas, como fotografías de abuso infantil o desnudez no consentida. 

mas info https://www.nature.com/articles/d41586-024-00674-9
 

Fotografía: En un estudio realizado por Lancet , se solicito una imagen que represente a “Un médico africano ayudando a niños pobres y enfermos" produjo esta imagen, en donde se puede observar un “salvador blanco” curando a ñiños negros. Crédito: A. Alenichev imagen de IA. generado usando Midjourney