Des chercheurs de l'université Radboud (Pays-Bas) ont entraîné un réseau neuronal profond afin qu'il soit capable de transformer un portrait dessiné à main levée en image photoréaliste. La technologie pourrait par exemple être utilisée pour croiser des portraits-robots avec les bases de données de criminels fichés, voire aider les artistes à améliorer leur coup de crayon !

Ces dernières années, l’intelligence artificielle a accompli d’énormes progrès en matière de reconnaissance d’image grâce aux réseaux neuronaux profonds. © Mrkornflakes, Shutterstock

Dans les enquêtes policières, le recours au portrait-robot est fréquent. Reste qu’il est en général compliqué d’utiliser cette information pour identifier un suspect dans une base de données photographique car la représentation est souvent trop éloignée pour pouvoir établir une comparaison directe. Toutefois, il se pourrait que les enquêteurs soient bientôt épaulés par des ordinateurs capables de produire une photo à partir des portraits-robots des dessinateurs. Cette technologie existe et fait preuve d’une redoutable efficacité.

Dans un article intitulé « Convolutional Sketch Inversion », une équipe de chercheurs de l’université de Radboud, aux Pays-Bas, décrit ses travaux sur une intelligence artificielle (IA) qui peut transformer divers types de portraits dessinés en images photoréalistes. Plus précisément, il s’agit d’un réseau neuronal profond convolutif, une architecture multicouche inspirée du cortex visuel des mammifères, qui a déjà permis d’accomplir des prouesses dans le domaine de la reconnaissance d’image et vocale.

À l’université de Radboud, les spécialistes ont utilisé une base de données de plus de 200.000 photographies de visages successivement converties en dessin au trait puis en croquis monochrome et en croquis couleur. Ces contenus ont servi à entraîner un réseau convolutif profond à 11 couches afin qu’il apprenne à faire la même chose inversement, c’est-à-dire recréer la photographie d’un visage à partir d’un dessin ou d’un croquis.

Une fois la formation terminée, l’IA s’est vu confier une autre base de données dont elle n’avait aucune connaissance préalable. Elle s’est montrée très performante, en particulier avec des dessins au trait à partir desquels le programme parvenait à restituer une image photoréaliste en reproduisant fidèlement la couleur de la peau et des cheveux. Selon les concepteurs, le programme détermine la couleur non seulement en fonction des différences de nuance du dessin mais également en se basant sur des traits de visage spécifiques aux différentes ethnies.

Voici un exemple des prouesses que réalise l’intelligence artificielle. De gauche à droite, la première colonne représente les autoportraits (sketch, en anglais sur l'image) de – de haut en bas – Rembrandt (gravure à l'eau-forte), Van Gogh (crayon de papier) et M. C. Escher (lithographie) fournis au programme qui en a extrapolé une image photoréaliste (inverse sketch, colonne centrale). Dans la colonne de droite figurent des peintures et une photographie qui permettent de juger de la précision du travail de l’IA. © Radboud University

L’IA a produit des photos de Rembrandt et Van Gogh

Pour pousser encore plus loin l’expérimentation, l’intelligence artificielle a ensuite été confrontée à une base de données contenant des dessins réalisés à main levée et non pas générés par un logiciel de traitement d’image. Là encore, le programme est parvenu à sortir un rendu du photoréaliste. Cependant, il a rencontré un peu plus de difficultés, en particulier lorsque le trait de crayon n’était pas souligné d’un dégradé créant une nuance. Un défaut que les chercheurs pensent pouvoir facilement corriger en ajoutant des dessins reflétant des styles artistiques particuliers à la base de données qui sert à l’entraînement.

En dernier lieu, l’IA a pu exercer ses compétences sur une série d’autoportraits réalisés par de grands artistes tels que Maurits Cornelis Escher, Rembrandt et Vincent Van Gogh. Le résultat est, là encore, tout à fait impressionnant.

D’après les chercheurs, ces images de synthèse photoréalistes de ces grands maîtres seraient les premières du genre. Ils pensent même que leur technologie pourrait aider les artistes à se perfectionner. « Convertir des esquisses en images photoréalistes permettrait aux artistes de s’entraîner en évaluant clairement la précision de leurs dessins », écrivent-ils. Des artistes augmentés en quelque sorte.

À découvrir en vidéo autour de ce sujet :