Grace à l’intelligence artificielle, Samsung redonnent vie à la Joconde, Marilyn Monroe, Einstein ou Dali

Les chercheurs en intelligence artificielle de Samsung ont réussi à donner vie à Mona Lisa, Einstein, Maryline Monroe et d’autres figures historiques ou personnalités publiques. Le laboratoire Samsung AI Center a mis au point un outil capable de reproduire des mouvements réalistes à partir d’une image d’un vrai visage, mais également de peintures, telles que la Joconde.

Repérée par la revue scientifique Arxiv et le site web techcrunch.com, cette innovation unique permet d’appliquer des repères faciaux capturés sur un visage source en vidéo aux données d’un visage cible, qui peut être une vidéo ou une simple image figée. Grâce à cette prouesse technologique, on peut ainsi voir le visage de Mona Lisa bouger et ses yeux regarder dans différentes directions.

mona lisa animee creee par IA

En fait, ce sont 4 chercheurs et ingénieurs du laboratoire d’intelligence artificielle de Samsung en Russie (Samsung AI Lab), Egor Zakharov, Aliaksandra Shysheya, Egor Burkov et Victor Lempitsky, qui viennent de révéler sur Youtube leurs travaux expérimentaux sur la possibilité d’animer une image à partir de quelques photos voire d’une seule. Dans une vidéo postée Le 21 mai 2019, l’un d’eux Egor Zakharov, explique les possibilités de créer des vidéos en mouvements d’un personnage tel que Salvador DaliAlbert Einstein ou encore Mona Lisa.

Ce genre d’animation était déjà possible mais elle nécessitait jusqu’alors une quantité considérable de données pour analyser le visage auquel donner vie. Les recherches de Samsung montrent qu’il est maintenant possible d’utiliser une seule image du visage d’une personne pour générer une vidéo permettant de le tourner, de le faire parler et même d’exprimer certaines émotions, avec une fidélité assez convaincante.

Le fonctionnement semble simple: d’un côté, la Joconde et, de l’autre, une vidéo d’une personne qui bouge son visage. Le système prend les traits de la Joconde et les plaque sur le visage animée de la deuxième personne par technologie d’apprentissage machine.

« Bien sûr, la qualité va varier en fonction du nombre d’image du sujet » expliquent les chercheurs dans une vidéo de présentation. « Une animation avec 32 photos sera bien meilleure par exemple ».

Du deepfake au GAN

Les simulations présentées par le laboratoire de Moscou ressemblent aux fausses vidéos appelées deepfake (« faux profond »). Ces deepfakes composées de plusieurs vidéos ont déjà détourné des déclarations vidéos de Barack Obama, Donald Trump ou Emmanuel Macron.

Mais l’innovation de Samsung va plus loin puisqu’elle est capable de simuler des mouvements de tête et de visage en partant d’une simple image fixe.

En fait, Samsung ne se base pas que sur le machine learning, mais également sur le Generative Adversarial Network (GANs), qui oppose essentiellement deux modèles l’un à l’autre, en essayant de tromper l’autre et lui disant que ce qu’il créé est « réel ». De cette façon, les résultats atteignent un très haut niveau de réalisme.

Bien qu’ils ne soient pas encore tout à fait parfaits, les visages tirés de personnalités publiques ou historiques que reproduit l’intelligence artificielle restent bluffants. Et il s’agit d’une belle victoire pour Samsung. Ces premières démonstrations plutôt encourageantes laissent penser que Samsung réussira à peaufiner ses algorithmes pour des animations encore plus réalistes et fluides.

L’investissement de Samsung dans ses recherches d’IA (budget de 20 milliards de $ annoncé en ) semble ainsi commencer à porter ses fruits. Mais la bataille de l’intelligence artificielle fait rage entre les géants américains (Google, Microsoft, facebook) et asiatiques (Samsung, Baidu, Tencent ..).

Pour le moment, l’IA ne permet que de faire vivre le visage et le haut du torse, mais dans un avenir proche, les experts pensent pouvoir faire bouger le reste du corps.

De nouvelles perspectives pour l’art et la culture ?

L’utilisation de telles technologies, surtout sur des modèles comme la Joconde, permet d’imaginer de nouvelles expériences dans les lieux culturels de demain.

. En janvier 2019, avec l’aide de l’intelligence artificielle, des chercheurs sont parvenus à transformer des photographies et des peintures en animation 3D. Une vidéo de présentation montre comment le dispositif permettrait dans un avenir de voir les œuvres de PIcasso ou Bansky s’animer.

. Début mai 2019, le Musée Dali en Floride accueillait une nouveauté impressionnante: une reproduction grandeur nature du célèbre peintre surréaliste tout en «deep fake», capable de raconter des anecdotes de sa vie en trois langues différentes.

Le musée Dalí de Saint-Pétersbourg, en Floride, prévoit d’ailleurs une expansion de 38 millions de dollars, avec l’ajout d’expositions utilisant l’IA et la réalité augmentée. Ailleurs, la Chine a récemment annoncé la construction de musées intelligents dotés des technologies les plus récentes, notamment l’intelligence artificielle (IA), la réalité augmentée (AR) et la réalité virtuelle (VR).

En matière de création artistique, l’IA est également capable de créer des œuvres d’elle-même. Ainsi, en 2018, le « portrait d’Edmond de Belamy », basé sur 15 000 œuvres de portraits classiques réalisés entre le XIVe et le XIXe siècle, a été vendu 432 000$ aux enchères de la maison Christie’s à New York.

Présentation technique du projet Samsung AI

SOURCES: techcrunch.com, siecledigital.fr, businessinsider.fr, golem13.fr

Photos: Samsung AI

Date de première publication: 25/05/2019

Le musée Dali de Floride prévoit une expansion à 38 millions de dollars, incluant un espace d’exposition numérique

Une installation numérique aléatoire proposant des portraits imaginaires créées par l’intelligence artificielle vendue chez Sotheby’s le 6 mars 2019

Le Met Museum, Microsoft et le MIT explorent l’impact et le potentiel de l’intelligence artificielle sur la connexion des publics mondiaux avec l’art

Dali Lives: le musée très audacieux de Floride utilise l’intelligence artificielle pour ressusciter l’artiste surréaliste

En octobre 2018, Christie’s New York va vendre aux enchères une première œuvre créée par un algorithme

DOSSIER / L’utilisation des chatbots dans le secteur patrimonial, en France et dans le Monde 

Imaginary Soundscape, l’application qui crée un environnement sonore inspiré par une image

Laisser un commentaire