Les chercheurs en intelligence artificielle de Samsung ont réussi à donner vie à Mona Lisa, Einstein, Maryline Monroe et d’autres figures historiques ou personnalités publiques. Le laboratoire Samsung AI Center a mis au point un outil capable de reproduire des mouvements réalistes à partir d’une image d’un vrai visage, mais également de peintures, telles que la Joconde.
Repérée par la revue scientifique Arxiv et le site web techcrunch.com, cette innovation unique permet d’appliquer des repères faciaux capturés sur un visage source en vidéo aux données d’un visage cible, qui peut être une vidéo ou une simple image figée. Gr ce à cette prouesse technologique, on peut ainsi voir le visage de Mona Lisa bouger et ses yeux regarder dans différentes directions.
En fait, ce sont 4 chercheurs et ingénieurs du laboratoire d’intelligence artificielle de Samsung en Russie (Samsung AI Lab), Egor Zakharov, Aliaksandra Shysheya, Egor Burkov et Victor Lempitsky, qui viennent de révéler sur Youtube leurs travaux expérimentaux sur la possibilité d’animer une image à partir de quelques photos voire d’une seule. Dans une vidéo postée Le 21 mai 2019, l’un d’eux Egor Zakharov, explique les possibilités de créer des vidéos en mouvements d’un personnage tel que Salvador Dali, Albert Einstein ou encore Mona Lisa.
Ce genre d’animation était déjà possible mais elle nécessitait jusqu’alors une quantité considérable de données pour analyser le visage auquel donner vie. Les recherches de Samsung montrent qu’il est maintenant possible d’utiliser une seule image du visage d’une personne pour générer une vidéo permettant de le tourner, de le faire parler et même d’exprimer certaines émotions, avec une fidélité assez convaincante.
Le fonctionnement semble simple: d’un côté, la Joconde et, de l’autre, une vidéo d’une personne qui bouge son visage. Le système prend les traits de la Joconde et les plaque sur le visage animée de la deuxième personne par technologie d’apprentissage machine.
« Bien sà»r, la qualité va varier en fonction du nombre d’image du sujet » expliquent les chercheurs dans une vidéo de présentation. « Une animation avec 32 photos sera bien meilleure par exemple ».
Du deepfake au GAN
Les simulations présentées par le laboratoire de Moscou ressemblent aux fausses vidéos appelées deepfake (« faux profond »). Ces deepfakes composées de plusieurs vidéos ont déjà détourné des déclarations vidéos de Barack Obama, Donald Trump ou Emmanuel Macron.
Mais l’innovation de Samsung va plus loin puisqu’elle est capable de simuler des mouvements de tête et de visage en partant d’une simple image fixe.
En fait, Samsung ne se base pas que sur le machine learning, mais également sur le Generative Adversarial Network (GANs), qui oppose essentiellement deux modèles l’un à l’autre, en essayant de tromper l’autre et lui disant que ce qu’il créé est « réel ». De cette façon, les résultats atteignent un très haut niveau de réalisme.
Bien qu’ils ne soient pas encore tout à fait parfaits, les visages tirés de personnalités publiques ou historiques que reproduit l’intelligence artificielle restent bluffants. Et il s’agit d’une belle victoire pour Samsung. Ces premières démonstrations plutôt encourageantes laissent penser que Samsung réussira à peaufiner ses algorithmes pour des animations encore plus réalistes et fluides.
L’investissement de Samsung dans ses recherches d’IA (budget de 20 milliards de $ annoncé en ) semble ainsi commencer à porter ses fruits. Mais la bataille de l’intelligence artificielle fait rage entre les géants américains (Google, Microsoft, facebook) et asiatiques (Samsung, Baidu, Tencent ..).
Pour le moment, l’IA ne permet que de faire vivre le visage et le haut du torse, mais dans un avenir proche, les experts pensent pouvoir faire bouger le reste du corps.
De nouvelles perspectives pour l’art et la culture ?
L’utilisation de telles technologies, surtout sur des modèles comme la Joconde, permet d’imaginer de nouvelles expériences dans les lieux culturels de demain.
. En janvier 2019, avec l’aide de l’intelligence artificielle, des chercheurs sont parvenus à transformer des photographies et des peintures en animation 3D. Une vidéo de présentation montre comment le dispositif permettrait dans un avenir de voir les œuvres de PIcasso ou Bansky s’animer.
. Début mai 2019, le Musée Dali en Floride accueillait une nouveauté impressionnante: une reproduction grandeur nature du célèbre peintre surréaliste tout en «deep fake », capable de raconter des anecdotes de sa vie en trois langues différentes.
Le musée Dalà de Saint-Pétersbourg, en Floride, prévoit d’ailleurs une expansion de 38 millions de dollars, avec l’ajout d’expositions utilisant l’IA et la réalité augmentée. Ailleurs, la Chine a récemment annoncé la construction de musées intelligents dotés des technologies les plus récentes, notamment l’intelligence artificielle (IA), la réalité augmentée (AR) et la réalité virtuelle (VR).
En matière de création artistique, l’IA est également capable de créer des œuvres d’elle-même. Ainsi, en 2018, le « portrait d’Edmond de Belamy », basé sur 15 000 œuvres de portraits classiques réalisés entre le XIVe et le XIXe siècle, a été vendu 432 000$ aux enchères de la maison Christie’s à New York.
Présentation technique du projet Samsung AI
SOURCES: techcrunch.com, siecledigital.fr, businessinsider.fr, golem13.fr
Photos: Samsung AI
Date de première publication: 25/05/2019
. DOSSIER / L’utilisation des chatbots dans le secteur patrimonial, en France et dans le Monde
. Imaginary Soundscape, l’application qui crée un environnement sonore inspiré par une image