« Arrivée d’un train en gare de La Ciotat » (1896), film pionnier des frères Lumière et de l’histoire du cinéma, et deux autres films tournés à la même époque dans les rues de Paris et New York revivent aujourd’hui en version 4K et 60 images par seconde, avec un son et même les couleurs. Pour atteindre ce résultat bluffant, le développeur et youtubeur Denis Shiryaev a notamment utilisé l’intelligence artificielle.
Pour le traitement de ces images et de ces 3 films, Denis Shiryaev s’est appuyé sur le logiciel Gigapixel AI, de Topaz Labs. Comme l’explique Engadget : »lorsqu’une image de faible résolution est soumise à ce programme, celle-ci parvient ainsi à créer de nouveaux détails. Gigapixel AI utilise un algorithme d’interpolation propriétaire qui « analyse l’image et reconnaà®t les détails et les structures afin de compléter l’image » selon le site Web de Topaz Labs.
Afin d’augmenter le nombre d’images par seconde (le FPS), le créateur-développeur a également utilisé un autre outil, DAIN, permettant de créer des trames supplémentaires.
Le résultat obtenu par Denis Shiryaev est saisissant. Ces 3 vidéos « revues et corrigées » en 4K ont été mises en ligne sur le compte youtube du développeur.
Une arrivé du train encore plus réaliste
Lorsque le court-métrage muet de 50 secondes L’Arrivée d’un train en gare de La Ciotat a été présenté en 1896, certains spectateurs auraient quitté la salle de projection à la vue du train qui s’approchait.
Aujourd’hui, plus personne ne serait impressionné par ce film. Cependant, la séquence de L’Arrivée d’un train en gare de La Ciotat est plus que jamais réaliste gr ce à l’IA qui lui apporte la qualité 4K / 60 fps.
Cette importante amélioration visuelle s’accompagne également d’une bande sonore puisque la version historique était évidemment muette.
Pour pouvoir évaluer le travail effectué par Denis Shiryaev voici la vidéo d’origine:
Et la version améliorée par Denis Shiryaev:
Après la publication de la vidéo en 4K/60 fps, un autre développeur s’en est emparé.
Au moyen des algorithmes d’un autre outil IA, DeOldify, de la couleur a ainsi été ajoutée à la séquence d’archive.
Exploration en 4K des rues de Paris et de NY, entre 1890 et 1911
Quelques semaines après avoir donné une seconde vie aux images des Frères Lumières. Denis Shirayev s’est tourné vers l’histoire de 2 grandes mégapoles.
Il a d’abord utilisé un film de 8 minutes montrant la vie quotidienne à New York en 1911. Ces images de wagons de tramway tirés par des chevaux et de rues bondées ont été également transformées et enrichies par l’intelligence artificielle.
Pour cette opération, Denis Shirayev s’est associé à un autre historien / youtuber, Guy Jones, qui a corrigé la vitesse, peaufiné les images, et ajouté sons environnementaux tandis que Shirayev a utilisé l’IA pour passer le film en 4K et 60fps.
La séquence originale, qui a été tournée par Svenska Biografteatern, une société suédoise d’actualités, démarre par une image de la Statue de la Liberté comme si elle était vue à travers une longue-vue. Le film continue comme un récit de voyage et une introduction à l’expérience des immigrants, alors que la caméra montre des bateaux à quai, des passagers qui débarquent, puis leur découverte de New York.
Dans son dernier projet de restauration numérique basée sur l’utilisation de l’IA, Denis Shiryaev a fait revivre et coloriser des images montrant la vie quotidienne à Paris, tournées à la fin des années 1890.
Cette nouvelle séquence de film transformée en 4K et en couleur présente la vie quotidienne à Paris,à la belle Epoque.
On peut notamment y découvrir des chevaux et des poussettes passer devant Notre Dame, des enfants jouant avec leurs bateaux miniatures dans les jardins du Luxembourg, la Tour Eiffel au cours de sa première décennie d’existence et des camions de pompiers dévalant à pleine vitesse les grands boulevards de la ville Lumière.
Redonner vie aux films d’archives
Ces 3 exemples prouvent que la « manipulation » des images gr ce à l’IA, trop souvent associée au phénomène deepfake, pourraient également stimuler les recherches et même redonner une seconde vie aux images d’archives.
SOURCES: Denis Shiryaev, Guy Jones, openculture.com
PHOTOS: Denis Shiryaev, Guy Jones
Date de première publication: 10/03/2020
. L’Université d’Oxford accueille la première exposition d’Ai-Da, robot humanoà¯de et artiste