Un nouvel algorithme d’intelligence artificielle, appelé MosAIc, a réussi à établir des liens inattendus entre des œuvres d’art apparemment disparates, provenant de 2 musées aux collections majeures: le Met Museum de NYC et le Rijks d’Amsterdam. Des chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont ainsi collaboré avec Microsoft pour créer l’outil, qui a été testé lors d’une récente exposition au Rijksmuseum.
« L’art est souvent présenté comme le plus grand voyage dans le passé, solidifiant un moment dans le temps et l’espace; le beau véhicule qui nous permet d’échapper momentanément au présent. Avec le trésor illimité de peintures qui existent, les liens entre ces œuvres d’art de différentes époques et de différents espaces peuvent souvent être négligés. Il est impossible pour les critiques d’art, même les plus avertis, de saisir des millions de peintures sur des milliers d’années et de trouver des parallèles inattendus dans les thèmes, les motifs et les styles visuels » explique le MIT sur son site web.
Pour rationaliser ce processus, un groupe de chercheurs du Laboratoire d’ informatique et d’intelligence artificielle du MIT (CSAIL) et Microsoft ont créé un algorithme pour découvrir les connexions cachées entre les peintures du Metropolitan Museum of Art (le Met) et du Rijksmuseum d’Amsterdam.
En 2019, le MIT et Microsoft avaient déjà collaboré avec le Met pour offrir une exploration en IA de sa collection Open Content. (Lire l’article du CLIC France: Le Met Museum, Microsoft et le MIT explorent l’impact et le potentiel de l’intelligence artificielle sur la connexion des publics mondiaux avec l’art)
Inspiré par une exposition temporaire «Rembrandt et Velazquez » au Rijksmuseum, le nouveau système «MosAIc » a identifié des œuvres jumelées ou «analogues » de différentes cultures, artistes et médias en utilisant l’intelligence artificielle pour comprendre à quel point deux images sont «proches ».
L’exposition, intitulée « Rembrandt et Velà¡zquez », présentait 60 œuvres de maà®tres anciens néerlandais et espagnols (dont les deux qui ont prêté son nom à l’exposition), juxtaposées pour mettre en évidence les similitudes dans l’éclairage, les couleurs et les symboles des artistes.
Un martyr et un cygne
Dans cette exposition, les chercheurs ont été inspirés par « un couple improbable mais similaire »: «Le martyre de Saint Serapion » de Francisco de Zurbarà¡n et «Le cygne menacé » de Jan Asselijn, « deux œuvres qui dépeignent des scènes d’altruisme profond avec une étrange ressemblance visuelle ».
« Ces deux artistes n’ont pas eu de correspondance ou ne se sont pas rencontrés au cours de leur vie, mais leurs peintures faisaient allusion à une structure riche et latente qui sous-tend leurs deux œuvres », explique Mark Hamilton, étudiant au doctorat au CSAIL, auteur principal d’un article sur «MosAIc ».
Pour trouver deux peintures similaires, l’équipe a utilisé un nouvel algorithme de recherche d’images pour dénicher la correspondance la plus proche d’un artiste ou d’une culture en particulier. Par exemple, en réponse à une question sur «quel instrument de musique est le plus proche de cette peinture d’une robe bleue et blanche », l’algorithme récupère une image d’un violon en porcelaine bleu et blanc. Ces œuvres sont non seulement similaires dans leurs motifs et leurs formes, mais tirent également leurs racines d’un échange culturel plus large de porcelaine entre les Néerlandais et les Chinois.
« Les systèmes de recherche d’images permettent aux utilisateurs de trouver des images sémantiquement similaires à une image de requête, servant de colonne vertébrale aux moteurs de recherche d’images inversées et à de nombreux moteurs de recommandation de produits », explique Hamilton. « Restreindre un système de recherche d’images à des sous-ensembles particuliers d’images peut donner de nouvelles perspectives sur les relations dans le monde visuel. Nous visons à encourager un nouveau niveau d’engagement avec les artefacts créatifs ».
Comment cela fonctionne ?
« Pour beaucoup, l’art et la science sont inconciliables: l’un fondé sur la logique, le raisonnement et des vérités prouvées, et l’autre motivé par l’émotion, l’esthétique et la beauté. Mais récemment, l’IA et l’art ont débuté un nouveau flirt qui, au cours des 10 dernières années, est devenu quelque chose de plus sérieux » peut-on lire sur le site web du MIT.
« MosAIc » ne vise pas à créer une nouvelle oeuvre d’art mais à aider à explorer l’art existant. Un outil similaire, « X Degrees of Separation » créé par Google, trouve des chemins artistiques qui relient deux œuvres d’art, mais MosAIc diffère en ce qu’il ne nécessite qu’une seule image.
Au lieu de trouver des chemins, le système découvre des liens dans la culture ou le média qui intéresse l’utilisateur, comme la recherche de la forme artistique partagée de «Anthropoides paradisea » et «Seth tuant un serpent, temple d’Amon à Hibis ».
Hamilton note que l’élaboration de leur algorithme était une entreprise délicate, car ils voulaient trouver des images similaires non seulement en couleur ou en style, mais également en termes de sens et de thème. Pour y parvenir, ils ont sondé les «activations » internes d’un réseau profond pour chaque image dans les collections en libre accès du Met et du Rijksmuseum. Pour trouver des images analogues entre différentes cultures, l’équipe a utilisé une nouvelle structure de données de recherche d’images appelée «arbre KNN conditionnel » qui regroupe des images similaires dans une structure arborescente.
Pour trouver une correspondance proche, ils commencent au «tronc » de l’arbre et suivent la «branche » la plus prometteuse jusqu’à ce qu’ils soient sà»rs d’avoir trouvé l’image la plus proche. La structure des données s’améliore par rapport à ses prédécesseurs en permettant à l’arborescence de se construire rapidement en fonction d’une culture, d’un artiste ou d’une collection particulière, ce qui donne rapidement des réponses à de nouveaux types de requêtes.
« à€ l’avenir, nous espérons que ce travail inspirera d’autres personnes à réfléchir à la manière dont les outils de recherche d’informations peuvent aider d’autres domaines comme les arts, les sciences humaines, les sciences sociales et la médecine », déclare Hamilton. « Ces domaines sont riches d’informations qui n’ont jamais été traitées avec ces techniques et peuvent être une source d’inspiration pour les informaticiens et les experts du domaine. Ce travail peut être étendu en termes de nouveaux ensembles de données, de nouveaux types de requêtes et de nouvelles façons de comprendre les liens entre les œuvres ».
Le nouveau logiciel pourrait aider les musées à organiser de futures expositions, mais il ne remplacera certainement pas les experts: comme le précise Mark Hamilton, « les historiens de l’art et les conservateurs peuvent fournir une compréhension et un contexte historique beaucoup plus profonds de ces matchs ».
« Notre méthode est efficace pour créer un type particulier d’exposition: des paires d’art improbables qui franchissent les barrières et partagent une structure commune », ajoute Mark Hamilton à artnet News . « Nous espérons que cette approche pourra être utilisée comme un outil pour aider les historiens de l’art à trouver de nouveaux modèles dans l’histoire et à recueillir des preuves pour étayer leurs hypothèses ».
L’invention des étudiants du MIT ne fait pas l’unanimité dans la communauté muséale. Rosalind McKever, conservatrice en charge des projets d’exposition au Victoria & Albert Museum, a déclaré au Times: « Aussi intéressant que cela soit pour les algorithmes de trouver des connexions, si vous voulez savoir pourquoi la connexion existe, ou ce que cela signifie, vous avez besoin d’un historien de l’art ou d’un conservateur ».
Un site web pour tester l’outil
Le site Web MosAIc, créé par le MIT, dans le cadre du programme d’externat d’hiver Microsoft Garage, permet de tester la technologie sur un échantillon d’oeuvres issues des collections du Met et du Rijks.
Une pré-publication de l’article des chercheurs, qui n’a pas encore été revu par leurs pairs, peut être lue sur le référentiel arXiv.
Site web du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL)
Site web du projet MosAIc: microsoft.github.io/art
Articles du blog de Microsoft et du Smithsonian Mag
SOURCES: MIT, Microsoft, smithsonianmag.com,
PHOTOS: MIT
Date de première publication: 08/08/2020
. Naissance d’aria, le nouveau site mobile et chatbot de l’Opéra national de Paris