L’intelligence artificielle peut-elle catégoriser les oeuvres d’art et émettre des opinions sur la création?

Partager :

A l’image du Met et du MIT, des chercheurs et des institutions muséales ont tenté d’utiliser l’intelligence artificielle pour analyser de grandes bases de données d’œuvres d’art afin de les trier et de les décrire de manière automatique. Plus récemment, l’intelligence artificielle a été mise à contribution pour catégoriser des œuvres et même « émettre des opinions » sur des créations artistiques. Avec des résultats pas toujours très convaincants. En revanche, l’IA permet déjà à Google et Berkeley d’analyser les émotions humaines face à 1 500 œuvres d’art.

  • Le MIT et l’IA analysent les collections numériques

En 2019 et 2020, le Massachusetts Institute of Technology – MIT a collaboré avec plusieurs musées pour utiliser l’intelligence artificielle dans l’analyse des collections numériques.

. En août 2020, un nouvel algorithme d’intelligence artificielle, appelé MosAIc, a réussi à établir des liens inattendus entre des œuvres d’art apparemment disparates, provenant de 2 musées aux collections majeures: le Met Museum de NYC et le Rijks d’Amsterdam. Des chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont ainsi collaboré avec Microsoft pour créer l’outil, qui a été testé lors d’une récente exposition au Rijksmuseum.

. En février 2019, le Metropolitan Museum of Art (Microsoft) et le MIT avaient déjà dévoilé les premiers résultats d’une récente collaboration (The Met x Microsoft x MIT) qui permettait de concevoir de nouvelles manières pour le public mondial de naviguer et interagir avec l’une des plus importantes collections d’art au monde grâce aux technologies de l’intelligence artificielle. Cette collaboration avait fait l’objet d’une série de prototypes, à différents stades de développement, chacun offrant de nouvelles perspectives sur la manière dont l’intelligence artificielle pourrait transformer les liens futurs entre l’homme et l’art.
  • Quand l’IA apprend à reconnaitre les styles artistiques

Identifier le style d’une oeuvre artistique est une tâche assez délicate, même pour les humains. Certains styles artistiques  comme le cubisme ou le pointillisme sont facilement reconnaissables à la manière dont l’image est créée mais ce n’est pas le cas pour d’autres genres ou école, assez similaires les uns avec les autres ou qui se sont développés à peu près au même moment. La machine pourrait-elle surmonter cette difficulté ?

Des chercheurs de l’Université de technologie du Zhejiang à Hangzhou, en Chine, ont comparé différents outils d’intelligence artificielle et de machine learning pour déterminer leurs performances en matière de classification artistique

Ils ont utilisé des images de WikiArt et d’autres collections numériques pour former les outils IA à savoir à quoi ressemblent les images d’un certain style artistique. Ensuite, ils leur ont demandé d’identifier le style artistique d’autres images d’oeuvres.

« Parce qu’un grand nombre d’œuvres d’art sont conservées dans les musées et les galeries, beaucoup de travail doit être fait pour classer ces œuvres en genres, styles et artistes. Les progrès technologiques récents ont permis de numériser un nombre croissant d’œuvres d’art. Il est donc nécessaire d’apprendre aux ordinateurs à analyser (par exemple, classer et annoter) l’art pour aider à naviguer dans ces vastes collections numériques » explique les auteurs de l’étude.

Cette étude a testé 7 outils IA différents sur 3 ensembles de données pour comparer leurs performances de classification d’art et analyser leur apprentissage et l’amélioration de leurs capacités à classer les genres, les styles et les artistes. Le résultat des travaux montre que « les performances de la machine peuvent être efficacement améliorées ».

Présentation et résultats de l’étude « Compare the performance of the models in art classification »

Et si la machine ressentait des émotions face à l’art ? 

Après la classification de l’art, des chercheurs ont souhaité que les ordinateurs ressentent également des opinions sur l’art et puissent les partager. 

C’est notamment ce que les chercheurs de l’Université de Stanford, de l’École polytechnique et de l’Université des sciences et technologies King Abdullah ont cherché à faire. Ils ont créé l’ensemble de données ArtEmis qui comprend plus de 430 000 « attributs émotionnels et descriptions » pour plus de 80 000 images d’oeuvres indexées dans WikiArt.

Pour pouvoir enseigner à une intelligence artificielle à se forger des opinions sur l’art, il faut constitué une vaste collection de descriptions créées par l’homme sur différentes œuvres d’art. En créant ArtEmis, l’équipe a demandé à de nombreux volontaires de partager leur principale émotion à propos d’une œuvre d’art et de la résumer en une phrase. Et le plus souvent (pour 61% des images de la base de données ArtEmis), les réactions face à la même oeuvre étaient contradictoires.

« Nous présentons un nouveau jeu de données à grande échelle et des modèles d’apprentissage automatique qui l’accompagnent visant à fournir une compréhension détaillée de l’interaction entre le contenu visuel et son effet émotionnel. Nous nous concentrons sur l’expérience affective déclenchée par les œuvres d’art visuelles et demandons aux machines d’indiquer l’émotion dominante qu’ils ressentent pour une image donnée et, surtout, de fournir également une explication verbale fondée sur leur émotion » expliquent les auteurs.

″ La décapitation de Jean-Baptiste ″ de RembrandtUne fois alimentés par l’ensemble des données ArtEmis, différents systèmes d’intelligence artificielle ont commencé à créer leurs propres légendes pour des œuvres d’art données.

Certains d’entre eux ont été très convaincants, mais d’autres ont vraiment « raté la cible ».

Comme le rapporte un article paru dans le magazine Forbes, les « émotions » générées par l’IA pour la peinture de Rembrandt « La décapitation de Jean-Baptiste » incluaient par exemple « la femme a l’air de passer un bon moment » et « l’homme au milieu a l’air de souffrir ».

Une interprétation de la scène principale de la peinture totalement à contre sens que n’importe quel humain, même non expert en histoire de l’art n’aurait évidemment pas osé émettre.

Les résultats de l’étude montrent qu’environ la moitié des descriptions générées par l’ordinateur a été cohérente et acceptable. L’intelligence artificielle peut donc apprendre à créer de nouvelles descriptions (crédibles) sur une oeuvre d’art, mais elles sont encore loin d’être parfaites.

Présentation et résultats de l’étude « ArtEmis: Affective Language for Visual Art »

Les expériences réalisées lors ces deux études montrent que les programmes d’IA et les machines peuvent apprendre rapidement à classifier et à émettre des opinions sur l’art. Mais le machine learning peut d’ores et déjà aider à analyser l’émotion des humains face à l’art. Comme le prouve le projet « Atlas des émotions ».

  • Quand Google analyse les émotions artistiques

« Au cours des millénaires, les humains ont dépeint un vaste éventail d’émotions dans l’art que nous pouvons relier à nos propres expériences et qui déclenchent des sentiments en nous. L’art peut-il aider à affiner notre compréhension des émotions humaines complexes? »

Google Arts & Culture a travaillé avec des scientifiques de l’Université de Californie à Berkeley pour « explorer les émotions évoquées par les œuvres d’art à travers le temps et les cultures ».

Les 2 partenaires ont demandé à 1 300 personnes de décrire leurs émotions et sentiments face à 1 500 peintures, en choisissant parmi différents mots. Les résultats ont révélé 25 émotions différentes ressenties par les personnes interrogées devant les œuvres d’art qu’ils ont vues.

Ces sentiments ont été modélisés sur une carte interactive, regroupant des œuvres d’art qui ont déclenché des émotions spécifiques.

« Cet atlas des émotions aidera les scientifiques de l’Université de Californie à Berkeley à faire progresser l’étude scientifique de l’émotion humaine » expliques les porteurs du projet.

SOURCES: Zhejiang University of Technology, Stanford University, Google Arts and Culture, Forbes, 

PHOTOS: Zhejiang University of Technology, Stanford University, Google Arts and Culture

Date de première publication: 

Partager :

Laisser un commentaire

Club Innovation et Culture France

Bonjour

A l’occasion de ses 10 ans, le CLIC France vous propose une nouvelle version de son site web.

Celui-ci sera prochainement enrichi de nouveaux contenus et services.

Si vous souhaitez être tenu informé de l’actualité du CLIC France et des futures évolutions de son site web, nous vous invitons à vous inscrire à notre newsletter.

L’équipe du CLIC France