Le 4 février 2019, le Metropolitan Museum of Art (Microsoft) et le Massachusetts Institute of Technology (MIT) ont dévoilé les premiers résultats d’une récente collaboration (The Met x Microsoft x MIT) qui permet de concevoir de nouvelles manières pour le public mondial de s’engager avec l’une des plus importantes collections d’art au monde grâce aux technologies de l’intelligence artificielle. La collaboration a fait l’objet d’une série de prototypes, à différents stades de développement, chacun offrant de nouvelles perspectives sur la manière dont l’intelligence artificielle pourrait transformer les liens futurs entre l’homme et l’art.
La collaboration Met x Microsoft x MIT marque le deuxième anniversaire du programme d’Open Access du Met, qui a fait de la collection du musée l’un des supports les plus accessibles, découvrables et utilisables sur Internet, en rendant toutes les données des oeuvres du domaine public disponibles en Creative Commons Zéro (CC0), soit 406 000 reproductions haute résolution de la collection du Met disponibles pour une utilisation sans restriction.
Présentation vidéo de la coopération entre le Met Museum, Microsoft et le MIT:
“La vaste collection du Met couvre plus de 5 000 ans d’art et de culture du monde entier. Notre mission est de créer de multiples moyens pour que les publics s’engagent avec cette ressource remarquable, à la fois sur site et en ligne”, a déclaré Max Hollein, directeur du Metropolitan Museum. d’art. “Cette collaboration passionnante avec Microsoft et le MIT démontre le potentiel des données ouvertes et de l’intelligence artificielle pour élargir numériquement l’accès à des centaines de milliers d’images et d’archives scientifiques, et démontre l’impact toujours croissant du programme Open Access.”
Le Met a développé un nouvel ensemble de données et de mots-clés autour de sa collection, sous CC0, qui offre un moyen plus avancé de rechercher dans la collection en fonction de sujets d’intérêt. Ces mots clés ont été mis à la disposition des principaux conservateurs, concepteurs, chercheurs en intelligence artificielle, spécialistes de l’apprentissage ouvert et des technologues créatifs du Met, de Microsoft et du MIT lors d’un événement hackaton de deux jours organisé en décembre 2018 à Cambridge (MA).
Les caractéristiques et les prototypes créés lors de l’événement ont été dévoilés au Musée le 4 février 2019. Les participants ont travaillé avec l’API Met Collection, les mots clés associés et les technologies d’intelligence artificielle de Microsoft, notamment Azure Cognitive Services, Azure Search, Azure Kubernetes, Microsoft Machine Learning pour Apache Spark, l’IA conversationnelle et des modèles personnalisés avec Azure Machine Learning.
“Ces prototypes démontrent l’incroyable possibilité d’intelligence artificielle et de données ouvertes pour donner le pouvoir aux gens du monde entier grâce à l’art”, a déclaré Loic Tallon, directeur des technologies numériques du Metropolitan Museum of Art. “Nous espérons qu’ils inspireront, inviteront et responsabiliseront les communautés du monde entier pour qu’elles utilisent la collection The Met et les technologies d’intelligence artificielle afin de créer de nouvelles façons pour le public mondial de se connecter à l’art. Il ouvre la porte à tous les types de fabricants, créateurs, artistes et technologues pour participer à la collection et élaborer de nouveaux récits à partir des histoires contenues dans les œuvres d’art.”
5 premiers prototypes très innovants
Cinq prototypes impressionnants sont nés de l’événement et ont le potentiel d’aider les audiences mondiales à mieux se connecter à la collection iconique du Met.
. Ma vie, ma rencontre
En utilisant Microsoft AI, My Life, My Met transforme un flux Instagram en une œuvre d’art. Bien que le développement soit en cours, le concept est de faire en sorte que l’IA analyse les publications d’Instagram et remplace les images par les œuvres d’art les plus proches de la collection Open Access de The Met. Par exemple, une photo d’un dîner chic peut être remplacée par l’empreinte de Ryūryūkyo Shinsai représentant une nourriture pour sushi (poisson et riz à la vinaigre). My Life, My Met permettra ainsi aux utilisateurs d’introduire de l’art dans les interactions quotidiennes de la vie.
. Gen Studio
Gen Studio utilise l’IA pour permettre aux utilisateurs de naviguer de manière créative dans les fonctionnalités et dimensions partagées sous-jacentes aux plus de 5 000 ans de création humaine représentés dans la collection The Met. L’utilisateur est placé dans un modèle de type carte représentant l’organisation des œuvres d’art existantes dans The Met. Dans ce modèle, les gens peuvent explorer une séquence d’images oniriques qui les expose à une multitude de possibilités. Les œuvres d’art sont recombinées de nouvelles manières, en synthétisant des possibilités qui font appel aux styles, aux matériaux et aux formes de la collection, et en orientant le public vers des œuvres inconnues partageant des caractéristiques similaires.
. Tag, c’est ça!
Tag, c’est ça! est un jeu de crowdsourcing qui augmente l’accessibilité de la collection de The Met au sein de l’univers Wikimedia en associant des humains à des machines pour affiner les étiquettes de mots-clés d’une œuvre d’art. Des mots-clés de haute qualité sont essentiels pour aider les utilisateurs à trouver les œuvres les plus pertinentes. Cela nécessite d’identifier quelles pièces contiennent divers objets, tels que la mode, les jeux, les enfants, les échecs, la calligraphie et, bien sûr, les chats. En ajoutant des mots-clés Met dans Wikidata et en utilisant Microsoft AI pour générer des mots-clés plus précis, la collection Met peut être enrichie par la communauté mondiale Wiki dans un jeu amusant.
. Storyteller (le Conteur)
Storyteller encourage de nouvelles discussions sur l’art en utilisant l’IA pour trouver des œuvres dans la collection du Met afin d’accompagner toute histoire qu’un utilisateur peut souhaiter raconter ou la conversation qu’il a. Il utilise l’IA de reconnaissance vocale pour suivre la discussion et partager des œuvres d’art relatives aux histoires racontées, qu’elles soient personnelles, fantaisistes ou orales sérieuses. Une fois que l’utilisateur a terminé l’histoire ou la discussion, il peut partager le fil d’œuvres du conteur de The Met sur les réseaux sociaux, demander à l’intelligence artificielle de générer une visite guidée basée sur les œuvres sélectionnées, ou même de compiler les œuvres pour imprimer un livre.
. Oeuvre du jour
Artwork of the Day utilise Microsoft AI pour aider les utilisateurs à trouver dans la collection une œuvre d’art spécifique qui résonne à un jour donné. Chaque jour, l’application offrira un nouveau point d’entrée dans la collection en fonction des événements mondiaux et des circonstances actuelles de l’utilisateur. Pour ce faire, il analyse des ensembles de données ouverts, notamment l’emplacement, la météo, les nouvelles et les données historiques. Cela offre un niveau de personnalisation et d’évolutivité qu’il serait presque impossible de reproduire sans IA.
Prochaines étapes du libre accès au Met
Les prochaines étapes du projet coopératif entre le Met Museum, Microsoft et le MIT sont
. l’intégration avec metmuseum.org: intégrer les mots-clés dans le site Web du Musée pour améliorer l’expérience de navigation de la collection et permettre le filtrage aisé de la collection en fonction des mots-clés.
. le passage du prototype au produit: établir des critères et des spécifications de produits pour introduire l’utilisation des technologies d’intelligence artificielle dans nos produits numériques existants de manière durable et évolutive.
. l’intégration Wikidata: utiliser le mot-clé en tant que pilote de données structurées Wikimedia sur les données communes pour renseigner le champ “décrit” afin que les images Met soient accessibles via les plates-formes mondiales de Wikimedia et permettre au Met de rechercher d’autres mots-clés sur les plates-formes Wikimedia.
“Ce qui nous rend particulièrement humains, c’est notre capacité à exprimer nos expériences et notre culture par le biais de l’art. Le Met a fait un travail incroyable en préservant et en élargissant l’accès à sa riche collection d’artefacts. Nous sommes ravis du rôle que l’IA peut jouer pour l’occasion de découvrir et d’expérimenter ce trésor d’art de manière entièrement nouvelle “, a déclaré Mitra Azizirad, vice-président entreprise chez AI Marketing chez Microsoft. “Le partenariat étroit qui existe entre The Met, le MIT et Microsoft est un excellent exemple de la manière dont AI permet aux conservateurs et aux techniciens de rendre l’art et l’histoire de l’humanité accessibles et pertinents pour tous les habitants de la planète.”
“Le MIT partage l’engagement du Met en faveur de l’accès ouvert, associé à la puissance de Microsoft AI, afin de permettre aux personnes du monde entier de créer de nouvelles connaissances et de faire l’expérience de l’art et de la culture qui sont si vitaux pour notre humanité”, a déclaré Sanjay Sarma, vice-président. pour Open Learning, MIT.
Le Metropolitan Museum of Art a lancé l’API Met Collection API (interface de programmation d’application) en octobre 2018. Elle s’appuie sur le programme Open Access annoncé en 2017 et permet à tout tiers d’intégrer durablement la collection Met à son site web, en veillant à ce que les versions actualisées des images et des données soient disponibles pour les utilisateurs.
Pour plus d’informations sur la collaboration Met x Microsoft x MIT: www.metmuseum.org/ArtMeetsAI.
La documentation et les ressources sur l’utilisation de l’API Met Collection, ainsi que des informations supplémentaires sur Open Access, sont disponibles sur metmuseum.org/openaccess .
2 articles très intéressants sur le blog du Met Museum: “How Artificial Intelligence Can Change the Way We Explore Visual Collections” (04/02/2019) et “Sparking Global Connections to Art through Open Data and Artificial Intelligence” (04/02/2019)
SOURCES: The Met (CP)
Photos: The Met
Date de première publication: 08/02/2019
