Journée d’accélération #4 Musées et patrimoines

Le développement des technologies numériques, notamment autour de l’intelligence artificielle, est un enjeu important pour la préservation, la restauration, l’étude, la création, la compréhension et la valorisation d’objets patrimoniaux tels que les peintures, sculptures, objets et documents anciens, reportages patrimoniaux, monuments ou paysages, dans les domaines artistiques, culturel et environnemental. Réciproquement, les problèmes soulevés par ces domaines posent de nouveaux challenges à la communauté scientifique de la vision par ordinateur, du traitement de l’image et de l’apprentissage comme en témoignent l’augmentation des publications et la présence de sessions spéciales dans des conférences de référence de ces domaines.

Nous proposons cette année d’organiser une journée commune GDR IASIS / PEPR ICCARE, avec pour ambition de rassembler les chercheurs manipulant des images d’objets patrimoniaux sous toutes leurs formes (iconographie, photographie, vidéo, modèle ou nuage de points 3D, etc.) et les experts issus des instituts d’art, GLAMs (Galleries, Archives, Libraries and Museums) et autres structures dont les travaux de recherche sont centrés sur cette thématique. Les présentations regroupant des chercheurs des deux communautés seront fortement appréciées.

Le thème central de cette année portera sur l’intelligence artificielle au service de l’archéologie. Cependant, toutes les contributions abordant les méthodes d’acquisition, de traitement, d’analyse, d’interprétation, jusqu’à la visualisation des données dans le contexte spécifique du patrimoine culturel et naturel seront chaleureusement accueillies.

Les propositions pourront notamment concerner, sans s’y limiter, les méthodes liées à :

• La préservation du patrimoine (restauration, débruitage, amélioration de la qualité)
• L’analyse et la gestion de contenu (reconnaissance, classification, segmentation, liage, structuration, etc.)
• La reconstruction et la visualisation (acquisition, représentation 3D, réalité virtuelle ou augmentée)

Les travaux présentés pourront faire état des spécificités propres au patrimoine culturel et naturel (comme la rareté des données, leur évolution dans le temps ou leur fragilité par exemple). Les exposés explorant la multimodalité qui repose sur l’exploitation des modalités disponibles (texte, métadonnées, son, spatialisation, etc.) au service du patrimoine, sont également encouragés.

Keynote speakers

• Valérie Gouet-Brunet (LASTIG Lab. / Univ. Gustave Eiffel / IGN – Senior researcher / DR1 Ministère de la Transition Ecologique) --  TBD
• Thomas Sagory (Musée d’Archéologie Nationale, ministère de la culture) -- Archéologie : truelle, algorithmes et IA
  
• Julien Schuh (Université Paris Nanterre et directeur adjoint de la MSH Mondes) -- IA, patrimoine et communs culturels : cartographier, manipuler, gouverner le passé à l’ère des modèles de fondation
  

Lieu : Auditorium du Musée d'Archéologie Nationale 1 Pl. Charles de Gaulle 78100 Saint-Germain-en-Laye

Organisateurs :

• Aladine Chetouani (Université Sorbonne Paris Nord)

• Lise Renaud (Université d’Avignon)

• Gilles Simon (Université de Lorraine)

• Thomas Sagory (Musée d’Archéologie Nationale, ministère de la culture)

Archéologie : truelle, algorithmes et IA

Thomas Sagory

De la détection au relevé : une simple question d’apprentissage ?

Antoine Laurent, Pierre-Henry Bas, Ali Boulgsoa

Cette communication explore l’usage de l’IA pour assister les archéologues dans la réalisation de relevés à partir de photographies (mosaïques, pétroglyphes, gravures paléolithiques). Plusieurs approches de segmentation et de détection (SAM, U-Net, YOLOv9) sont testées, avec des résultats encourageants mais très dépendants de la qualité et de la quantité des données d’apprentissage. L’étude souligne le potentiel de gain de temps pour la vectorisation, tout en insistant sur les limites liées aux corpus disponibles et à l’interprétation des résultats.

Des solutions d'IA pour l'étude et de valorisation d'archives de fouille. Retour d'expériences, questionnements et mise en perspective

Christophe Tufféry

La communication présente l’usage d’IA pour la reconnaissance, la transcription et la valorisation d’archives de fouille, en s’appuyant sur des expériences récentes incluant Kraken, Transkribus et Gemini. Elle interroge les impacts méthodologiques, épistémologiques et organisationnels de ces technologies sur le travail des archéologues, la traçabilité des résultats et l’intégrité scientifique. Enfin, elle souligne l’importance de la formation, de l’accompagnement et de la médiation culturelle pour un développement responsable des IA en archéologie.

Nouvelles représentations pour les monnaies anciennes

Sylvain Marchand

Cette communication présente de nouvelles approches numériques pour la représentation et l’analyse des monnaies anciennes. Les pièces, essentielles pour l’étude des échanges économiques et du patrimoine culturel, sont difficiles à documenter et à mettre en valeur. Un modèle informatique de visualisation interactive, basé sur un système de numérisation innovant et peu coûteux, est proposé : il facilite la reconnaissance des pièces, l’étude des coins et la vérification de l’authenticité, tout en améliorant la muséographie et le catalogage.

RayGaussVR

Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic, Wassil Lebsaira

Le projet explore l’application des techniques de rendu neuronal à la préservation, la documentation et la valorisation d’objets patrimoniaux, en utilisant Neural Radiance Fields (NeRF) et 3D Gaussian Splatting. L’adaptation de RayGauss pour la réalité virtuelle permet une visualisation haute qualité d’artefacts fragiles ou rares, habituellement inaccessibles au public. L’approche optimise les performances pour les environnements VR tout en conservant une reconstruction fidèle, ouvrant de nouvelles perspectives pour la médiation culturelle et scientifique.

IA, patrimoine et communs culturels : cartographier, manipuler, gouverner le passé à l’ère des modèles de fondation

Julien Schuh

Cette présentation se propose d’explorer la question de l'IA comme création de nouveaux lieux de mémoire, de discuter la manière dont les modèles de fondation permettent une orientation dans la masse de savoirs numérisés qui transforme les pratiques des archivistes, conservateurs et chercheurs et propose de nouvelles modélisations du passé, avant de conclure sur les enjeux de la gouvernance des données de la culture et du pilotage de ces modèles.

Documenter le territoire avec les contenus iconographiques patrimoniaux

Valérie Gouet-Brunet

Dans chaque pays existent d’importantes collections de contenus iconographiques à caractère géographique, témoignant du territoire à différentes échelles spatiales et temporelles. Celles-ci peuvent comprendre des prises de vue aériennes issues des campagnes des agences nationales de cartographie, ou encore des photographies au sol réalisées pour documenter des sites, des monuments ou des événements particuliers. De telles collections sont en général conservées par les GLAM (Galleries, Libraries, Archives, Museums), par des organismes patrimoniaux ou par des agences de cartographie. Elles demeurent toutefois souvent fragmentées, cloisonnées au sein de dépôts disparates, et décrites selon des normes hétérogènes de documentation et d’indexation, variant en fonction des protocoles propres à chaque institution. Or, elles constituent un patrimoine d’une grande richesse, qui touche de nombreux secteurs de la société et se situe au croisement de multiples disciplines : cartographie environnementale, architecture, urbanisme, recherches historiques et géographiques sur l’évolution territoriale, tourisme durable, sociologie des espaces publics, ainsi que pratiques médiatiques liées à l’investigation et à l’engagement citoyen. Ces dernières années, l’essor des initiatives en faveur de l’ouverture des données, visant à faciliter la circulation, la réutilisation et la valorisation des données publiques, a contribué à accroître la visibilité de ces corpus. Néanmoins, un défi central demeure : comment les organiser, relier et structurer de manière cohérente, au sein d’une institution comme entre plusieurs, afin d’en permettre un accès pertinent, une exploration et une visualisation adaptées à la diversité des besoins des usagers. Cette présentation propose de revisiter certains paradigmes et solutions émergentes qui visent à relever ces défis, en mettant l’accent sur la structuration et l’interrogation de ces corpus d'images toujours plus riches et numérisés. Seront discutées des stratégies allant de la spatialisation à l’indexation par le contenu, du liage jusqu’aux modalités d’exploration et de visualisation. Ces concepts seront illustrés à diverses échelles d’observation : le territoire à travers l’imagerie aérienne, la ville à travers l’imagerie terrestre, et le monument à travers l’imagerie architecturale.

Repenser l’IA générative au service des sciences du patrimoine : une méta-méthodologie interdisciplinaire pour la reconstitution historique

Florent Laroche, Ambre Vilain, Vauxion Mathis, Elouarn Le Chenadec

Cette communication explore l’usage de l’IA générative pour la reconstitution historique, en prenant l’exemple de l’église disparue des Cordeliers de Nantes. Une approche interdisciplinaire est développée, combinant bases de données structurées, validation par experts et entraînement RLHF, pour produire des hypothèses visuelles fiables. Un protocole bayésien permet d’évaluer le degré de confiance des restitutions, offrant un cadre transparent et traçable au service de la recherche historique, de la muséographie numérique et de la valorisation patrimoniale.

Aikon : Une plateforme de vision par ordinateur pour documents historiques

Ségolène Albouy, Somkeo Norindr, Paul Kervegan, Fouad Aouinti, Rémy Delanaux, Robin Champenois, Stavros Lazaris, Alexandre Guilbaud, Matthieu Husson, Mathieu Aubry

Aikon est une plateforme open-source et modulaire de vision par ordinateur, conçue pour accompagner les historien·ne·s dans l’analyse de grands corpus de documents historiques. Elle combine gestion documentaire, algorithmes de vision (segmentation, similarité, vectorisation) et interfaces de visualisation/correction, en garantissant interopérabilité et modularité. Développée en collaboration avec des chercheurs en histoire des sciences, elle a déjà permis l’étude de milliers de manuscrits et imprimés multilingues du VIIIᵉ au XVIIIᵉ siècle.

Optimisation du traitement de l’imagerie par faisceau d’ions : application aux dépôts présents sur les vitraux de Notre-Dame

Astrid Tazzioli

À la suite de l’incendie de Notre-Dame de Paris, les vitraux des baies hautes ont été déposés afin d’analyser les dépôts noirs qui en altéraient la lecture. Ce travail a développé une méthodologie innovante d’imagerie et de traitement des données acquises à New AGLAE, combinant plusieurs techniques d’analyse par faisceau d’ions et des outils d’intelligence artificielle pour automatiser et accélérer l’interprétation des spectres. Des algorithmes de réduction et de partition de données (UMAP, HDBSCAN, Quickshift) ont permis de regrouper et de caractériser les hétérogénéités locales des matériaux. Validée sur des éprouvettes et appliquée aux vitraux de Notre-Dame, cette approche a permis de reconstituer la chronologie des dépôts post-incendie, offrant un protocole inédit pour la reconstruction non destructive de la stratigraphie de surface des œuvres patrimoniales.

Intelligence artificielle et patrimoine chorégraphique : détection automatique de pas de danse dans la notation Beauchamp-Feuillet pour l’animation d’agents virtuels

Pierre-Henry Bas, Ali Boulgsoa

Le projet Get-In-Past développe une restitution numérique du patrimoine chorégraphique à partir d’un manuscrit de 1782 en notation Beauchamp-Feuillet. Grâce à l’entraînement de modèles YOLOv8 et à la motion capture de danseurs, il permet de détecter automatiquement les pas et de les restituer sous forme d’animations 3D. Cette démarche illustre le potentiel de l’IA pour l’étude et la transmission des danses baroques.

Accessibilité inclusive de la tapisserie de Bayeux par la génération d’objets 3D

M. Redon, A. Elmoataz, Y. Quéau

Le projet propose de faciliter l’accessibilité de la Tapisserie de Bayeux en développant une méthode semi-automatique de création d’objets 3D à partir de sa numérisation. Grâce à la détection, segmentation et reconstruction du micro-relief, des bas-reliefs imprimés en 3D peuvent être produits, permettant une exploration tactile par des personnes aveugles ou malvoyantes. Cette démarche inclusive ouvre aussi de nouvelles perspectives pour chercheurs et conservateurs, notamment par l’accès numérique à l’endroit et à l’envers de la tapisserie.

Visualisation immersive et interactive d’objets d’intérêts dans des environnements patrimoniaux

Quoc-Anh Bui, Gilles Rougeron, Simone Gasparini, Géraldine Morin

Cette recherche propose ROI-GS, une méthode dérivée du 3D Gaussian Splatting, permettant de reconstruire une scène en résolution moyenne tout en rendant certains objets d’intérêt avec un haut niveau de détail. L’approche est appliquée à une visite immersive XR de l’Hôtel de la Marine (Paris), où les objets patrimoniaux peuvent être manipulés virtuellement et observés de près malgré les contraintes physiques des expositions. La technique combine photographie professionnelle et proxy-photos pour générer des reconstructions précises, intégrées ensuite dans Unreal Engine avec détection de collisions et interactions physiques.

Visualiser et conscientiser son rapport aux œuvres plastiques par l’IA et les données en contexte patrimonial. Étude de cas autour du projet de recherche-création Homonculus Spectator

Sébastien Appiotti, Bérengère Voisin

La communication présente le projet Homonculus Spectator, qui associe chercheurs, artistes (collectif Datadada) et institutions muséales (Musée d’Orsay, Centre des Arts d’Enghien-les-Bains, Cube Garges-les-Gonesse) pour explorer l’usage de l’IA dans la visualisation des rapports entre visiteurs et œuvres. Les données posturales des publics sont collectées lors d’expériences de visite pour générer des « homonculus spectateurs » en 3D, représentant leur interaction esthétique. L’approche met en avant une posture réflexive, interrogeant les méthodes de co-conception, les conflits interprétatifs et les imaginaires associés à l’IA en contexte patrimonial.