Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.
Próximo SlideShare
What to Upload to SlideShare
What to Upload to SlideShare
Cargando en…3
×
1 de 20

Appliquer les techniques d'apprentissage profond pour détecter les enluminures dans les manuscrits médiévaux IIIF

0

Compartir

Descargar para leer sin conexión

Par Victoria Eyharabide (Professeur associé, Laboratoire STIH, Sorbonne Université), Fouad Aouinti (Chercheur post-doctorant, Laboratoire STIH, Sorbonne Université), Xavier Fresquet (Directeur adjoint, Sorbonne Center for Artificial Intelligence - SCAI, Sorbonne Université)

Rendez-vous IIIF360, un événément en ligne autour des standards et technologies IIIF organisé par le consortium IIIF360 (Biblissima, Campus Condorcet, Huma-Num) le 24 mars 2021 : https://projet.biblissima.fr/fr/evenements/rendez-vous-iiif360-2021

Libros relacionados

Gratis con una prueba de 30 días de Scribd

Ver todo

Audiolibros relacionados

Gratis con una prueba de 30 días de Scribd

Ver todo

Appliquer les techniques d'apprentissage profond pour détecter les enluminures dans les manuscrits médiévaux IIIF

  1. 1. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF à l’aide de l’apprentissage profond Victoria Eyharabide1 Fouad Aouinti1 Xavier Fresquet2 1Laboratoire STIH, Sorbonne Université, France 2IReMus Laboratory, Sorbonne Université, France 24 mars 2021 Article soumis à ICDAR 2021 (16th International Conference on Document Analysis and Recognition) Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 1 / 20
  2. 2. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Plan 1 Introduction 2 Notre proposition 3 Évaluation et discussion 4 Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 2 / 20
  3. 3. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Plan 1 Introduction 2 Notre proposition 3 Évaluation et discussion 4 Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 3 / 20
  4. 4. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Introduction Figure 1 – Enluminure d’un caractère “B” https ://iiif.bodleian.ox.ac.uk/iiif/canvas/9da1b4c2-2c04-40e9-a171-dc4b656af141.json Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 4 / 20
  5. 5. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Plan 1 Introduction 2 Notre proposition 3 Évaluation et discussion 4 Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 5 / 20
  6. 6. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Notre proposition Figure 2 – Aperçu de notre proposition pour détecter des enluminures Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 6 / 20
  7. 7. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Example Figure 3 – https ://www.e-codices.unifr.ch/loris/ubb/ubb-F-II-0020/ubb-F-II-00200054r.jp2/full/full/0/default.jpg https ://www.e-codices.unifr.ch/loris/ubb/ubb-F-II-0020/ubb-F-II- 00200054r.jp2/499, 1790, 702, 661/full/0/default.jpg Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 7 / 20
  8. 8. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Préparation du jeu de données HBA Le jeu de données HBA contient : 4436 images vérité terrain ; 1429 images annotées au niveau du pixel (six classes). Certaines spécificités du jeu de données HBA pourraient in- fluencer considérablement le processus d’apprentissage : dimensions larges et dispersées des images ; hétérogénéité, style d’illustration, mises en page complexes, etc. Après l’étape de pré-traitement, nous avons obtenu 366 images annotées au niveau de pixel en utilisant trois classes (graphic, text, the rest). Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 8 / 20
  9. 9. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Entraı̂nement de YOLO sur le jeu de données HBA Pour la formation de YOLO, les 366 images HBA sélectionnées doivent être étiquetées et annotées avec des cadres de délimitation entourant les enluminures. Pour chaque image, nous avons généré aléatoirement 10 000 cadres de délimitation et leur avons attribué, en fonction du seuil de couleur d’arrière-plan, la classe appropriée. Le sous-ensemble de formation contient 293 images vérité ter- rain (80% des images) et leurs fichiers d’annotations. Le jeu de données HBA préparé contient 94 084 annotations : 31 181 → graphic ; 31 138 → text ; 31 765 → the rest. Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 9 / 20
  10. 10. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Fusion de boı̂tes englobantes Figure 4 – Détection d’enluminure après la fusion des boı̂tes graphic Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 10 / 20
  11. 11. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Example Préparation du jeu de données HBA Entraı̂nement de YOLO sur le jeu de données HBA Fusion de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes Génération d’URL IIIF à partir de boı̂tes englobantes IIIF Image API 3.0 spécifie une syntaxe d’URL normalisée pour la transmission d’une image via une requête HTTP de : l’image elle-même (fichier image) ; informations techniques sur l’image (fichier JSON). Le modèle d’URL pour demander une image doit être conforme à : {scheme} ://{server}{/prefix}/{identifier}/{region}/{size}/{rotation}/{quality}.{format} La région est généralement spécifiée par la valeur full, ce qui signifie que l’image complète doit être renvoyée. Nous remplaçons la valeur par défaut de la région par les coor- données de l’enluminure détectée par notre système en suivant la syntaxe spécifiée par le standard IIIF. Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 11 / 20
  12. 12. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Création d’un jeu de données de test IIIF Résultats expérimentaux Plan 1 Introduction 2 Notre proposition 3 Évaluation et discussion 4 Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 12 / 20
  13. 13. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Création d’un jeu de données de test IIIF Résultats expérimentaux Création d’un jeu de données de test IIIF Table 1 – Caractéristiques du jeu de données de test IIIF Manuscrit Valenciennes BM, 0099 (092) Garrett MS. 28. MS Nn.2.36 F II 20 Titre Apocalypse De ani- malibus Gospel book Bible Date 800-900 1200- 1300 1120-1130 1270 Location Valenciennes BnF Universität Basel University of Cambridge Princeton University Nombre de pages 100 316 489 930 Pages annotées 40 19 10 72 Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 13 / 20
  14. 14. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Création d’un jeu de données de test IIIF Résultats expérimentaux Résultats expérimentaux (1) Table 2 – Résultats expérimentaux de la détection des enluminures Bibliothèque Images IIIF Images annotées TP TN FP FN Précision Rappel BnF 100 40 37 46 14 3 0.73 0.93 Basel 316 19 16 287 10 3 0.62 0.84 Cambridge 489 10 9 461 18 1 0.33 0.9 Princeton 930 72 70 824 34 2 0.67 0.97 La page originale de Basel : https://www.e-codices.unifr.ch/loris/ubb/ubb-F-II-0020/ubb- F-II-0020 0031r.jp2/full/full/0/default.jpg L’enluminure détectée : https://www.e-codices.unifr.ch/loris/ubb/ubb-F-II-0020/ubb- F-II-0020 0031r.jp2/664,2657,430,774/full/0/default.jpg Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 14 / 20
  15. 15. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Création d’un jeu de données de test IIIF Résultats expérimentaux Résultats expérimentaux (2) (a) Page avec règle, palette de couleurs (Basel) (b) Couverture, petite décoration (Princeton) Figure 5 – Exemples de résultats faux positifs Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 15 / 20
  16. 16. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Plan 1 Introduction 2 Notre proposition 3 Évaluation et discussion 4 Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 16 / 20
  17. 17. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Conclusion et perspectives Dans ce travail, nous avons formé YOLOv5 sur le jeu de données HBA pour détecter les enluminures dans les manus- crits médiévaux IIIF. Les résultats obtenus sont satisfaisants et confirment les bonnes performances de l’approche proposée. Nous proposons d’utiliser les données de Biblissima pour tester le modèle sur un jeu de données beaucoup plus large. Nous envisageons aussi de mettre le standard IIIF en service de la recherche en musicologie à l’aide des techniques d’apprentis- sage automatique. Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 17 / 20
  18. 18. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Références M. Mehri, P. Héroux, R. Mullot, J. P. Moreux, B. Coüasnon, B. Barrett. HBA 1.0 : A pixel-based annotated dataset for historical book analysis. 4th International Workshop on Historical Document Imaging and Processing, pp. 107-112, 2017. S. A. Oliveira, B. Seguin, F. Kaplan. dhSegment : A generic deep-learning approach for document segmentation. 16th International Conference on Frontiers in Handwriting Recognition (ICFHR), pp. 7-12, 2018. T. Monnier, M. Aubry. docExtractor : An off-the-shelf historical document element extraction. 17th International Conference on Frontiers in Handwriting Recognition (ICFHR), pp. 91–96, 2020. Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 18 / 20
  19. 19. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Merci pour votre attention Victoria Eyharabide maria-victoria.eyharabide@sorbonne-universite.fr Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 19 / 20
  20. 20. Introduction Notre proposition Évaluation et discussion Conclusion et perspectives Détection d’enluminures dans des manuscrits médiévaux IIIF à l’aide de l’apprentissage profond Victoria Eyharabide1 Fouad Aouinti1 Xavier Fresquet2 1Laboratoire STIH, Sorbonne Université, France 2IReMus Laboratory, Sorbonne Université, France 24 mars 2021 Article soumis à ICDAR 2021 (16th International Conference on Document Analysis and Recognition) Détection d’enluminures dans des manuscrits médiévaux IIIF Eyharabide et al. Consortium IIIF360 20 / 20

×