Vers un outils de collation numérique de livres anciens
•
0 recomendaciones•371 vistas
Cinquième journée annuelle du RTR « Image » - 5 juillet 2018, Blois. Par Rémi Jimenes et Iandry Rakotoniaina. https://bvh.hypotheses.org/3902
Recomendados
Recomendados
Más contenido relacionado
Más de Bibliothèques Virtuelles Humanistes - CESR, Université de Tours, UMR 7323
Más de Bibliothèques Virtuelles Humanistes - CESR, Université de Tours, UMR 7323 (20)
Último
Último (7)
Vers un outils de collation numérique de livres anciens
- 2. Caractérisation et classification de différences locales détectées dans des collections d’images similaires Stagiaire: Iandry Rakotoniaina Encadrant(e)s: Jean‐Yves Ramel (LIFAT), Chiara Lastraioli, Rémi Jimenes, Toshinori Uetani, Sandrine Breuil (CESR‐BVH) Financement de stage 2017‐2018 par le RTR Image
- 3. Rappel du contexte • Un premier stage l’année dernière : Shuo Bai « Recalage et comparaison d’images de pages provenant de différents exemplaires de livres anciens numérisés » (5 mois d’avril à septembre 2017) • Un partenariat ancien entre le LI et le CESR – Équipe RFAI (Reconnaissance de forme et Analyse d’images) – Programme Bibliothèques Virtuelles Humanistes – Collaboration depuis 2003 3
- 4. Présentation de la problématique • Le contexte : projet Bibliothèques virtuelles Humanistes 4 http://www.bvh.univ‐tours.fr/ http://cesr.univ‐tours.fr/ Des documents difficiles à traiter : • Dégradations et bruits • Imperfection de la numérisation • Variabilité : Mise en page imprévisible (illustrations, espaces, …) • Manque de données, connaissances et expériences • Polices différentes données d’apprentissage à créer • Langages différents: Lexiques, dictionnaires et modèles de langages à créer
- 5. Présentation de la problématique • Bibliographie matérielle et histoire des textes : les études shakespeariennes • Particularités d’exemplaires : – Annotations marginales – Corrections manuscrites – Soulignement, surlignement • Variantes d’état : corrections sous presse • Invention d’un outil de comparaison : “la machine à collationner” 5
- 7. Présentation de la problématique • Objectifs : Construire une Machine à collationner numérique « Identification, alignement et comparaison automatique des pages de différents exemplaires de livres anciens numérisés » • Cahier des charges – Rapprochement et alignement d’images de pages issues d’exemplaires différents d’un même ouvrage afin de pouvoir ensuite comparer plus finement leur contenu – Suppression du bruit et recalage des images par application de transformations géométriques – Comparaison page à page et signalement des variantes les plus importantes au travers d’IHMs conviviales 7
- 9. Solution proposée Nouvelle chaîne de traitement proposée 9 Préparation des images (1) Création de couples d’images (2) Normalisation de la luminosité Du fond des couples d’images.(3) Recalage d’image sur les couples (4) Application d’un filtre gaussien sur les images sur les images recalées (5) Calcul de l’image des différences (6) Sélection et Visualisation des résultats (7) Offline - Création d’une base d’apprentissage (6’) Online - Classification des pixels de différences (6’’) Couple d’ouvrage Images normalisées 700x500 Couple d’images non recalées Couple d’images normalisées Couple d’images recalées Couple d’images recalées filtrées Image de différence analyser pixel par pixel Image contenant la carte des probabilités des classes de chaque pixel Tableau d’individu représenter par un pixel avec leur classe IHM
- 11. Création d’une base d’apprentissage • Création d’une base contenant l’ensemble des pixels avec leur caractéristiques et leur classe. • Sélection des couples d’images pertinentes en fonction des types de différences à détecter pour constituer l’ensemble de nos images de vérité terrain (15 images). • Traitement des images sélectionnées afin de constituer notre base d’apprentissage. • En général 4 classes, annotation manuscrite, correction sous presse et/ou correction manuscrite, ajout/suppression, bruit. 11 Image Recalée Image Référence Image des différences binaires Classe Diff Classe Bruit
- 12. Création d’une base d’apprentissage 12 Architecture de base d’un CNN Architecture d’un CNN autoencoder
- 13. Création d’une base d’apprentissage 13 Conv Max Pool Conv Max Pool Un Pool Conv.T Conv.T Conv.T Conv.T Un PoolMax Pool Conv encoder decoder Image Image reconstruit Transfert des caractéristiques Flatten Dense DropOut Dense Activation - sigmoïd
- 15. Création d’une base d’apprentissage • Extraction des caractéristiques : GLCM, moyenne, variance, lbp, intensité pixel. 15 Moyenne, Variance des voisinages du pixel A
- 16. Création d’une base d’apprentissage Nombre de patch (30x30) dans la base d’apprentissage: 34872 patchs. Ajout : 13783 Annotation manuscrite : 2645 Correction : 1211 Bruit : 17233 Regroupement en deux classes : Différence (17639) VS Bruit (17233) 16
- 17. Classification des différences et visualisation des résultats 17 Binarisation de l’image des différences Sélection des pixels à classifier Classification des pixels. Illustration en rouge des pixels de différences et bleu pour les bruits.
- 19. Évaluation des résultats 19 Différent en fonction de l’indice utilisé Résultat quantitatif en fonction de l’indice de Dice seul Résultat quantitatif en fonction de tous les indices de performance
- 20. Conclusion 20 Le modèle doit avoir beaucoup d’exemple pour bien faire la détection des différences. L’ensemble des traitements a tendance à être optimal pour seulement les images utilisés pour l’apprentissage. Un mauvais alignement entre les images peut être problématique pour la détection.
- 21. Perspectives 21 Trouver une meilleure formule pour le calcul de la différence ou application d’un modèle de réseau de neurone siamoise. Implémenter un modèle de génération artificiel de différence. Améliorer l’interface graphique pour rendre l’analyse des différences plus conviviale. Chercher à créer un modèle adaptatif en fonction des différents types d’ouvrages utilisés en entrée.