Intégration de mises à jour au travers de lots différentiels
•
0 recomendaciones•657 vistas
Présentation lors de la rencontre SIG-la-Lettre 2010 à l'ENSG.
![Repenser les mises à jour ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Más contenido relacionado
Destacado
Destacado (20)
Similar a Intégration de mises à jour au travers de lots différentiels
Similar a Intégration de mises à jour au travers de lots différentiels (10)
Intégration de mises à jour au travers de lots différentiels
- 1. Intégration de mises à jour au travers de lots différentiels Jean-Marc Viglino - IGN 17 mai 2011
- 4. Livraison des mises à jour Lot Mis à jour Nouvelle base (nouvelles valeurs) Lot initial Base initiale (anciennes valeurs) Informations d’évolution Type de mise à jour Méta-données…
- 5. Livraisons différentiels Décrire les évolutions du référentiel entre deux livraisons pour appliquer la bonne stratégie de mise à jour . Livraison n Livraison n+1 Mise à jour d’une 2x2 voies au nord de Vannes Création Destruction Modification sémantique Fusion Scission Modification géométrique (-10m) Modification géométrique (+10m)
- 6. Décrire les évolutions Types d’évolution Créations Destructions Modifications sémantiques Fusions Scissions Modifications géométriques Fausses modifications Transtypage Agrégations Un format pour décrire les évolutions des objets identifié par un identifiant entre deux livraisons Type {obj, struct} MAJ Type {C,D,F,S, MG,MS,MM,FM} MAJ_OBJ Etat {OLD,NEW} Type {C,D, MG,MS,MM} EVOL_OBJ Identifiant Géométrie Attributs… OBJ_LOT nom valeur EVOL_ELEM_ATT 0 0..n 1 1..n 1 1..n Géométrie (gml:Point, gml:LineString, gml:MultiPolygon) EVOL_ELEM_GEO 0..1 EVOL
- 7. Format différentiel Fichier générique XML Format ouvert et évolutif. Outils d’ analyse , de filtrage et d’ intégration dans un SIG .
- 8. Problématique Référence évolutions corrélation propagation Base de règles différentiel t0 t1 identifiants Dépend du modèle pour référencer les données métier, de l’ implémentation et de la stratégie d’intégration Référence Utilisateur Utilisateur ? ? ? ? ?
- 9. Les modèles de référencement couches indépendantes références croisées structuré objet RGE Donnée métier 1 Donnée métier 2 Donnée métier 4 Donnée métier 3 RGE RGE Donnée métier 2 Donnée métier 1 Donnée métier 2
- 11. Intégration des évolutions écrasement transfert fusion Donnée métier RGE Donnée métier RGE Base métier RGE RGE Base métier Base métier n+1
- 12. Exemple d’intégration 1 Couche métier ponctuelle. Liée au référentiel par un calcul topologique + corrections manuelles Lors d’une mise à jour , on utilise les information du différentiel pour ne reprendre les traitements que sur les objets qui ont été modifiés . On utilise la généalogie proposée (fusion, scission) pour limiter les choix et assurer la cohérence avec le nouveau référentiel.
- 13. Exemple d’intégration 2 Transférer les attributs métiers sur la nouvelle version du référentiel Un outil développé par l’IGN comme « Preuve de Concept ». Attribut
- 14. Transfert de données Attributs métier Attribut Attribut
- 17. Merci de votre attention.
Notas del editor
- Rappel du contexte interne IGN et externe du monde qui nous entoure.
- Grandes lignes du COP
- Livraison des mises à jour… vers des livraisons différentielles. Jusqu’à présent, les mises à jour se faisaient par bloc, sans distinction des évolutions intervenue entre deux livraison, charge à l’utilisateur de faire le tri. Aujourd’hui, l’IGN dispose d’un produit différentiel permettant de structurer les évolutions intervenues. Ce format permet d’isoler et de décrire les évolutions intervenues.
- Qu’est-ce qu’un différentiel et pourquoi ? Un différentiel permet d’isoler et de décrire les évolutions intervenues entre deux livraisons. Il contient un certain nombre de relations entre les objets du premier lot et ceux de sa mise à jour (modifications, fusion, scission). Cette connaissance doit permettre de structurer les mises à jour et de choisir la bonne stratégie pour l’intégration de celles-ci dans la base métier du partenaire.
- Les différentiels sont fournis sous forme d’un fichier XML. C’est un fichier générique qui intégre toutes les évolutions intervenues sur la base, charge à l’utilisateur de filtrer ce dont il a besoins pour travailler, chacun n’étant pas intéressé par le même type d’information. C’est un format ouvert et évolutif. On peut facilement lui ajouter un certains nombre d’informations afin d’en faciliter son exploitation ou d’étendre ses fonctionnalités. Depuis sa création, nous lui avons ainsi ajouté une mesure de distance pour les modifications géométriques ainsi qu’une information d’inversion du sens de saisie d’un arc, ceci sans changer le format de l’information initiale. Des informations statistiques ont également étés introduites dans la dernière version. Cependant, ce type de fichier est difficilement exploitable par les SIG actuels, aussi, l’IGN fourni un outil logiciel pour permettre de visualiser son contenu, de filtrer l’information qui n’intéresse pas l’utilisateur et d’exporter des tables facilement intégrables dans les SIG du commerce par jointure. Notons que les filtres ainsi créés sont facilement enregistrables pour réutilisation lors d’une nouvelle livraison et qu’un langage de script (proche de javascript) permet de programmer ses propres fonctionnalités de haut niveau afin d’isoler les mises à jour qui auront un impacte sur une donnée métier en particulier (calcul sur la géométrie, recherche spécifique dans un attribut, etc…).
- C’est une problématique de mises à jour concurrentielles. Deux bases de données évoluent en parallèle, la question est de savoir comment réintégrer les mises à jour de l’une sur l’autre. Des relations d’évolutions permettent de suivre la base de référence (on les exprime dans le différentiel). Des relations de corrélation permettent de faire le lien entre la référence et la base utilisateur (l’identifiant est un moyen d’assurer ce lien). On cherche à propager les mises à jour sur la base utilisateur. La propagation des mises à jour dépend : du modèle choisi pour référencer les données métier, de la façon dont ce modèle est implémenté et de la stratégie choisie pour intégrer les mises à jour.
- Bien réfléchir à la manière de structurer ses données car cela va conditionner leur bonne mise à jour sur le référentiel. On a 3 modèle de référencement : Le plus simple est un référencement par couches indépendantes. Ceci n’exclu pas la gestion d’une cohérence entre les couches. Ce genre de modélisation est fréquemment utilisée pour une couche d’occupation du sol par exemple. Un modèle de référence croisées est plus compliqué à mettre en place et à maintenir. En fait, on a souvent ce genre de modèle lorsqu’on travaille avec plusieurs référentiels. Le modèle structuré objet suppose qu’on dispose d’un référentiel qui va servir à accrocher les données. Les trois modèles peuvent être utilisés simultanément sur différentes couches de la base métier, certaines couches étant gérées de façon indépendantes, d’autres accrochées aux objets du référentiel et d’autres accessible par références croisées.
- Il existe différentes méthodes pour référencer les données métier. La première qui vient à l’esprit, empruntées aux gestions de bases de données classiques, consiste à créer un lien sur les objets du référentiel à travers un identifiant. Une autre solution, plus facile à mettre en place consiste à coder les données métier directement en ajoutant des attributs métier sur les objets du référentiel. Les relations topologiques (incluant le partage de géométrie) sont une autre façon de coder des données métier, propre aux SIG. Souvent utilisé, le référencement linéaire permet de coder des informations le long d’un arc du référentiel. Enfin, des requêtes, classiques ou spatiales permettent également de coder de l’information métier sur une référentiel. Notons, qu’il n’y a généralement pas qu’une seule façon de se référencer et que cela dépend généralement des possibilités offertes par le SIG et des traitements qu’on doit appliquer aux données.
- Trois méthodes prévalent pour l’intégration de mises à jour : La première et la plus brutale consiste à écraser l’ancienne donnée par sa nouvelle mise à jour. Bien que simpliste, cette opération n’exclu pas de s’assurer de la cohérence du résultat, ni de mettre en place un certain nombre de mécanisme pour assurer la conservation des liens présents avec les données métiers. Ces opérations se font généralement lors de post-traitements. Le transfert met en place un certain nombre de mécanismes permettant de transférer les données métier de l’ancienne base sur la nouvelle. Enfin, la fusion est un processus un peu plus compliqué qui va permettre de prendre ce qu’il y a de mieux dans la base métier et la mise à jour pour recréer la nouvelle version de la base métier. Notons que les trois méthodes ne sont pas exclusives et des couches peuvent être écrasées et les données métier recalculée, certaines pourront être transférées alors que d’autres demanderont à être fusionnées à la base mise à jour.
- Le différentiel peut servir à cerner les modifications dans la base afin de ne reprendre les traitement que sur les objets qui ont bougé…
- SauveDonnéesMétier est un outil développé par l’IGN pour des besoins interne. Il fonctionne sous GéoConcept. Afin d’aider les partenaires, l’IGN peut le fournir comme "preuve de concept" pour l’exploitation d’un différentiel. Le principe : export des attributs à sauvegarder sur une table d’objets ponctuels (bouées) et réintégration sur la nouvelle base par jointure sur les identifiant (avec utilisation de la généalogie du différentiel) ou par jointure spatiale.
- Exploité conjointement avec l’information du différentiel, SDM permet de gérer de manière automatique un certain nombre de cas et de renvoyer dans des listes d’édition les objets à contrôler. En particulier, il permet de gérer les fusions, scissions ainsi que les fausses modifications. L’exploitation du différentiel permet également de s’assurer de la cohérence du report, en particulier en surveillant les changement sémantiques. Ainsi, une données métier codant la viabilité d’un tronçon de route pourra être mise en doute si ce tronçon est passé de une à deux voies dans le référentiel.
- SDM propose 3 méthodes, une basée sur l’identifiant (conjointement avec l’information du différentiel pour récupérer la généalogie des objets), une jointure basée sur une recherche géométrique stricte et une par géométrie approchée, avec une recherche d’appariement dans un rayon autour de la bouée paramétrable. Le processus est itératif et les différentes méthodes peuvent être enchaînées. A chaque étape, SDM fourni des listes d’édition permettant de contrôler le bon report des données métier. A chaque étape, des données métier sont transférées, certaines restent à vérifier et valider en fonction des critères définis dans le paramétrage et les données qui ne sont pas transférées sont identifiées afin de pourvoir servir dans l’étape suivante. On notera que toutes les données métiers restent accrochées aux bouées tant qu’elle n’ont pas pu être transférées, par une méthode ou une autre.