Solutions logicielles pour les projets de transport
Présentation de la rencontre du Groupe d'usagers FME_mars 2011
1. Rencontre du Grouped’usagers FME 2011 Yves St-Julien, Spécialisted’applications, Consortech MitaHajirakr, FME Desktop Support Manager, Safe Software Place your logo here
2. Mot de bienvenue Présentation des nouveautés FME 2011 Pause Témoignageutilisateur Présentation technique Programme
3. Programme (Suite) Dîner-libre/Consultez un expert Présentation des nouveautés FME Server 2011 Présentation des problèmesd’interopérabilité Période de questions et conclusion
4. Notre mission Consortech offre, depuis plus de 20 ans, des solutions logicielles innovatrices en génie civil, génie du bâtiment et géomatique visant à assurer le succès des projets de ses clients privés et gouvernementaux en optimisant leur investissements et en favorisant l’autonomie de leurs ressources.
5. Présentation de Consortech Près de 22 ans d’expérience en intégration de solutions technologiques Expert en solutions de : Géomatique Génie civil Génie du bâtiment BIM (Building Information Modeling) Visualisation et simulation 3D
6. Notre vision Un leader des technologies 3D appliquées aux processus de décisions Consortech veut demeurer à l’avant-garde dans les solutions technologiques offertes en génie et en géospatial afin d’être perçue comme une instigatrice d’innovation auprès des organismes gouvernementaux et des firmes privées via.
7. Notre vision Notre vision est appuyée par différentes initiatives telles que : Introduction de nouvelles technologies (Subassembly Studio, LandXplorer, Transoft Solutions, FME, etc.) Participation à des projets pilotes (ponts, digues et barrages, etc.) Développements de produits (SOLO) Organisation d’événement spéciaux (Événement 3D de février dernier) Organisation de rencontres d’échanges (Municipal, Transport, Ouvrages d’art)
8. Revealing Your New Sidekicks: FME 2011 MitHajirakr et Yves St-Julien Safe Software et Solutions Consortech Yves St-Julien, Spécialisted’applications, Consortech MitaHajirakr, FME Desktop Support Manager, Safe Software
11. FME 2011: Makes you the Superhero! Make you the Super Heroes!
12. Spatial Data at Your Command FME 2011 gives you more power than ever before Access new formats Experience usability enhancements Perform FME tasks even faster
64. Future-Proof Your Investment What will tomorrow bring? The evolution of current formats, brand new formats and platforms, and entirely new data types Point cloud data is here Count on FME to keep up with industry and format changes With FME, you’ll beready
66. Témoignageutilisateur:Utilisation de FME dans le cadre d’un projet de vectorisation Judith-Marie Beaudoin Chargée de projetrecherche et développement, GroupeTrifide
67. Utilisation de FME dans le cadre d’un projet de vectorisation Présenté par Judith-Marie Beaudoin Chargée de projet Recherche et Développement Groupe Trifide
68. Présentation Mise en contexte du projet I Stratégie de développement Exemple de programme FME réalisé
69. Mise en contexte du projet I – Présentation globale Projet I : Vectorisation de plan et association de données descriptives Format MID/MIF MIF: VERSION 300 DELIMITER "," CoordSys Earth Projection 3, 33, "m", 3, 46.5, 44, 49, 700000, 6600000 COLUMNS 3 ID char(10) NATTRAC char(40) INSEE char(5) DATA LINE 898573.99 6502546.77 898594.64 6502590.83 LINE 897119.97 6504607.15 897063.87 6504637.44 LINE 898984.76 6501855.8 899031.22 6501877.82 MID: HL392,,38124 HL382,,38124 HL407,,38124 HL401,,38124
70. Mise en contexte du projet I – Présentation globale Données de base Plans papier Réglementation Données cadastrales vectorielles (MapInfo) Livrables MID/MIF PDF
71. Mise en contexte du projet I – Étapes de réalisation Numérisation des plans papier Géoréférencement des plans numériques MicroStation V8i Descartes (Bentley) Transformation affine sur la couche vectorielle cadastrale Vectorisation des plans numériques MicroStation V8 (Bentley) Vectorisation manuel à l’aide de la couche vectorielle cadastrale
72. Mise en contexte du projet I – Étapes de réalisation Peuplement de la base de données MicroStation V8 (Bentley) associé à une base de données Access Peuplement manuel les attributs variables Peuplement automatique les attributs constants Livraison des données Étapes de réalisation incluant les programmes FME : Numérisation Validation de la structure Géoréférencement Vectorisation Cadastre.dgn Validation de la BD Création des MID/MIF Peuplement BD Livraison
73. Mise en contexte du projet I – Principes méthodologiques exigés Numérisation vectorielle complète et représentative du plan original Respect de la géométrie des éléments associés à chaque classe d’objet Classes ponctuelles Classes textuelles Classes linéaires Classes surfaciques Classes sémantiques Un élément linéaire peut être une ligne ou une polyligne ouverte Un élément surfacique doit être une polyligne fermée, sans boucle
74. Mise en contexte du projet I – Principes méthodologiques exigés Exclusion de A Chevauchement A B Trou A La notion de région permet d’éviter le chevauchement. Règles topologiques exigée pour les éléments de la sous-classe « zone » (classe surfacique) Pas de chevauchement Recouvrement total du territoire
75. Mise en contexte du projet I – Principes méthodologiques exigés A B Règles topologiques exigées pour les éléments de la sous-classe « zone » (classe surfacique) Partage entre les limites de cette classe Partage entre les limites de cette classe et les données cadastrales Les étoiles oranges représentent les sommets partagés entre la zone A et B. Le client désirait l’indépendance entre les surfaces, malgré le partage. C’est pourquoi, les segments entre les étoiles oranges ont été vectorisés deux fois: une fois pour la zone A et une fois pour la zone B.
76.
77. Stratégie de développement – outils sélectionnés mdl – outils de manipulation Application déjà disponible pour la production Partage des éléments Remplir les attributs de la BD FME – outils de validation Temps de programmations réduits vs mdl Librairie de fonctions d’analyse spatiale existante Réponds aux besoins suivants: Toutes les analyses spatiales Permet de lire une BD et son contenu Permet d’analyser la géométrie des éléments Permet la création du format MID/MIF Temps de formation nul pour les techniciens – standard de programmation en place et connu Volume de données raisonnable
79. Exemple de programme FME réalisé pour le projet I Programme de validation de la structuration des éléments de la sous-classe « zone » Beaucoup d’exigence du client quant aux relations topologiques au sein des éléments de cette sous-classe Principale sous-classe présente sur les plans à vectoriser Présente sur toutes les cartes Couvre l’ensemble du territoire Présentation de l’algorithme général Présentation et précision sur le fichier de sortie du worbench Présentation des résultats des algorithmes particuliers composants le workbench
80. Validation de la structuration de la sous-classe « zone » Fichier de travail.dgn Vérifie la géométrie de tous les éléments incorrecte Error_struc.dgn correcte Isole les éléments de la sous-classe ZONE Recherche les chevauchements chevauchement ZONE Recherche les trous trous Cadastre.dgn Vérifie le partage Avec la limite cadastrale Problème de partage Algorithme général:
81. Validation de la structuration de la sous-classe « zone » Précision sur le fichier de sortie error_struc.dgn Pas de correction automatique, modification du fichier de travail (.dgn) d’entrée, car besoin du technicien pour l’interprétation de l’erreur Circonscrire l’erreur au maximum Un niveau et une couleur pour chaque type d’erreur Extraire seulement les sommets ou les segments en erreur et non pas l’élément dans son ensemble Présence d’un texte explicatif pour chaque erreur Nombre d’erreur raisonnable…
82. Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification de la géométrie de tous les éléments : AttributeFilter (séparation des classes) GeometryFilter (séparation des géométries) PolygonBuilder (polylignes fermées deviennent des polygones) LineJoiner (création de polylignes ouvertes) SpatialRelator (analyses topologiques) Recherche des éléments en double et les polygones ouvert
83. Validation de la structuration de la sous-classe « zone » Moins de 8 mm d’ouverture Extraction des segments qui ne se Difficile à trouver par une analyse touchent pas (circonscrire l’erreur) visuel
84. Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche des chevauchements entre les zones : AreaBuilder (création de régions) Chopper (extraction des sommets) SpatialRelator (analyses topologiques)
85. Validation de la structuration de la sous-classe « zone » Éléments mal partagés Création d’une ellipse et d’un = chevauchement texte d’erreur sur les sommets qui chevauchent une surface
86. Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la recherche des trous entre les zones : Chopper (extraction des sommets) SpatialRelator (analyses topologiques) PointOnAreaOverlay (analyses topologiques) Pas le même nombre de sommets création d’une ellipse et d’un texte sur le = « trou » sommet solitaire
87. Validation de la structuration de la sous-classe « zone » Quelques transformers utilisés lors de la vérification du partage avec la limite cadastrale : GeometryCoercer (modification de la géométrie) Chopper (extraction des sommets) NeighborFinder (analyses topologiques) PointOnPointOverlay (analyses topologiques)
88. Validation de la structuration de la sous-classe « zone » Erreur : Il n’y a pas de sommet au Erreur corrigée: il y a un sommet au croisement avec la limite cadastrale croisement avec la limite cadastrale (rouge) (rouge)
89. Validation de la structuration de la sous-classe « zone » Résultat de la vectorisation
91. Standard de programmation Interface utilisateur Intrants Custom transformer Extrants Published parameters Utilisation des custom transformer permet de structurer le programme selon l’algorithme Utilisation du viewer seulement pour souligné un problème à l’utilisateur lors du traitement Présence de commentaire comme dans n’importe quel programme
95. Flow ControlFilters, Testers & Mappers Transformers that control the flow of data in your workspace Testers Tester StringSearcher Filters TestFilter AttributeFilter AtributeRangeFilter Mappers AttributeValueMapper AttributeRangeMapper SchemaMapper Example workspace
96. Dynamic Workflows Dynamic SchemaIntroduced in FME 2010 Improved in FME 2011 SchemaMapper Dynamic Schemas Review traditional workspaces Examples of Dynamic Workflows Dynamic workspaces are a way of providing maximum translation flexibility and minimizing the longer term maintenance of workspaces
97. Schema Mapping What is a Schema? Feature Types (Tables, Feature Classes, Layers, Collections, Levels…) Attributes (and their types: char, int, float, number, blob) Domains, Subtypes, Enumerated Lists Geometry(point, text, symbol, line, area, multi-part, …) Reader Schema: what we have Writer Schema: what we want
98. Schema Mapping What is Schema Mapping?from “what we have” to “what we want” Renaming feature types (WATERLINES D-WATER-DW~~) Renaming attributes (PR_ZONE Zone) Creating attributes (FCode = AQ113) Domain mapping Schema map is usually defined in a crosswalk table
99. Schema Mapping Schema mapping in FME Workbench: Feature Type renaming AttributeCopier AttributeCreator AttributeValueMapper What’s the problem? Very repppppetitive Harder to maintain What we need is a “Swiss Army” gadget for schema mapping… Example workspace
105. Traditional Workspaces(Static Schema) Workspaces are tightly bound to the source and destination schemas This works well when: Each feature type requires unique transformation Feature types interact (i.e. merged data, spatial overlap) Not so well for: A relatively simple transformation that is applied to all feature types Workspace maintenance – it can be tedious These are the pros & cons of workspace example Static Schema Example
111. Dynamic Workflow What can be made dynamic? Schema: Reader Feature Types Read any set of feature types from a dataset Schema: Writer Feature Types Mirror the source feature types on the destination Schema: Attributes Read any set of attributes on source feature types and mirror them on the writer feature types Format: Generic Reader and Generic Writer Select the reader or writer format at run time Review of Workspace
112. Summary Dynamic workspaces give maximum flexibility for minimum effort Dynamic Schema can handle source data with any schema Dynamic Writer can be used to minimize the workspace complexity The Generic reader or writer can process data in nearly any format
124. Why FME Server? How FME Server can meet your needs: Data Distribution Data Download Service Live Data Streams Data Streaming Service Upload and Validation Data Upload Service Centralize Data Transformation Job Submitter Service
125.
126. FME Workbench: Author Workflows for FME Server Use the proven power of FME Workbench to author workflows for FME Server
127. FME Server Works with FME Desktop FME Desktop Author and run spatial transformation tasks FME Server Run and share spatial transformation capabilities 114
128. Using FME Server Typical steps for using FME Server are: Author an FME workspace (Spatial ETL task) Share the Spatial ETL task in an FME Server repository Run the Spatial ETL task from a web interface or equivalent Maintain the Spatial ETL task by editing in FME Workbench 115
129. Author a Transformation Task FME Workbench - graphical authoring environment Step 1 Extract: Select and drag a source dataset on to the workspace Step 2 Transform: Adjust the way the data flows from its source to the destination Step 3 Load: Load the transformed data into the destination 116
130. Share Transformation Tasks Publish workspace to FME Server Store the workspace in a central repository Make your FME workspaces available to others –over the web Register the workspace with one or more services(Data Streaming, Data Download, etc.) 117
134. Maintain the Transformation Task Maintain the Spatial ETL task by editing the FME Workspace Download the workspace from the FME Server repository Modify the workspace Publish the workspace back to the repository Step 3 Step 2 Step 1 119
161. GIS to CAD GIS CAD Key Points: Create AutoCAD blocks or MicroStation cells Preserve attributes as object data, tags or text Translate the annotation (text justification) Schema transformation (i.e. National CAD Standard, etc.) Example Symbolizing with DWGStyler
162. CAD to GIS CAD GIS Preserve attribution Data improvement Create connectivity (snapping) Recover attribution from text or blocks Data quality Layer / Level consistency Valid attributes Example Merging text onto geometry
163. Storm: The Power of Data in the Cloud MitaHajirakr FME Desktop Support Manager, Safe Software
164. The Power of the Cloud Storm uses the power of the cloud to combat data villains
166. Advantages of Data in the Cloud Data available to you and others,regardless of location You control who has access In some cases you control where access is from too Reduced administration Backup strategy simplified No hardware maintenance
167. Advantages of Data in the Cloud cont… Scalability The cloud service looks after all scaling issues Cost savings Hardware, administration Need to verify as communication costs can be more
168. Disadvantages of Data in the Cloud Data available to you and others,regardless of location Make sure you control access Scalability Performance is not entirely under your control
169. Disadvantages of Data in the Cloud cont… Cost savings Communication costs can be significant Best strategy is to be totally in or totally out Keeping a copy local and remote for a large amount of data can be expensive
170. Cloud Database Demo:SQL Server Azure Demo Read/Write to Azure and SQL Azure Check out our blog posting here
173. Bulk Up Your Database:FME and Database Loading MitaHajirakr FME Desktop Support Manager, Safe Software
174. Demonstration Set-up & Run To run this demonstration you need: Oracle or SQLServer (can be run with SDF but it’s not tested in FME 2011) Run DataInitializer_CSV_to_DemoData.fmw BEFORE your demo starts Loads Address points into the database of your choice – ADDRESS_POINTS table Configure the Update workspaces corresponding to your database: AddressUpdates_GML_to_SQLServer.fmw – my preference AddressUpdates_GML_to_OracleSpatial.fmw AddressUpdates_GML_to_SDF.fmw For the demo Display ZipCodes & Original ADDRESS_POINTS & the address updates in FME UV - Run the update workspace: Change the zipcode boundary (78723 & 78752 work well) Change the user name Refresh and in FME UV filter by LA_UPD_BY (Last Update By) to show the updated address points
175. Data Updates What’s the big deal about bulking up your databases? Choices: Truncate & load Incremental Updates
176. Data Updates The key to successful database updates: Persistent key History or journal table
177. Database and Table Level Updates Reloading Everything Updates Only Writing
178. Feature Level Updates Using Format Attributes fme_db_operation fme_where or database Key Column
180. Database Update Example Update Address Points for selected Zip Code boundaries Read the Zip Codes Spatial query for the Address Point updates (based on the zip code boundary) Create the fme_db_operation attribute Write to database with INSERT | UPDATE | DELETE Initial Data Example
181. Tools for RasterMan MitaHajirakr, FME Desktop Support Manager, Safe Software
182. Who is RasterMan? RasterMan is a superhero that battles raster problems of all sizes With FME you too can tackle raster data challenges This is not RasterMan!
192. Resources Dmitri’s Raster Studio http://bit.ly/dmitri_raster 20+ examples, including: Non-rectangular raster clipping Point clouds Raster to 3D translation RasterExpressionEvaluator Rasterization for Web Mapping Platforms Raster Palette Manipulations Avoiding black edges while reprojectiong rasters Raster Mask for KML output And more!
194. Why is XML So Difficult? XML is a language Describes the data structures as well as content Capable of defining complex data structures Hierarchical data structures Non relational data structures GIS are usually based on relational data models
196. Safe XML Strategy Leverage industry XML tools such as XSLT and XQuery Users must know these complex technologies.
197. Safe XML Strategy Higher Level Function Minimal understanding of XML required
198. Reading XML with FME GML 3.2 & XSD (XML Schema) Most GML can be interpreted if FME can use the XSD This will work if the OGC spec. is followed and internal feature constructs are not overly complex Xfmap Script for mapping XML structure to FME features Powerful but not for the faint of heart Xquery W3C compliant Xquery Map XML tags to features or attributes using XQueryExploder & XQueryExtractor Powerful but not for the faint of heart 162
200. FME 2011 Power Unleashed:XML Reading Transformers XQueryExploder Split XML documents into “features” using XQuery XQueryExtractor Extract attributes and other structures using XQuery XMLFeatureMapper Construct “features” from XML using xfmaps. 164 Require XQuery or xfMap knowledge!!!
202. FME 2011 Power Unleashed:XML Reading Transformers XMLFragmenter Split XML documents into manageable “features” Includes “flatten option” in FME 2011 166 No XQuery or xfMap needed!!!
204. Writing XML with FME GML standard formats FME supports a wide range of GML profiles (GML SF0, OS MasterMap, CityGML, etc.) GML 3.2.1 & XSLT Apply an XSLT (Extensible Stylesheet Language Transformations) to the output Xquery W3C compliant Xquery Map FME features to XML templates using XMLTemplater transformer 168
207. FME 2011 Power Unleashed:XML Writing Transformers Writing XMLTemplator Convert FME attributes to XML XMLFormatter Formats and beautifies XML documents. 171
209. Example: XML Object Hierarchy Creating an electricsubstation XML: Coordinates and Attributes and contains Feeder(s) contain Attributes XML Document Substation Feeder A Feeder B
215. Spatial Data at Your Command FME 2011: Take Command of Your Spatial Data New format support enables you to work with a whole new world of data Easier than ever to get started and use Faster than before
216.
Notas del editor
D&D: Show:Dale’s Sydney Harbor Bridge KML tour,PDF with links: http://www.fmepedia.com/index.php/PDF_Mapping,Before and after of Tom’s XML workspaces
D&D: Show:Dale’s Sydney Harbor Bridge KML tour,PDF with links: http://www.fmepedia.com/index.php/PDF_Mapping,Before and after of Tom’s XML workspaces
D&D: Show:Dale’s Sydney Harbor Bridge KML tour,PDF with links: http://www.fmepedia.com/index.php/PDF_Mapping,Before and after of Tom’s XML workspaces
D&D: Show:Dale’s Sydney Harbor Bridge KML tour,PDF with links: http://www.fmepedia.com/index.php/PDF_Mapping,Before and after of Tom’s XML workspaces
D&D: Show:Dale’s Sydney Harbor Bridge KML tour,PDF with links: http://www.fmepedia.com/index.php/PDF_Mapping,Before and after of Tom’s XML workspaces
JC – Can we make this image even larger?
At this point create a workspace with:Static SchemaDynamic SchemaAdd CityExtents.gmlAdd Clipper
Many organizations are using both GIS and CAD systems. It’s important that we are able to move data smoothly between the two systems. Although there’s a great deal of overlap in functionality each has their strengths, in general: CAD users are focused on visual clarity and editing toolsImage shows a electric layout with detailed symbology and annotation, but no connectivity
GIS users are focused on data models & data structures Image shows topological connectivity – How to get from a hotel to a pub in CambridgeA typical example is exporting GIS as-built features to a CAD design tool. Designing a new layout and then importing the new design back into the GIS.
Symbolization approaches can be quite different be CAD & GIS. Key point: FME helps symbolization with StylersIn the workspace open DWGStyler_3 – block creation
This is what we’re going to demo.The requirements are the same as GIS to CAD – to preserve the meaning of the data in the different format. Issues with CAD is that the environment can be less stringent so entities may not be on the correct layer or have different attributes that represent the same information. Or different attributes values that mean the same thing: Phase = ABC and Phase = 123DEMOFor this example, we have a Microstation design file that contains road lines and lables for those roads. [open roads.dgn in Viewer]To successfully load the data into a GIS, we must attach the road label text to the road lines as attributes.The the problem is that labels may be close to several roads, so we have to use some logic to match the labels to the correct roads, and send any roads that don’t match a lable to a separate output for further investigation.
Show how easy it is to go to both Azure and SQL Azure. (Azure is not spatial)Also show the inspector here.
Show how easy it is to go to both Azure and SQL Azure. (Azure is not spatial)Also show the inspector here.
Show KML updates. With URL. Also show the inspector here.
Initial Data link is a Viewer Viewspace. You’ll have to re-save the viewspace with you DB connection details.
This combines Translate and Reproject. Use Example #3 Reproject since it also includes a translate.
Example 6-Mosaic and 6a-Mosaic 6a- Mosaic includes a reprojector – reproject after the mosaic to ensure clean overlaps
Point out that tile & clip are more or less the same. Make a comment that you can clip with irregular polygons.Reprojector – ensure all output features are in the same coordinate system
Idea here is to explain that when FME 2011 ships you will be able to specify the “tags” that are the feature type and also the name of the “Feature Type”.Currently this is done by a custom transformer. You could show it to just drive home that they will not need to know this or not.
XML document CONTAINS a substation feature which CONTAINS several Feeder objects
Copy the XML template from an exiting sample of the XML replace the attribute values with XQuery statements repeat for other XML tags (i.e. substation)
Copy the XML template from an exiting sample of the XML replace the attribute values with XQuery statements repeat for other XML tags (i.e. substation)