Présentation de notre Expert Team Leader, Sébastien Vanotti, lors du Talend Connect, le 19 novembre 2015.

1. Copyright Synaltic 2015
DataMapper,
Simplifiez-vous
l’intégration de SAP
1
Talend Connect 2015

2. Copyright Synaltic 2015
Présentation
Pourquoi Talend ?
Le choix du DataMapper
Design Pattern de développements
Échanges avec SAP
Les Gains & Problèmes rencontrés
Conclusion
Sommaire
2

3. Copyright Synaltic 2015
Patrick N.
Patrick N. est chef de projet pour un grand industriel. Après 15 années dédiées à déployer
SAP en Belgique et en Europe, il se consacre au management du système d’information
ainsi qu’à la gestion des processus et à l’amélioration continue. Il travaille actuellement en
tant que Projects Manager pour l’implémentation Talend (DI et MDM).
Sébastien Vanotti
Sébastien est en charge de la cellule expertise au sein de Synaltic Group. Il a développé
de fortes compétences sur l’ensemble des briques Talend.
Présentation Intervenants
3

4. Copyright Synaltic 2015
Pourquoi Talend ?

5. Copyright Synaltic 2015
Choix à l’origine de la solution MDM :
Agnostique quant au Master Data (Modèle générique)
Vaste choix de connecteurs y compris SAP
Coût
Migration de BIS Seeburger
Opportunité
5
Contexte initial du besoin

6. Copyright Synaltic 2015
Le choix du
DataMapper

7. Copyright Synaltic 2015
Contexte SAP avec l’utilisation des IDOC
Fichiers multi-structures à plat (positionnel ou XML) utilisés pour les interfaces
Plusieurs solutions proposées par la société Talend
Une approche Data Integration classique
L’utilisation du nouveau composant DataMapper (début 2014)
Un contexte SAP
7

8. Copyright Synaltic 2015
Très forte complexité à traiter ces fichiers en version DI (tXMLMap)
Première solution proposée par Talend :
utilisation du tXMLMap
8

9. Copyright Synaltic 2015
Exemple de mapping à l’aide du DataMapper
Deuxième solution proposée :
Le DataMapper (Mars 2014)
9

10. Copyright Synaltic 2015
Nouvelle brique logicielle rajoutée à la plateforme Talend (Version 5.5)
Perspective dédiée, appelable depuis un composant tHMap en DI
Objectifs
Manipuler des fichiers à structures complexe (hiérarchique, multi-boucles)
IDOC
EDIFACT
HL7
X12
Types d’import possibles
Qu’est-ce que le DataMapper ?
10

11. Copyright Synaltic 2015
Réalisation d’un prototype par Talend en Mars 2014
Prototype concluant
Migration de la version 5.4.1 vers la version 5.5.1 (Août 2014)
Présence du DataMapper dans cette version
Nouvelles fonctionnalités
Le DataMapper
11

12. Copyright Synaltic 2015
Intervention de Synaltic pour Expertise MDM & DI en Septembre 2014
Forte expertise sur les domaines MDM et DI
Expérience naissante sur le DataMapper
Synaltic et le client acceptent de relever le challenge dans ce contexte
A la suite des premiers ateliers, le choix final s’est porté sur une solution hybride
Data Integration et Data Mapper.
Orchestration de jobs en Data Integration
Appel des mapping DataMapper à certains niveaux
Enrichissements des données effectués en Data Integration
Le DataMapper & Synaltic
12

13. Copyright Synaltic 2015
Design Pattern de
développements

14. Copyright Synaltic 2015
Mise en place d’une solution hybride : DataMapper + Data Integration
Palier à certaines absences de fonctionnalités
Utiliser les avantages des deux outils
Liaison entre les deux : le composant tHmap
Utilisation de demi-flux et de formats pivots
Evolutivité et adaptabilité
Faciliter la lisibilité et la maintenance
Approche choisie
14

15. Copyright Synaltic 2015
ORDER RESPONSE
Confirmation de commande
DESADV
Note d’envoi
ORDER
Commande (vente et achat)
INVOICE
Facture client
SUPPLIER INVOICE
Facture fournisseur
Types de documents SAP
15

16. Copyright Synaltic 2015
Jobs d’interfaçage avec les différentes gateway (applications sources)
Découpage des traitements en plusieurs étapes
Fichier texte vers format XML
Faciliter la lisibilité
Fichier XML vers format Pivot (XML)
Format du type de documents + enrichissement
Utilisation du composant tHMap
Pivot vers format de sortie attendu
Transformation à l’aide du composant tHmap
Routing du fichier généré vers les environnements cibles
FTP, SAP, Répertoire réseau, Mail…
Archivage du fichier
Design de développement
16

17. Copyright Synaltic 2015
Etape spécifique : Fichier XML vers format Pivot
Enrichissement des données à l’aide de base de données (Oracle) ou SAP
effectué en Data Integration
Instabilité à cette époque de l’utilisation de la base de données dans le datamapper
Création d’une joblet spécifique
Valorise les balises vides du format pivot avec des données provenant d’autres sources
Développement de classes Java spécifiques pour certaines
transformations dans le DataMapper
Permet d’étendre les capacités du DataMapper
Spécificités
17

18. Copyright Synaltic 2015
Création d’une table de paramétrage permettant de « router » les fichiers
générés vers une ou plusieurs cibles
Fonctionnement proche de l’ESB
Routage variable en fonction du client
Par exemple, le client1 est paramétré pour recevoir une facture sur sa plateforme dédiée,
être notifié par mail (avec éventuellement fichier en pièce jointe) et peut être sur un
serveur FTP d’archivage.
Amélioration de la maintenance et du suivi des éléments envoyés aux clients
Gestion Multicanal
18

19. Copyright Synaltic 2015
Mise en place d’un monitoring fonctionnel
Tables de monitoring spécifiques alimentées à l’aide des composants de log Talend
Gestion de mails d’alerte en cas d’erreur
Indexation des données dans Elasticsearch
Tableaux de bord Kibana
Ajout d’une gestion de reprise d’erreur spécifique orientée document
Extension de la fonctionnalité d’origine de reprise sur erreur de Talend
Possibilité de reprendre un document à n’importe quelle étape du traitement et dans l’état
correspondant
Monitoring
19

20. Copyright Synaltic 2015
TALEND PLATFORM
Architecture
20
GATEWAYS
RFC SERVER Clients et
Fournisseurs
SAP
RFC
Table
BAPI
Bases de données Oracle
TAC JobServer
Elastic/Kibana
Nexus
MDM

21. Copyright Synaltic 2015
Échanges avec SAP

22. Copyright Synaltic 2015
Dans le cadre du projet, la quasi-totalité des composants SAP
disponibles dans la palette Talend ont été utilisés
Lecture table SAP (tSAPTableInput)
Appels BAPI (tSAPBAPI)
Push d’IDOC dans SAP (tSAPIDocOutput)
Problème rencontré avec le composant de lecture des IDOCS
Format du fichier XML récupéré non exploitable
Impossibilité de le faire fonctionner avec le mode SNC
Toujours le cas même en version 5.6.1
22
SAP & Talend : Les composants

23. Copyright Synaltic 2015
Le contexte du projet nécessite l’utilisation d’une connexion sécurisée
avec SAP, appelée SNC
Nécessite des paramétrages supplémentaires
Paramétrage avancé des composants SAP (propriétés spécifiques du driver JCO
fourni par SAP)
Paramétrage de l’utilitaire SAPCrypto fourni par SAP (installé sur le serveur Talend)
Paramétrage des autorisations utilisateurs dans SAP
Difficultés rencontrées
Peu de documentation sur la méthode à suivre pour le driver JCO
Nombreuses briques à prendre à compte 23
SAP : Connexion sécurisée SNC

24. Copyright Synaltic 2015
Nouvelle brique logicielle de la version 5.6.2
Ajouté suite aux nombreuses demandes client sur SAP
Réactivité de la part de Talend.
Permet de récupérer les IDOC provenant de SAP de manière aisée
Utilisation d’un nouveau composant dédié : tSAPIdocReceiver
Possibilité d’utiliser une connexion SNC
24
SAP & Talend : Le RFC Server

25. Copyright Synaltic 2015
Les Gains et
Problèmes rencontrés

26. Copyright Synaltic 2015
Projets
Manque de connaissance du produit à remplacer
Difficulté à accéder aux sources (BIS Seeburger)
Montée en compétences difficile liée au changement technologique et au manque de
documentation (DataMapper)
Produit
Manque de documentation au démarrage du projet
Faible intégration de l’outil dans Talend (en 5.5.1, lié à la récente acquisition du produit).
Routines Talend non disponibles dans le DataMapper
Formats requis non présents mais supportés (EDIFACT)
26
Les difficultés rencontrées

27. Copyright Synaltic 2015
Fonctionnels
Possibilité d’évolution : capacité à satisfaire plus de demandes
Possibilité d’étendre le spectre des activités grâce aux fonctionnalités Talend (ex. connexion SAP)
Techniques
Plateforme moderne, évolutive et performante
Réappropriation des flux (Refactoring & lisibilité)
Plus stable : Mise en place d’une Exploitation et Supervision (interface conviviale, suivi plus
détaillé)
27
Les gains

28. Copyright Synaltic 2015
Conclusion

29. Copyright Synaltic 2015
Après X mois d’utilisation de Talend, nous le recommandons comme outil pour
d’autres projets
Choix du DataMapper s’est avéré le bon choix
Réactivité de Talend sur l’implémentation de nouvelles fonctionnalités.
« Si un client aujourd’hui veut démarrer de l’interfaçage SAP Talend, il ne doit pas
hésiter. La version 6 apporte des évolutions importantes qui rendent son utilisation
plus aisée »
Conclusion
29

30. Copyright Synaltic 2015
Data Driven Approach
Questions / Réponses

31. Copyright Synaltic 2015
Data Driven Approach
Merci de votre attention.
Contacts :
contact@synaltic.fr
svanotti@synaltic.fr
@synaltic
http://www.synaltic.fr