IM France - Avantages d'une mise à niveau vers info sphere datastage 8.7
1. Logiciel IBM Fiche technique
Avantages d’une mise à
niveau vers InfoSphere
DataStage 8.7
Optimisez votre investissement InfoSphere DataStage
grâce à un traitement en parallèle haute performance
Les experts du secteur s’accordent à dire que les exigences en matière
Points clés de traitement des analyses et des données sont en hausse : Par exemple,
• Permet une extraction de données l’IDC prédit que « la quantité d’informations gérées par les centres
haute performance par lots et en de données des entreprises sera multipliée par 50 »1 au cours des dix
temps réel, la transformation de ces prochaines années. Au même moment, de nouvelles exigences en
données et leur chargement. matière de gouvernance des informations et d’exploration des données
renforcent le rôle de l’analyse et de la livraison de solutions dans les
• Fournit une évolutivité intégrée
pour garantir la pérennité de votre services informatiques.
architecture.
Par conséquent, les besoins en intégration de données et les exigences
• Permet aux développeurs d’être plus en matière d’accords de niveau de service (SLA) de votre entreprise
efficaces et plus productifs à travers pour l’obtention d’informations et la livraison de projet à temps mettent
l’automatisation et la réutilisation de
tâches communes de développement
un accent particulier sur l’infrastructure existante, ce qui augmente
considérablement les coûts tandis que les services informatiques essaient
de s’adapter à la vitesse des déploiements de projets et à la croissance
démesurée des données. La collaboration et la réutilisation sont
essentielles durant ces cycles d’hyper-développement pour garder le
contrôle des coûts et préserver la qualité de la solution.
IBM® InfoSphere® DataStage® a satisfait aux exigences prévues en
2001 en ajoutant un moteur de traitement haute performance en
parallèle unique, annexé à un référentiel intégré unique pour une
intégration optimale et une collaboration entre les membres de l’équipe.
L’association de l’environnement de conception graphique « build as
you think » (conception libre) au moteur parallèle permet de concentrer
l’évolutivité et la vitesse sur l’automatisation de fonctions communes
pour tous les développeurs. Durant les dix dernières années, des milliers
de clients ont profité des fonctions avancées pour répondre à leurs
exigences de traitement en matière d’intégration de données.
2. Logiciel IBM Fiche technique
Plusieurs avantages significatifs ont convaincu ces clients
d’effectuer une mise à niveau d’InfoSphere DataStage Server Qu’est-ce qu’InfoSphere DataStage ?
vers la technologie parallèle et automatisée d’InfoSphere InfoSphere DataStage est le produit phare d’IBM en matière
DataStage. Le moteur parallèle puissant et leader sur le marché d’intégration de données. Il permet une extraction de données
fournit une évolutivité intégrée pour garantir la pérennité haute performance par lots et en temps réel, la transformation
de votre architecture via une approche « design-once-and- de ces données et leur chargement en parallèle entre plusieurs
sources et cibles grâce à des fonctions automatisées de
deploy-anywhere » (une conception unique déployée partout) développement. La version actuelle est InfoSphere DataStage 8.7.
(voir Figure 1). En outre, les nouvelles fonctions avancées
de transformation permettent aux développeurs d’être plus Qu’est-ce qu’InfoSphere DataStage Server ?
efficaces et plus productifs à travers l’automatisation et la InfoSphere DataStage Server est le produit IBM original d’extraction,
réutilisation de tâches communes de développement. de transformation et de chargement (ETL). Il effectue une extraction,
une transformation et un chargement de données à travers un
environnement de conception graphique simple.
Pourquoi effectuer une mise à niveau d’InfoSphere DataStage
Design logic once Server vers InfoSphere DataStage 8.7 ?
Les fonctions automatisées de traitement en parallèle d’InfoSphere
DataStage 8.7 garantissent la pérennité de l’architecture de votre
entreprise. Par conséquent, à mesure que vos volumes de données
augmentent, votre environnement d’intégration de données peut
satisfaire continuellement ces besoins. Il fournit plusieurs fonctions
qui améliorent considérablement la productivité des développeurs et
offrent des niveaux d’automatisation plus élevés par rapport à son
prédécesseur, InfoSphere DataStage Server. En outre, InfoSphere
DataStage contient une variété d’étapes, de fonctions et de modules
complémentaires qui ne sont pas disponibles dans InfoSphere
DataStage Server.
Comment la mise à niveau vers InfoSphere DataStage 8.7
permet-elle à votre entreprise de gagner du temps et de
Run and scale anywhere l’argent ?
Premièrement, votre architecture s’adapte de manière plus efficace
dans la mesure où vous pouvez profiter pleinement des fonctions
de votre matériel, y compris des configurations haute disponibilité
permettant de garantir un temps d’exécution optimal lorsque le
matériel principal tombe en panne. Deuxièmement, le traitement de
plus de données en un temps réduit permet à votre organisation de
rester conforme aux accords de niveau de service (SLA) et aux autres
accords basés sur la performance. Troisièmement, la fonctionnalité
améliorée fournit des options standardisées et configurables pour
plusieurs problèmes complexes d’intégration de données, ce qui
permet aux développeurs de respecter les délais des projets et de
limiter les dépassements budgétaires dus à un codage personnalisé.
Enfin, InfoSphere DataStage fonctionne de façon intuitive avec les
Figure 1 : InfoSphere DataStage 8.7 prend en charge une exécution flexible autres composants IBM InfoSphere Information Server et offre
et évolutive allant de la couche de connectivité à l’adaptation à de gros aux clients des fonctions complètes pour accélérer la collecte des
volumes de données, en passant par toutes les tâches de transformation, ce exigences et la conception de leurs travaux, surveiller et gérer la
qui permet de réduire les intervalles de traitement par lots et la configuration qualité des données et bien plus encore.
matérielle requise.
2
3. Logiciel IBM Fiche technique
Amélioration de la productivité des
développeurs
InfoSphere DataStage 8.7 offre des fonctions non disponibles « Mes clients ont découvert que les
dans InfoSphere DataStage Server, qui améliorent la
productivité des développeurs et accélèrent les temps de
nouveaux produits et fonctions associés à la
réalisation pour les initiatives centrées sur l’information. Ces version 8.5 avaient beaucoup à offrir. J’ai
fonctions clés incluent les éléments suivants :
effectué une mise à niveau vers la version
• Étapes avancées pour les exigences d’intégration de 8 pour de nombreux clients, afin qu’ils
données complexes
- Étape de dimension à évolution lente puissent migrer d’InfoSphere DataStage
- Étape d’axe vertical Server vers InfoSphere DataStage Parallel
- Étape de gestion de clé de substitution améliorée
- Recherche de gamme pour la validation de données et sa gamme de produits. Les développeurs
- Étape de somme de contrôle
- Étapes de traitement de baies
ont facilement adopté les nouvelles
• Améliorations de l’étape de transformation techniques de développement parallèle au
- Fonction de boucles et de mise en cache pour une
logique personnalisée de traitement à lignes multiples bout de quelques jours de formation et ont
- Utilitaires robustes pour de fonctions mathématiques de rapidement fourni une performance 5 à 10
date/ heure et de chaîne
• Fonctions de débogage de pointe fois supérieure sur des projets stratégiques. »
- Débogueur interactif prenant en charge les
environnements SMP, MPP et de grille qui s’exécutent à – Andy Sorrell, Consultant indépendant
différents degrés de parallélisme
- Exemple de génération de données
- Échantillonnage des données en amont et en aval du flux
de données Mise à disposition d’une connectivité
- Production dirigée de données passant par un lien vers
le journal des travaux
avancée avec une performance supérieure
• Composants extensibles qui permettent aux scripts, aux InfoSphere DataStage 8.7 offre une connectivité avancée conçue
routines et autres codes existants d’être réutilisés et pour une performance et une exploitation améliorées du nouveau
déployés en parallèle matériel par rapport aux options précédentes disponibles dans
• Cinq méthodes puissantes d’assemblage de données : InfoSphere DataStage Server. Par exemple :
Assembler, Fusionner, Acheminer, Consultation de
base de données et Consultation en mémoire (égalité et Des chargeurs natifs partitionnés et des lecteurs pour les
gamme), toutes prenant en charge un traitement à travers systèmes de gestion de base de données (DBMS) comme IBM
plusieurs partitions DB2®, IBM Netezza®, Oracle et Teradata.
• Un échange d’informations avec d’importantes sources de
données telles que Hadoop Distributed File System.
• Des connecteurs pour sources analytiques telles
qu’Hyperion et SAS.
3
4. Logiciel IBM Fiche technique
• Des fonctions d’automatisation complètes pour les
systèmes d’intégration des applications d’entreprise Que deviennent mes anciens travaux InfoSphere
comme SAP, PeopleSoft, salesforce.com, etc. DataStage Server ?
• Des connecteurs intégrés avec d’autres solutions IBM, y InfoSphere DataStage 8.7 prend en charge les travaux InfoSphere
compris CDC (Change Data Capture) pour les sources DataStage Server dans la même installation. Ainsi, vous pouvez
de données basées sur des journaux. introduire des fonctions parallèles à vos exigences de traitement
• Des étapes des transactions distribuées avec une livraison les plus difficiles à satisfaire, sans avoir à remplacer complètement
en temps réel garantie à partir des sources MQ ou CDC votre environnement. En outre, InfoSphere DataStage 8.7 prend en
vers différentes cibles DBMS via une validation en deux charge des fonctions de compatibilité telles que les étapes liées
phases. au connecteur de base de données pour vos travaux InfoSphere
DataStage Server déjà existants. Une migration immédiate vous
Prise en charge étendue pour les fichiers plats multi-formats, permet de profiter de toutes les améliorations de fonctionnalités
lecture de fichiers en parallèle, étape de fichier IBM z/OS® et InfoSphere DataStage actuelles et à venir.
étape d’entreprise iWay.
Adaptation simple aux charges de travail Gestion de l’automatisation et
les plus exigeantes optimisation
Le puissant moteur parallèle d’InfoSphere DataStage permet InfoSphere DataStage 8.7 offre plusieurs fonctions pour
d’augmenter le débit de données et de réduire le temps de optimiser et gérer de manière proactive les processus
traitement par lots. d’intégration de données et pour s’assurer que les systèmes
s’exécutent de façon optimale à tout moment. Les points clés
• Le parallélisme est contrôlé au moment de l’exécution, et sont les suivants :
non pendant la conception, pour minimiser la complexité
opérationnelle et du développement. • La console des opérations, qui fournit un tableau de
• L’utilisation de jeux de données parallèles est conçue pour bord basé sur le Web et des vues détaillées du temps
éviter les tables temporaires inefficaces et les fichiers d’exécution du travail associé et des statistiques relatives
séquentiels pour le stockage. aux ressources des machines
• L’évolutivité linéaire signifie que les entreprises peuvent • Analyse automatisée des performances de travail
profiter du nouveau matériel au fur et à mesure que les • Estimation des ressources qui façonne les exigences de
exigences d’entreprise évoluent. machines à mesure que les travaux évoluent
• Une amélioration significative de la performance est • Fonctions d’optimisation du temps d’exécution qui
incluse pour les tris de données, les jointures et les collectes maximisent le débit des travaux
utilisant des fonctions parallèles. • IBM Support Assistant (ISA) Lite fournit une analyse du
• Une augmentation de la capacité de calcul et de la flexibilité fonctionnement système pour s’assurer que la machine
à moindre coût dans un environnement de grille avec des s’exécute de façon optimale
options de configuration disponibles via IBM.
Appariement et nettoyage de données
avec InfoSphere QualityStage
« Nous avons récemment effectué une mise IBM InfoSphere QualityStage® est le moteur de
à niveau et nous constatons une énorme standardisation, de nettoyage et d’appariement probabiliste
d’IBM leader du marché.
amélioration de la performance. Nos
processus ETL s’exécutent deux à quatre fois InfoSphere QualityStage est un module complémentaire
pour InfoSphere DataStage qui partage la même interface
plus vite, sans aucun réglage. » utilisateur, la même conception d’intégration de données,
ainsi que le même paradigme d’exécution en parallèle pour
une adoption et un déploiement simplifiés. Il offre les
– Client de détail, Chef de projet
fonctions suivantes :
4
5. Logiciel IBM Fiche technique
• Examen de données et traitement d’analyse complets pour • Un cadre commun des règles permet d’évaluer, d’analyser
toute sorte de données en format libre et de résoudre plusieurs problèmes de données en fonction
• Un ensemble unique de règles de standardisation, de des enregistrements plutôt que de manière isolée.
nettoyage, d’appariement et de survie pour vos principales • Les règles peuvent être exécutées directement par rapport
entités métier comme des étapes de la toile Designer à une source d’information, via l’interface utilisateur
• Un moteur d’appariement qui utilise la technologie InfoSphere Information Analyzer, ou dans le cadre d’un
probabiliste pour atteindre des taux d’appariement plus travail InfoSphere DataStage pour une validation des
élevés données en vol sur la toile Designer.
• Une capacité d’exécution par lots, en temps réel ou comme
service Web
• Des fonctions d’enrichissement et de vérification de
la standardisation mondiale des adresses, y compris de Prise en charge supplémentaire de modules complémentaires
multiples modules de certification postale disponible uniquement avec InfoSphere DataStage 8.7
• Une prise en charge de la création et la maintenance de
Il existe plusieurs autres modules conçus pour fonctionner
données maîtresses de haute qualité pour les initiatives spécifiquement avec InfoSphere DataStage 8.7 :
d’entreprise, y compris une vue unique du client, du
fournisseur, du produit, de l’emplacement, etc. • Une optimisation équilibrée ajoute un support ELT complexe
• Utilisation comme composant fondamental des pour une utilisation des ressources de bases de données et des
programmes de gestion de la qualité des données et des transformations orientées base de données efficaces.
initiatives de gouvernance des données • InfoSphere DataStage Pack for Data Masking protège les
informations personnelles identifiables (PII) à travers un
Règles de données intégrées avec obscurcissement spécifique à la classe de données (par exemple,
des algorithmes différents pour les numéros de sécurité sociale,
InfoSphere Information Analyzer les numéros de téléphone, les noms, etc.).
InfoSphere DataStage est également totalement intégré • IBM InfoSphere FastTrack prend en charge la création de
avec le moteur de profilage et de validation de données IBM spécifications de mappage et les transforme directement en
InfoSphere Information Analyzer. travaux d’intégration de données InfoSphere DataStage, ou prend
en charge l’ingénierie inverse de travaux d’intégration de données
InfoSphere Information Analyzer aide les utilisateurs à parallèles et la création de documentation.
comprendre rapidement et facilement les données en
proposant une évaluation et un contrôle de la qualité des
données, ainsi que des fonctions flexibles de conception et
d’analyse de règles de données. Ces informations permettent Migration vers InfoSphere DataStage 8.7
aux utilisateurs de tirer davantage parti des données
d’entreprise et d’accélérer les projets centrés sur l’information. IBM vous permet de déterminer l’option la plus adaptée à
Les utilisateurs et les développeurs bénéficient des fonctions votre entreprise et de rendre votre mise à niveau aussi rapide et
suivantes : transparente que possible.
• Un partage de métadonnées des résultats de profilage de Contactez votre représentant pour plus d’informations sur
données est disponible sur l’interface Designer pour aider la migration d’InfoSphere DataStage Server vers InfoSphere
les développeurs à comprendre les sources d’informations. DataStage 8.7.
5