SQL Saturday 510 Paris 2016 - Query Store session - final
Panorama de l'écosystème Microsoft Data Platform
1. SQLSaturday #251 – Paris 2013SQLSaturday #251 – Paris 2013
Panorama de l'écosystème
Microsoft Data Platform
Philippe Geiger, Neos-SDI
Patrick Guimonet, Abalon
3. SQLSaturday #251 – Paris 2013
Philippe
GEIGER
Blog
www.pgeiger.net
Courriel
pgeiger@pgeiger.net
Data Platform Solution
Consultant
Accompagnement technique
• Exploitation et administration
• Développement
• Business Intelligence
Formateur
Certifications
Infrastructure
Décisionnel & CRM
Application
Collaboratif
ERP
4. SQLSaturday #251 – Paris 2013
Domaines d’intervention
Patrick
GUIMONET
Blog
blogs.developpeur.org/patricg
Twitter
patricg
Fondateur et Dirigeant
Abalon
Architecte de Solutions
d’Entreprise
MVP SharePoint
Organisateur de la
Conf’SharePoint
MVP SharePoint
5. SQLSaturday #251 – Paris 2013
Les tendances de l’industrie
Levolume des donnéesnumériquesva croître44xdans les 10 ans à venir
EXPLOSION
DESDONNÉES
CONSUMÉRISATION
DEL’IT
CLOUDPRIVÉ&
PUBLIC
6. SQLSaturday #251 – Paris 2013
Explosion des données
Non-structurées
Structurées
“Le volume mondial
d’informations croît au
minimum de 59% par
an…
70 à 85% des données
sont de types complexes
et mixtes¹”
Le Gartner estime que 85% des données
sont non-structurées¹
¹Source: “The End of the Database as We Know It – noDISK, noSQL, Cloudy”, Donald Feinberg, Gartner IT Symposium, October 2010
7. SQLSaturday #251 – Paris 2013
Invitation à un voyage au cœur de la donnée
Donner du sens aux données
Localiser, extraire et analyser des données dans le
but de soutenir une meilleure prise de décision
Surveiller et améliorer les performances de l’entreprise
Fournir des informations précieuses pour les tendances
démographiques des clients
Identifier les poches d’opportunités
Directement réaliser l’essentiel grâce à l’analyse de
données
Business Intelligence (BI)
8. SQLSaturday #251 – Paris 2013
BI À LA DEMANDE
Panorama de l'écosystème Microsoft Data Platform
9. SQLSaturday #251 – Paris 2013
Microsoft Office Excel
Tous les utilisateurs
avancés connaissent
Excel
Collecter, analyser des
données rapidement
dans un environnement
confortable.
Intégrer, calculer et
explorer les données
rapidement.
Accéder à votre
plateforme d’entreprise
pour une donnée toujours
plus fiable
10. SQLSaturday #251 – Paris 2013
Power BI
Composant Ancien nom Description
Power Query Nom de code "Data
Explorer"
Un complément pour Excel capable de rechercher des données, aussi bien public qu’au
sein de l’entreprise
Power Pivot PowerPivot Un complément pour Excel capable de modéliser et de préparer des tables de données
dans l’objectif la visualisation des données
Power View — Une fonctionnalité d’Excel et un complément de SharePoint pour créer des visualisations
de données
Power Map Nom de code
"GeoFlow"
Un complément d’Excel capable de créer des visualisations 3D utilisant des données
géographiques ou temporelles
Q&A — Une fonctionnalité d’Office 365 permettant aux utilisateurs d’interroger les données en
utilisant le langage naturel
Power BI
Sites
— Une fonctionnalité d’Office 365 proposant un portail pour partager des classeurs et des
sources de données
Data
Management
Gateway
— Une nouvelle application installée sur les serveurs de l’entreprise permettant aux IT pros
de publier les données vers les Power BI Sites, afin permettre aux utilisateurs de profiter
de ces données
Mobile BI — Application mobile pour tablettes sous Windows 8, Windows 8 RT et IOS pour la
visualisation des données utilisant la technologie HTML 5
12. SQLSaturday #251 – Paris 2013
L’équipe
La Division
L’ Enterprise
Extranet
Site
Internet
L’individu
Une solution Web prévue pour tous les
usages
Employés
Clients
Partenaires
Une solution unifiée prête à l’emploi :
• Partage de connaissance
• Contrôle et mutualisation de contenu
• Prise de décision rapide
13. SQLSaturday #251 – Paris 2013
Périmètre fonctionnel
SharePoint 2013
SitesSites
Personnes
RSE
Communautés
Processus
ECM
Contenus externes (BCS)
Workflows
, Formulaires
Chiffres
Excel Services
Performance Point
Power View
Power Pivot
Visio Services
Site de
publication
Site
d’équipe
My
Site
Centre
décision-
nel
Site de
processus
Centre de
recherche
Site
s
Pages
Web
WCM
Portail
Intranet
Extranet
Internet
Documents
GED
Métadonnées
Collaborer &
Participer
Accéder en
mobilité
Rechercher
15. SQLSaturday #251 – Paris 2013
BI D’ENTREPRISE
Panorama de l'écosystème Microsoft Data Platform
16. SQLSaturday #251 – Paris 2013
Solution BI d’entreprise
LES OUTILS DE PRODUCTIVITÉ
& COLLABORATION LES
PLUS ADOPTÉS DU MARCHÉ
DATA
FEEDS
LOB
APPS
SAP ORACLE
17. SQLSaturday #251 – Paris 2013
Solution BI d’entreprise
Gestion de
l’information
d’entreprise
Analyse
Exploration
et
visualisation
Les nouveautés
Fournir des données
crédibles et cohérentes
Les nouveautés
Décisionnel en libre-service, évolutif et géré
Un modèle unique de BI sémantique (BISM)
Analyse performante « en mémoire » xVelocity
Les nouveautés
Amélioration de Power Pivot
et de Power View
18. SQLSaturday #251 – Paris 2013
Fournir des données crédibles et cohérentes
Intégrer
NettoyerGérer
DATA QUALITY SERVICES
Gestion par bases de connaissance
A utiliser seul ou avec SSIS
MASTER DATA SERVICES
Add-ins Excel pour gérer les
données
Rapide et facile d’utilisation
INTEGRATION SERVICES
Déploiement et gestion plus aisés
Amélioration des outils de création
19. SQLSaturday #251 – Paris 2013
SQL Server Integration Services (SSIS)
SSIS est une plateforme
pour les opérations ETL
ETL (extract, transform
and load) : Le processus
pour collecter et nettoyer
les données depuis de
nombreuses sources
20. SQLSaturday #251 – Paris 2013
Master Data Services (MDS)
CRM
Marketing SystemOrder Processing System
Customer ID Name Address Phone
1235 Ben Smith 1 High St, Seattle 555 12345
Account No Customer Address Phone
531 Benjamin Smith 1 High St, Seattle 555 12345
Contact No Name Address Phone
22 B Smith 5 Main St, Seattle 555 54321
Customer ID Account No Contact No Customer Address Phone
1235 531 22 Ben Smith 1 High St, Seattle 555 12345Master Data Hub
Master Data Services
Other consumers
(e.g. Data Warehouse ETL)
Gestionnaire de données
21. SQLSaturday #251 – Paris 2013
De la qualité des données
Le décisionnel nécessite
d’utiliser des données en
toute confiance
Les problèmes de qualité de
données peuvent se
propager dans l’entrepôt de
données :
o Valeurs invalides
o Données manquantes
o Incohérences
o Données en double
?
!
! !
22. SQLSaturday #251 – Paris 2013
SQL Server Analysis Services (SSAS)
Base multidimensionnelle
Appelé également OLAP (on-line analytical processing)
Typologie de stockage
MOLAP : Multi-dimensional OLAP
Gère les structures multidimensionnelles notamment les cubes.
Délivre les meilleures performances.
Représente les données sous la forme d'un croisement de n dimensions
23. SQLSaturday #251 – Paris 2013
BI Semantic Model
• Les utilisateurs peuvent se connecter sans
connaître la structure des données sous-jacente
• Le choix du modèle de données dépend des
besoins et des contraintes
Modèle de données
Logique métier et
requêtes
Accès aux données
Multidimensionnel
MDX
Tabulaire
DAX
xVelocity
Direct
Query
ROLAP MOLAP
BI SEMANTIC MODEL
Power View Excel Power Pivot
Applications
tierces
SharePoint
24. SQLSaturday #251 – Paris 2013
Scénarios
1. Distribution planifiée de rapport
2. Accès à des rapports à la demande
3. Rapports incorporés dans d’autres solutions et tableaux
de bord
4. Demande à l’IT de rapports personnalisés
5. Création de rapport à la demande
1
2 4
5
3
26. SQLSaturday #251 – Paris 2013
Cas d’usages de SharePoint en entreprise
2 2
27. SQLSaturday #251 – Paris 2013
Les différents acteurs d’une solution
SharePoint
Développeurs
Designers Web
Administrateurs
Gestionnaires
de contenu
Utilisateurs
28. SQLSaturday #251 – Paris 2013
DÉMONSTRATION
Visualisation dans SharePoint
29. SQLSaturday #251 – Paris 2013
Big Data
Volume : le jeu de données ne tient pas sur une seule machine
Variété : des formats différents, des options différentes pour l’interprétation
des données
Vélocité : un grand nombre de données très rapidement (streaming)
Critère
Hadoop
&
Hive
Moteurs
de requêtage BI
Récupérer et stocker toutes les données Oui Non
Support des requêtes sur les données de détail Oui Non
Support des requêtes interactives et depuis
des applications
Non Oui
Support des outils de BI et de visualisation Non Oui
31. SQLSaturday #251 – Paris 2013
SQL SERVER 2012, TOUT EST
DANS LA BOÎTE
Panorama de l'écosystème Microsoft Data Platform
32. SQLSaturday #251 – Paris 2013
Microsoft SQL Server
Forrester Wave
2011 Enterprise
Data Warehousing
Platforms
Magic Quadrant
2011 Business
Intelligence
33. SQLSaturday #251 – Paris 2013
AlwaysOn Reliable Secondaries
FileTable
ColumnStore Index
15k Partitions
SQL Server Data Tools
Power View
BI Semantic Model
Data Quality Services
Full-Text Search Performance
Distributed Replay
Reporting Alerts
ODBC Driver for Linux
Statistical Semantic SearchWindows Server Core Support
Multiple Secondaries
Availability Groups
Default Scheme for Windows Groups
T-SQL Enhancements
Full Globe Spatial
SSMS to Windows Azure Platform
Power Pivot Enhancements
Master Data Management Excel Add-in
PowerShell 2.0 Support
PHP & Java Connectivity
SQL Audit for All Editions
CDC Support for SSIS
New SSIS Design Surface
Online Operation Enhancements
Multi-site Clustering
Unstructured Data Performance
Resource Governor Enhancements
Database Recovery Advisor
HA for StreamInsight
Flexible Failover Policy
Extended Events Enhancements
Contained Database Authentication
SharePoint Active Directory Support
SQL Server Express LocalDB
User-defined Audit
Audit Filtering
Audit Resilience
FTS Support for Czech and Greek
AlwaysOn Connection Director
Ad Hoc Reporting
SSIS Troubleshooting
SSIS Package Management
T-SQL Debugger Enhancements
Spatial 2D Support
Unstructured Data Performance
34. SQLSaturday #251 – Paris 2013
SQL Server : Sécurité
“NIST Statistics Show
SQL Server Records
the Least Number of
Reported Security
Vulnerabilities of Any
Database Platform”
Sources : ITC,
SQL Server 2008 R2 and
Windows Server 2008 R2
Deliver
Industry-Leading Security, janvier
2010
36. SQLSaturday #251 – Paris 2013
SharePoint, une architecture évolutive
< 10 000 utilisateurs< 1 000 utilisateurs
< 100
utilisateurs
Serveurs
frontaux
Serveurs
Bases de
données
Serveurs
batch (ou
d’applications)
Bases de
recherche
Requêtes
(Query)
Parcours
(Crawl)
+ de 10 000 utilisateurs, avec serveurs de recherche dédiés
Cache distribué
Serveurs dédiés à
une tâche
Serveurs
batch (ou
d’applications)
Serveurs
frontaux
37. SQLSaturday #251 – Paris 2013
L’informatique en nuage
Privé Hybride Public Commu--
nautaire
Accès
universel
IaaS SaaSPaaS
Libre service Elasticité
Service
mesuré
Ressources mutualisées
38. SQLSaturday #251 – Paris 2013
Du côté du Cloud
Hébergement des bases de données
Windows Azure SQL Database
SQL Server dans Windows Azure Virtual Machine
Windows Azure Data Sync
Windows Azure Reporting Services
Windows Azure Marketplace DataMarket
Bases de données dans le Cloud comme
sources de données
Office 365 pour SharePoint
39. SQLSaturday #251 – Paris 2013
BI d’entreprise vs BI à la demande
Environnement
totalement managé
Environnement
à la demande
D’entreprise A la demande
Gestion d'information
d'entreprise
Integration Services
Master Data Services
Data Quality Services
Power Query
Modèle sémantique de
BI
Analysis Services Power Pivot
Exploration et
visualisation
Reporting Services
SharePoint
PerformancePoint
Power Pivot
Power View
Power Map
Report Builder
Décisionnel
d’entreprise
Décisionnel
à la
demande
40. SQLSaturday #251 – Paris 2013
QUESTIONS/RÉPONSES
Panorama de l'écosystème Microsoft Data Platform
Notes de l'éditeur
Data ExplosionAll devicesRéseaux sociaux1,2 Millions of zétabytes10 ans : 44 fois de données et les IT pro (1,4x)Sources IDC
Microsoft BI consists of a set of products that provide a complete and end-to-end set of BI capabilities. This can be simplified into three key areas:The first is about connectivity. It is important to recognize that Microsoft BI sits and works on a heterogeneous stack, it is not just about SQL Server or Oracle data sources, but about working with a wide array of data sources both structured, unstructured, internal and external.The second is a set of Enterprise Information Management (EIM) and BI Platform services like Analysis Services, Reporting Services, Integration Services, Master Data Services etc.… and SQL Server is considered the most widely deployed platform (40% unit share) for these platform services. The third is about tools that the end users use whether it is Excel Workbooks or Power Pivot Solutions or SharePoint Dashboards or Scorecards. These capabilities are delivered through the productivity and collaboration tools that customers are most familiar with and in most cases already have an use which is Office and SharePoint.So the simplified view of what is Microsoft BI boils down to the capabilities that you see on the left hand side and the products that deliver these capabilities on the right hand side.
SQL Server est déjà reconnue comme la plateforme la plus performante en termes de Business Intelligence par le marché. SQL Server 2012 offre encore un niveau d’expertise supplémentaire avec de nouveaux outils puissants pour permettre à toutes les entreprises de prendre les bonnes décisions plus rapidement.Microsoft souhaite que chaque personne de l’entreprise puisse avoir accès à des outils pour visualiser ses données, tout en assurant la qualité des données avec de nouveaux outils comme Data Quality Services qui, ajouté à SQL Server Intégration Services et à la gestion des données de référence avec Master Data Services, permettent de gérer la donnée pendant tout son cycle de vie afin de garantir son exactitude.SQL Server est constitué de 4 briques majeures pour la Business Intelligence : SQL Server Integration Services (SSIS)SQL Server Analysis Services (SSAS)SQL Server Reporting Services (SSRS)Outils Enterprise Information Management (EIM)
Enterprise Information Management (EIM) is an evolution of a practice that began when the first data warehouses and BI systems were created. As soon as data got out of it’s original silo, it became important for someone to know where it came from, what had been done to it, etc. And as time went on, we found more things to do with data, especially in the area of data quality. Today how we think about data has changed, and so have the expectations of how we will manage it. SQL Server provides a full suite of tools for all EIM needs. Data Quality Services help you improve data quality by using organizational knowledge and 3rd party reference data providers to reliably profile, cleanse, and match data. New tools in Integration Services (SSIS) help to reduce time-to-solution for data integration across data sources with integrated deployment and management, and an improved UI. A new MDS Add-in for Excel in Master Data Services (MDS) makes it easy for end users to manage and maintain data.
ETL stands for extract, transform, and load. It is the often complex process of collecting and cleaning data from heterogeneous sources and loading it into a destination, such as a data warehouse. To support these operations, Integration Services uses a control flow engine to manage the workflow and a data flow engine to manage the data flow pipeline.Expanding on previous versions, SQL Server 2008 Integration Services adds the following features:The ability to better scale to multiple processorsBetter data integration toolsThe use of C# and Visual Basic to script tasksADO.NET capability for data connectionsAn improved SQL Server Import and Export Wizard.
Master Data Services (MDS) continue de simplifier la gestion des structures des données maître (mappage d'objets, données de référence, dimensions et hiérarchies) utilisées dans les opérations d'intégration de données. La nouvelle fonction « EntityBasedStaging » permet de charger tous les membres et toutes les valeurs d'attributs d'une entité en une seule opération. De plus, les interfaces « Explorer » et « Integration Management » de l'application web « Master Data Manager » ont été réécrites en Silverlight®. Non seulement l'ajout et la suppression de membres sont plus rapides, mais les déplacements de membres dans une hiérarchie sont plus faciles. De plus, le nouveau complément MDS pour Excel démocratise la gestion de données en autorisant les utilisateurs à créer des applications de gestion de données directement dans Excel. Il permet d'extraire un ensemble de données filtré de la base de données MDS, de modifier les données dans Excel, puis d'enregistrer les données modifiées dans la base de données MDS. Les administrateurs peuvent aussi se servir de ce complément pour créer de nouveaux attributs et de nouvelles entités.
Compatibilité avec des technologies de traitement analytique en ligne hautes performances qui font de SQL Server Analysis Services un outil indispensable pour les spécialistes du décisionnelMise à disposition d'outils pour les développeurs et informaticiens habitués à traiter des données en lignes et en colonnesPrise en charge d'un large éventail de solutions décisionnelles personnelles, d'équipe et d'entreprise
4ième business de Microsoft23 ans d’existence7 éditions10 business logiciel dans le mondeLa base de données la plus vendue dans le mondeEn 23 ans, nous avons parcouru beaucoup de chemin, nous avons commencé humblement, persevérés,Plus de 11 millions de licences venduesPlus que IBM et Oracle réunisParts de Marché RevenusEn 2011 l’IDC nous crédite de la seconde position devant IBM (Source IDC: WW RDBMS 2009 Vendor Analysis – Mars 2010)