Les volumes de données numériques à administrer explosent et peuvent échapper à une prioritisation d'archivage. Comment les identifier ? C'est l'objet de ce café techno qui vous permettra d'identifier les différents types de données, de supprimer les données inutiles et de réduire celles qui sont mal qualifiées ou oubliées. Comment les gérer ? Grâce à la gamme Spectrum Storage, comprenant Spectrum Protect, et leurs solutions pour lutter contre ce phénomène.

1. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Affronter et gérer la masse
de données hétérogènes
avec Spectrum Protect
Café-Techno du 31/03/2016
Marie-Christine Gamet
mcg@d-fi.fr
1

2. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Sommaire
Spectrum Protect 7.1.5
Licence Spectrum Suite
Gérer la croissance des données
2Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

3. Nouveautés de Spectrum Protect 7.1.5
7.1.5 available 3/11/2016 7.1.4.x available in near future
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect
SERVER 7.1.5
Creating and Managing IBM Cleversafe backed storage pools
Enable, Disable and Visualize Server-side Compression for Container pools
Cross platform server migration specifically for AIX to xLinux migration
PROTECT STGPOOL enhanced in to replace damaged extents on target
servers
OC 7.1.5
Creating and Managing IBM Cleversafe backed storage pools
Enable, Disable and Visualize Server-side Compression for Container pools
CLIENT 7.1.4.x
pLinux LE Ubuntu support
Red Hat Enterprise Linux 7.2 support
SUSE Linux Enterprise Server 12.1 support
SPACE MANAGEMENT 7.1.4.x
IBM Spectrum Scale™ 4.2 support
Red Hat Enterprise Linux 7.2 support
SUSE Linux Enterprise Server 12.1 support
VE 7.1.4.x
vmdatastorethreshold option
Snapshot 4.1.4
Providing hardware-based snapshot protection for Oracle 12c single-
tenant databases
GPFS file system snapshots with offload
Dynamic target adaptor
Support for Red Hat Enterprise Linux 7 and SUSE Linux Enterprise
Server 12
Snapshot 4.1.4.x
Support for Microsoft Exchange Server 2016
Version 7.1.4.000 supprimée
du site de téléchargement.

4. Ajout de la compression pour les Container Pools
In-line, server-side LZ4 compression for Container Pools (directory &
cloud)
 Increases the amount of available space in a container storage pool
 Does not require additional DB space
 New storage pool level option DEFINE/UPDATE STGPOOL … COMPression=Yes|No
> Defaults to YES when defining new container pool
 Server containers support LZ4 compression
> LZ4 is a lossless data compression algorithm that is focused on compression and decompression speed
> LZ4 is preferred over the LZW compression currently used by the client
• Choose to use server compression over client compression
• HW real time compression should not be used
> When compression turned on, will only compress new data being stored in the container
 Data extents examined as they are ingested, IF not suitable for compression will not be compressed
> ie metadata extents, data previously encrypted or compressed, or if compression leads to a growing chunk
length
 Dedupe, then compression, then encryption
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

5. Compression et Replicate Node
Source Server Target Replication Server Action
Container stgpool
compression=yes
Container Stgpool compression=yes Data extents sent as they are
Container Stgpool compression=no Data extents sent as they are, because 7.1.5+
container can handle compressed or non-compressed
data
Any Stgpool <7.1.5 / non-container >=7.1.5 Inline compressed data extents will be decompressed
on source; non-compressed extents sent as they are
Container stgpool
compression=no
Container Stgpool compression=yes Data extents are compressed inline on Target
Container Stgpool compression=no Data extents sent as they are
Any Stgpool <7.1.5 / non-container >=7.1.5 Inline compressed data extents will be decompressed
on source; non-compressed extents sent as they are
Container stgpool
<7.1.5
Container stgpool compression=yes Data extents are compressed inline on Target
Any stgpool <7.1.5 Container stgpool compression=yes Data extents are compressed inline on Target
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect
Replicate Node & Protect STGPOOL

6. Server-side Compression for Container Pools
 Comprestimator is available for all server platforms
> https://www-304.ibm.com/webapp/set2/sas/f/comprestimator/home.html
 Predicts compression results by reading at the volume level from a client system and sampling
ranges from within the volume
 Lab results shows Spectrum Protect actual results coming in almost 15% higher than the
comprestimator estimate
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

7. Cleversafe
 Solution logicielle de « Stockage Objet »
Comment bâtir un système de stockage fiable
pour 1 pétaoctet de données utiles?
RAID 6 + Réplication Cleversafe®
1 PO
3.6 PO
900
3.6x
3.6x
3 Equiv. Temps Plein (ETP)
Réplication/sauvegarde
Stockage utile
Stockage brut
Disques 4TB
Racks requis
Espace au sol
Ressources Ops
Logiciel à ajouter
$
70% +
Gains de TCO
Original
1.20 PO Brut
Miroir sur site
1.20 PO Brut
Copie distante
1.20 PO Brut
1 PO
1.7 PO
432
1.7x
1.7x
0.5 ETP
Aucun
567 TO Brut 567 TO Brut567 TO Brut
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

8. Cleversafe backed storage pools
Cleversafe can be a cloud container
for Spectrum Protect
define stg cloudpool stgtype=cloud cloudtype=s3
cloudurl=http://9.11.60.241 id=cleverapiID
pa=secretapikey
 Uses Amazon S3 protocol to access Cleversafe
> On-premises S3 support currently only for Cleversafe
> Instead of lots of smaller containers like in Swift,
it will use fewer big buckets (all under the cover)
 cloudurl is the Cleversafe accessor
 ID & PA are the API key & API passwords
> Setup a vault template in the Cleversafe UI
• SecureSlice disabled
• Name Index disabled
• Recovery Index enabled
> NOT the admin ID & PW
> Must have Vault Provisioner Role
 Developed on on-premises appliance
> Can be used on hybrid and off-premises
> Performance will depend on location
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

9. Migration du serveur d’AIX à xLinux
 Previously no migration for AIX to xLinux Spectrum Protect Server
> Database backup & restore failed due to endianness: pSeries is big-endian, Intel x86_64 is little-endian
> Export/import or node replication is not practical because of the large volumes of data involved
> SSAM servers using Centera have data locked in & *cannot* be moved using export/import or node
replication
 Now can migrate IBM Spectrum Protect 7.1.5+ server db from AIX to xLinux
> Command line utilities must be used (extractdb/insertdb)
• V5 Upgrade Wizard cannot be used to perform this migration
• Migration does not move any server managed storage
> Supported versions
• Target server must be v7.1.5 or higher
• Source must be at the same level as the target
> Methods
• Network: db contents extracted from source and transmitted over network to target db
• Media: db contents extracted from source db and stored on tape or file media
> Initially supported paths will be AIX (Big-endian Unix) to Linux for x86_64 via
EXTRACTDB/INSERTDB
• Windows to Linux for x86_64 or Linux x86_64 to Windows is currently not supported
• Additional platforms might be added if there is sufficient demand
> See white paper “Migrating TSM Servers from one Operating System to another”
https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Tivoli%20Storage%20Manager/page/Migrating%20Ti
voli%20Storage%20Manager%20Servers%20from%20one%20Operating%20System%20to%20another
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

10. CLIENT – 7.1.4.x
pLinux LE Ubuntu support added
 pLinux LE for SLES 12 and RHEL 7 added in 7.1.4
Red Hat Enterprise Linux 7.2 support added
SUSE Linux Enterprise Server 12.1 support added
vmdatastorethreshold option, introduced on data mover
 It is not possible to predict how much space a snapshot will need
> Bad things happen when datastores fill-up!
> Ensure customers that backup snapshots won’t fill-up datastores to the point that they run out of space
> At least have a space threshold that has to be met before a snapshot is initiated for the backup process
> Establish policy that says: "in order for DP for VMware to take a backup, ensure my datastores are not
above 90% full"
 vmdatastorethreshold percent
> Each data mover’s option file: vmdatastorethreshold 90
> Command line: dsmc backup vm vm1 -vmdatastorethreshold=90
> Prevents out-of-space errors during VMware virtual machine backups
> Sets the threshold percentage of space usage for each VMware datastore of a virtual machine
> If the threshold is exceeded, the virtual machine is not backed up
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

11. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
En savoir plus…
 Spectrum Protect Technical Enablement Youtube Channels:
> https://www.youtube.com/c/SeanSperry
> https://www.youtube.com/user/TSMevangelist
> https://www.youtube.com/c/IBMSpectrumStorageEDU
> https://www.youtube.com/watch?v=ISWRrkY5RS8&feature=em-subs_digest
11Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

12. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Sommaire
Spectrum Protect 7.1.5
Licence Spectrum Suite
Gérer la croissance des données
12Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

13. FlashTous Storage
Cloud Privé, Publique
ou Hybride
Management basé sur l’analytique pour réduire les coûts
d’administration jusqu’à 50%
Protection des données pour réduire les coûts de sauvegarde
jusqu’à 38%
Rétention des données d’archivage en réduisant le TCO de 90%
Virtualisation d’environnements hétérogènes et stocker 5 fois
plus de données
Stockage de classe Enterprise déployé en quelques minutes
Stockage haute performance et hautement évolutif pour les
données non-structurées de type fichier
IBM Spectrum Storage
13

14. IBM Spectrum Storage Suite – Les produits inclus
IBM Spectrum Storage Suite V1.0
 IBM Spectrum Accelerate, Version 11.5.3
 IBM Spectrum Archive Enterprise Edition, Version 1.2 (Linux édition)
 IBM Spectrum Control Advanced Edition 5.2
 IBM Spectrum Protect Suite 7.1
 IBM Spectrum Scale Advanced and Standard Editions (Protocols) V4.2
 IBM Spectrum Virtualize Software for SAN Volume Controller, Version 7.6
 IBM Spectrum Virtualize Software for SAN Volume Controller, Version 7.6 - Real-time
Compression
 IBM Spectrum Virtualize Software for SAN Volume Controller, Version 7.6 - Encryption
Software
14Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

15. Spectrum Storage Suite – Modèle de licence
15
Storage Rich
Servers
200TB
SAN Storage
650TB
Sauvegarde
2000TB
Stockage classique
des données
IBM ou non IBM
Nouveaux modes
de stockage
Espace cible des
sauvegarde disque/bande
IBM Spectrum Storage Suite gère l’ensemble de ces espaces de stockage.
La somme des capacités utiles gérées définit la licence Spectrum Storage Suite
650+200+2000 = 2 850TB de Spectrum Storage Suite
La licence permet de déployer n’importe quelle combinaison de produits de la gamme Spectrum
Storage sur ces espaces de stockage
L’utilisation simultanée de plusieurs produits Spectrum Storage sur un même espace n’est
comptabilisé qu’une seule fois.
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

16. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Sommaire
Spectrum Protect 7.1.5
Licence Spectrum Suite
Gérer la croissance des données
16Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

17. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Présentation de l’étude
 Etude Commanditée par Veritas auprès du cabinet Vanson Bourne :
http://info.veritas.com/databerg_report
 Objectifs:
> Identifier comment les entreprises stockent et gèrent leurs données,
> Comprendre le cycle de vies des données en entreprise
> Identifier les comportement expliquant l’explosion des volumétries utilisées
 Périmètre:
> Interview de 1475 entreprises de 14 pays situés dans la zone EMEA
> 200 entreprises françaises
 Conclusions:
> Dans la majorité des entreprise, un DataBerg a pu être identifié
17Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

18. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Qu’est-ce qu’un DataBerg ?
 Business Critical Data
> Données possédant une valeur pour
l’entreprise,
> Données Vitales, nécessitant une
protection accrue
 Redundant, Obsolete and Trivial
(ROT Data)
> Sauvegardes « User Made » /
« copier/coller)
> Généralement inutiles en raison de leur
ancienneté
> Faible valeur pour l’entreprise
 Dark Data
> Données mal qualifiées ou oubliées
18Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

19. Retour d’expérience
Étude « Archivage » chez un de nos
Clients :
« Stockage de + en + important,
sauvegardes de plus en plus complexes à
réaliser »
 Données maitrisées : 22 To
> Inventaires des données métiers
> Identification des besoins en archivage
 Données en doublon, données
temporaires : 30 To
> Copies de données
> Résultats intermédiaires et brouillons
> Faible valeur pour l’entreprise
 Dark Data : 28 To
> Données mal qualifiées ou oubliées
> Quelques pépites !
19Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect
22 To
30 To
20 To données prof.
10 To données perso.
28 To

20. Faire face aux coûts du stockage
 1 € de stockage disque coûte 5 € par an :
> Amortissement, maintenance
> Énergie, Climatisation
> Exploitation et Administration
> Sauvegarde
> Migration / destruction
20
0
200
400
600
2015 2016 2017 2018 2019 2020
Progression des besoins en stockage
20 30 40
25%
17%
15%
15%
25%
3% Ammortissement
Maintenance
Infrastructure
Exploitation
Sauvegarde
Migration
 Le stockage des données ROT
> Coûte en moyenne 591 k€ / an aux entreprises de la zone EMEA
> A l’horizon 2020 l’ensemble de cette volumétrie coutera 784 Milliard d’Euros.
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

21. Archivage : Étymologie et terminologie
 Le mot « archives » vient du latin archivum, signifiant « armoire pour les actes », qui lui-même
vient du grec ancien ἀρχεῖον archeíon signifiant « bâtiment administratif, magistrature ».
 En termes juridiques, il existe 2 catégories d’archives :
> Les archives publiques sont les archives produites par les pouvoirs publics et par les
organismes chargés d'une mission de service public (établissements publics, organismes
consulaires, organismes de droit privé chargés d'une mission de service public, officiers
ministériels). Le régime de communication des archives publiques, c'est-à-dire le délai à partir
duquel elles peuvent être consultées, est fixé par la loi.
> En droit français, les archives privées sont toutes les archives qui ne revêtent pas le
caractère légal d'archives publiques ; on peut y rattacher ainsi les papiers de famille et les
documents personnels, les archives d'entreprise, associatives, politiques ou encore religieuses.
 Les Entreprises réalisent des archives pour :
> Des raisons utilitaires
> Des obligations légales (code du commerce)
> Création d’un musée interne ou service d’archives
historiques.
21
Philippe Auguste (1165 – 1223), suite à un accident de diligence, créé à
Paris le Trésor des Chartes.
L’expertise française dans sur les technologies d’archivage est issue d’une
pratique historique.
Elle est reconnue mondialement.
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

22. Sauvegarde / Archivage
Sauvegarder
•Protéger les données, patrimoine de l’Entreprise,
contre les conséquences d’un sinistre informatique.
Si causes des sinistres sont classées en Erreur, Accident
et Malveillance, la sauvegarde protège le SI contre
TOUS les types de sinistre.
•Le Plan de Sauvegarde décrit les aspects
fonctionnels, techniques et organisationnels de la
sauvegarde.
C’est un document ‘Qualité’.
•Il est cohérent avec les RPO et le RTO attendus et liés
aux métiers d’une Entreprise.
Archiver
• Conserver, à longs termes, une
image exploitable des données
applicatives à des fins historiques
ou de recherche de preuves.
• L’archivage légal : méthode de
conservation des données qui ne
peut être contestée par la partie
adverse en cas de contestation ou
procès.
• Le HSM : stocker, sur des supports
moins couteux, des données
anciennes ou peu accédées.
L’archivage doit permettre de retrouver
une donnée ancienne, dans un état
intègre, alors que les composants
du Système d’Information ont
évolués.
22Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

23. Définitions
 L’AFNOR définit l’archivage électronique par : “L’ensemble des actions, outils, et méthodes
mis en œuvre pour conserver à moyen et long terme des informations dans le but de les
exploiter”.
 Au-delà du stockage, de la sauvegarde et de la gestion électronique des documents, l’archivage
électronique peut être défini comme l’ensemble des actions visant à identifier, recueillir,
classer et conserver des informations, en vue de consultation ultérieure, sur un support
adapté et sécurisé, pour la durée nécessaire à la satisfaction des obligations légales ou des
besoins d’information”.
 L'archivage électronique sécurisé : « L'ensemble des modalités de conservation et de
gestion des archives électroniques destiné à garantir leur valeur, notamment juridique, pendant
toute la durée nécessaire. »
 L'archivage légal, implique que l'on ajoute des précautions supplémentaires qui permettront à
coup sûr d'authentifier le document et son auteur afin qu'il possède une valeur de preuve.
Archivage probant est peut-être un terme plus approprié, puisque la loi ne définie pas
précisément les conditions d'archivage.
23Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

24. Critères à respecter
 Pour que la valeur juridique des archives ne puisse être déniée :
> identification et authentification de l’origine des archives ; horodatage du document ;
> intégrité des archives ;
> intelligibilité et lisibilité des archives ;
> durée de conservation des archives ;
> traçabilité des opérations effectuées sur les archives (versement, consultation, migration,
élimination...) ;
> disponibilité et accessibilité des archives.
 Le recours à un tiers archiveur (coffre-fort électronique) est un moyen simple de régler la
plupart des problèmes techniques et réglementaires liés à l'archivage légal :
> intégrité et fidélité des documents numérisés (qualité des systèmes mis en œuvre),
> authentification à l'aide d'un tiers de confiance (distinct),
> sécurité (redondance, duplication, contrôle technique..),
> pérennité (point important, incluant notamment la migration périodique des technologies),
> Conformité aux réglementations et normes de contrôle qualité.
24Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

25. Répondre aux exigences réglementaires
http://vosdroits.service-public.fr/professionnels-
entreprises/F10029.xhtml
Tout document émis ou reçu par une entreprise dans
l'exercice de son activité doit être conservé pendant certaines
durées minimales (même si rien n'empêche l'entreprise de
l'archiver plus longtemps, sauf s'il contient des données
personnelles). Ces délais de prescription, pendant lesquels
l'administration peut mener des contrôles à posteriori, varient
en fonction de la nature des papiers à conserver et des
obligations légales qui s'y rapportent.
25
ANSSI : Agence nationale de la
sécurité des systèmes d’information
http://www.ssi.gouv.fr/
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

26. Avec Spectrum Protect, attaquer le ‘DataBerg’ !
26
Quelle application de votre SI connait :
• La taille des données, par serveur ou VM ?
• La dernière date de modification de chaque fichier ?
• Le % de fichiers qui évoluent chaque jour, une fois par semaine, par
an…
• Le type de fichiers, par arborescence (bases de données, bureautique,
vidéos…)
LadatabasedeTSM
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

27. D.FI vous accompagne dans votre projet Archivage
27
• Workshop de présentation de l’état de l’art :
• Le rôle de l’archivage dans la gestion du cycle de
vie de la donnée
• Les contraintes légales
• Les différentes techniques d’archivage
• Identification des solutions que vous avez mises
en place pour répondre aux attentes de vos
Utilisateurs.
• Proposer les axes d’amélioration apportant le
meilleur ROI sur la gestion du patrimoine
numérique.
A l’issue de l’Atelier, un document personnalisé
présente les besoins exprimés et propose le plan
de développement de votre projet.
 Archiver ou sauvegarder à long
terme ?
• L’Archivage permet de conserver une
image exploitable des données à des fins
historiques ou pour recherche de preuves.
• L’Archivage légal implique de veiller à
l’intégrité des données et la traçabilité des
traitements. C’est une archive ne peut être
contestée par la partie adverse en cas
d’expertise ou de procès.
• Le HSM déplace les données anciennes peu
accédées sur des supports moins couteux
et diminue les besoins en sauvegarde.
Accordez-vous une journée de réflexion
sur l’Archivage !
Café-Techno du 31/03/16 – Affronter et gérer la masse de données hétérogènes avec Spectrum Protect

28. Infrastructure
complexes et
convergentes
Mobilité
Cloud
Data Management
Questions ?
28Café-Techno du 31/03/16 – Les nouveautés de TSM 7.1.5