16. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Conceptos de almacenamiento
17. Un sistema de almacenamiento es cualquier dispositivo
(interno o externo) que nos permita almacenar datos.
Ejemplos: Discos duros, Memorias Flash, cintas LTO,
Arrays de discos, etc.
Conceptos almacenamiento
18. Los distintos tipos de almacenamiento remoto
utilizan diferentes protocolos y medios de
comunicación.
Conceptos almacenamiento
Sistema de
comunicación NAS
NFS
CIFS
FTP
HTTP (WebDAV)
Sistema de
comunicación SAN
Fibre Channel
FCoE
iSCSI
ATAoE
Sistema de
comunicación DAS
SAS
Fibre Channel
USB
FireWire
19. Un sistema de archivos es una parte integral de cualquier
sistema operativo y posee la capacidad de gestionar
almacenamiento a largo plazo.
● Presenta una vista lógica (abstracta) de ficheros y
directorios.
● Facilita el uso eficiente de los dispositivos que componen
los sistemas de almacenamiento.
Ejemplos: NTFS, XFS, ext3/4, ZFS, etc.
Conceptos almacenamiento
20. Los sistemas de archivos se caracterizan por:
– Mecanismos de seguridad o permisos
– Mecanismo para evitar la fragmentación
– Capacidad de enlaces simbólicos o duros
– Integridad del sistema de archivos (Journaling)
– Soporte para archivos dispersos
– Soporte para cuotas de discos
– Soporte de crecimiento del sistema de archivos
nativo
Conceptos almacenamiento
21. Metadatos: Existen datos asociados a los archivos que
es necesario almacenar.
– Tamaño.
– Fecha de creación.
– Fecha de últimos acceso.
– Propietario.
– Permisos…
– Algunos sistemas de archivo incluso permiten asociar nuevos
atributos.
Conceptos almacenamiento
22. Existen básicamente 4 tipos de sistemas de archivos :
– Sistemas de archivos de disco.
– Sistemas de archivos de red.
– Sistemas de archivos de propósito especial.
– Sistemas de archivos de Almacenamiento
compartido (SAN Filesystems).
Conceptos almacenamiento
23. Un sistema de archivo de disco está diseñado para el
almacenamiento de archivos en una unidad de disco, que
puede estar conectada directa o indirectamente al
ordenador.
A continuación se muestran algunos ejemplos de
sistemas de archivo de disco.
Conceptos almacenamiento
24. ● FAT (File Allocation Table, usado en WINDOWS).
● HFS+ (Sistema jerárquico de archivos, utilizado en MacOSX) .
● NTFS (NT File System)
● XFS (Linux)
● ReiserFX (Linux)
● Ext3/4 (Linux)
● UFS (Unix filesystem, BSD).
● ZFS (Solaris, Linux, BSD).
● ISO9660 (CD Rom)
● UDF (Universal disk Format, CD, DVD, Blue-Ray).
Conceptos almacenamiento
25. Un sistema de archivos de red es el que accede a sus
archivos a través de una red. Dentro de esta clasificación
encontramos dos tipos de sistemas de archivos:
- Sistemas de archivos distribuidos (no proporcionan E/S
en paralelo)
- Sistemas de archivos paralelos (proporcionan una E/S
de datos en paralelo).
Conceptos almacenamiento
26. A continuación se muestran algunos ejemplos de
sistemas de archivo de red:
● Distribuidos : AppleShare, CIFS (también conocido
como SMB o Samba) y NFS (Network File Systems).
● Paralelos : pNFS (Parallel NFS), Lustre, PVFS.
Conceptos almacenamiento
27. Sistemas de archivos de uso específico:
● Google File System, GmailFS, WBFS (Wii Backup File
System)...
Optimizados para dispositivos de estado sólido:
● exFAT, JFFS...
Encriptados:
● EFS, ecryptFS...
Conceptos almacenamiento
28. Sistemas de archivos de Almacenamiento compartido
(SAN Filesystems): Principalmente utilizados en redes de
área de almacenamiento, en las que los nodos acceden
directamente a nivel de bloque.
● CXFS (Cluster XFS)
● MPFS (EMC Celerra)
● HP Cluster File System (CFS)
● Oracle Cluster file system (OCFS)
● VMFS (VMWARE /EMC)
● WAFL, Write Anywhere File Layout (NetApp)
Conceptos almacenamiento
29. ¿Qué hay que proteger en un sistema de
almacenamiento?
● Integridad: Mediante Raid, Backup,
Replicación.
● Disponibilidad: Mediante Hot-Spare, Cluster.
● Acceso: Mediante Redundancia de paths.
Conceptos almacenamiento
30. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Almacenamiento open source ZFS
31. ZFS es un sistema de archivos y volúmenes
desarrollado por Sun Microsystems originalmente
para su sistema operativo Solaris.
ZFS integra los conceptos anteriormente
separados de sistema de ficheros y administrador
de volúmenes en un solo producto.
ZFS: Introducción
32. Por qué nace ZFS:
- Los costes de la gestión de la información son elevados,
requiriéndose un gestor de volúmenes.
- La información cada vez es más crítica y se producen
problemas de corrupción con los sistemas de archivos
existentes hasta entonces.
- La información crece de manera exponencial.
ZFS: Introducción
33. ZFS destaca por:
- sistema de archivos de gran capacidad,
- nueva estructura sobre el disco,
- sistema de archivos ligero y
- administración de espacios de almacenamiento
sencilla.
ZFS: Introducción
34. ZFS puede ser desplegado en múltiples
plataformas:
- Solaris / OpenSolaris / illumos.
- FreeBSD / BSD.
- Linux.
- OS X.
ZFS: Implementaciones
35. ZFS fué diseñado para proporcionar:
- Una gestión del almacenamiento basada en Pools
(eliminación de la noción de volúmenes).
- Integridad de datos extremo a extremo.
- Una operación transaccional (manteniendo la
consistencia de datos en el disco y reordenando las
transacciones para mejorar el rendimiento).
ZFS: Principios
38. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema
de cachés:
- ARC: caché primaria que almacena los bloques
que se leen de forma más común de manera
que acelera las operaciones de lectura. Siempre
reside en memoria.
39. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de cachés:
- L2ARC: caché secundaria de lectura pensada para alojar en
dispositivos más baratos (aunque rápidos) una ampliación de
la ARC. Los dispositivos utilizados son SSD del tipo MLC y
puede ser grande para alojar el mayor número de bloques
posible. No permance tras el reinicio con lo cual se pueden
notar perdidas de rendimiento después de reiniciar el
sistema. La L2ARC requiere algo de memoria para operar.
Una porción de la ARC será utilizada para indexar y
administrar el contenido de la L2ARC. Por lo general se
necesitarán 1-2GB de ARC por cada 100GB de L2ARC.
40. ZFS: Deduplicación
Para mejorar el redimiento se basa en un sistema de
cachés:
- ZIL: caché de escritura pensada para acelerar las
escrituras de tipo síncrono. Conformada por
dispositivos rápidos de pequeño tamaño (no es
necesario que esta caché sea muy grande). Muy
importante que sean discos SSD de tipo SLC. Puesto
que si se pierde antes de volcar a disco se producirá
una perdida de datos, es muy recomendable que
esté en mirror.
41. ZFS: Compresión
ZFS permite aplicar además de algoritmos de
deduplicación, algoritmos de compresión. Los ahorros de
espacio pueden venir dados por la combinación de ambas
técnicas. En concreto ZFS permite los siguientes
algoritmos :
- GZIP.
- LZJB.
- ZLE.
- LZ4 (recomendado).
42. ZFS: Snapshots y Clones
Como ZFS no sobrescribe datos, las instantáneas
se toman rápidamente y son eficientes desde el
punto de vista del espacio, pues comparten los
datos sin modificar con el sistema de ficheros.
Se pueden crear instantáneas modificables
(llamadas clones).
43. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Backup open source: Bacula
44. Sobre Bacula
●
Software open source para Enterprise Backup
& Recovery.
●
Disponible desde 2002.
●
1000s de usuarios, >1.3M downloads.
●
Bacula Systems fundada en Julio de 2008.
●
HQ en Yverdon, Switzerland.
79. Ignacio Gilart
CEO & Co-founder
WhiteBearSolutions®
genuinely open (WBSgo®
)
Caso de estudio
80. A continuación se muestra un caso de estudio
realizado con la plataforma WBSAirback®:
- Cliente: Entidad Financiera.
- Entorno: preproducción Windows y Linux.
- Datos diarios a proteger: 5TB.
- Tipo de backup: LAN 10GbE.
- Jobs diarios: 500 (225 Fulls y 275 incrementales).
Caso de estudio