Presentacion Google File System

1. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Google File System (GFS) El sistema de archivos distribuido de Google !! Mario A. del Riego Consejo de Educación Secundaria Mario A. del Riego Google File System

2. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Agenda 1 Introducción Deﬁniciones Requerimientos Mente conservadora... 2 Diseño alto nivel Hipótesis 3 Arquitectura 4 Interacción entre componentes Ejemplo 1: Write Ejemplo 2: Snapshot 5 Conclusiones Mario A. del Riego Google File System

7. Introducción Diseño alto nivel Definiciones Arquitectura Requerimientos Interacción entre componentes Mente conservadora... Conclusiones Solo unas definiciones Definition Un File System (FS) es un sistema que estructura los datos en una unidad de almacenamiento. Definition Un Distributed File System (DFS) es un servicio que permite al usuario acceder y procesar archivos guardados en un servidor como si fuese local. Definition Google File System (GFS) es el DFS que da soporte a todas las aplicaciones de Google Inc. Mario A. del Riego Google File System

10. Introducción Diseño alto nivel Deﬁniciones Arquitectura Requerimientos Interacción entre componentes Mente conservadora... Conclusiones Las aplicaciones actuales de Google Google Mail Google Search / History / Image / Cache Google Video / Youtube Google Books Google Maps Google Earth Google Street View Google Apps Google Docs Google Drive (NUEVO! 5GB por usuario) Google ... ??? Mario A. del Riego Google File System

21. Introducción Diseño alto nivel Deﬁniciones Arquitectura Requerimientos Interacción entre componentes Mente conservadora... Conclusiones . . . porqué no centralizado? La historia me avala! Mario A. del Riego Google File System

22. Introducción Diseño alto nivel Deﬁniciones Arquitectura Requerimientos Interacción entre componentes Mente conservadora... Conclusiones bueh... y porqué no NFS (Network File System)? Otra vez... ¡La historia me avala! Mario A. del Riego Google File System

23. Introducción Diseño alto nivel Definiciones Arquitectura Requerimientos Interacción entre componentes Mente conservadora... Conclusiones Basado en la experiencia. . . Los componentes fallan, es la norma y no la excepción Errores en la aplicación Errores en el SO Errores humanos (errar es humano.. dijo el caballo) Errores en los HDD / RAM Errores en la red Cortes de energía Los archivos crecen muy rápido, llegando inclusive al orden de TB La mayoría de los archivos son modificados agregando info. Modificaciones aleatorias dentro del archivo ni existen. Mario A. del Riego Google File System

32. Introducción Diseño alto nivel Arquitectura Hipótesis Interacción entre componentes Conclusiones Hipótesis Es construído en base a componentes baratos Se debe manejar eﬁcientemente archivos muy grandes (GB) Dos operaciones típicas: Lecturas largas y continuas Lecturas aleatorias y chicas Escrituras que hacen append a los archivos Debe soportar eﬁcientemente la concurrencia Mucho ancho de banda Mario A. del Riego Google File System

40. Introducción Diseño alto nivel Arquitectura Hipótesis Interacción entre componentes Conclusiones Interfase No soporta POSIX (..pero muy parecido) Agrega dos operaciones importantes: snapshot y append Mario A. del Riego Google File System

41. Introducción Diseño alto nivel Arquitectura Hipótesis Interacción entre componentes Conclusiones Interfase No soporta POSIX (..pero muy parecido) Agrega dos operaciones importantes: snapshot y append Mario A. del Riego Google File System

42. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Arquitectura 1 master N chunkserver M clientes Archivos divididos en un tamaño ﬁjo Cada “pedazo” se llama chunk Cada chunk es identiﬁcado por un número único de 64 bits, llamado chunk handle 1 archivo se divide en size(archivo) chunks 64MB 1chunk → {Location1 , . . . , LocationN } Mario A. del Riego Google File System

50. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Arquitectura (cont.) Mario A. del Riego Google File System

51. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Master Server Mantiene la Metadata (control de acceso, mapeo de archivos a chunks, chunks a locations, etc) Gestiona los chunk leases, Garbage Collector, migraciones entre chunkservers, y monitorea el estado de cada chunkserver Un master simpliﬁca el diseño y la implementación NO se envían datos a través de él Existe un shadow server. . . Mario A. del Riego Google File System

56. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Cliente y Chunk Server Chunk Server Cliente (Aplicación) Linux standard. En su tiempo kernel 2.2. . . No utiliza cache para Todo implementado los datos. Solamente en User space para los chunk No implementa cache. locations Delegado al cache del kernel Mario A. del Riego Google File System

65. Introducción Diseño alto nivel Ejemplo 1: Write Arquitectura Ejemplo 2: Snapshot Interacción entre componentes Conclusiones Ejemplo: Write Mario A. del Riego Google File System

66. Introducción Diseño alto nivel Ejemplo 1: Write Arquitectura Ejemplo 2: Snapshot Interacción entre componentes Conclusiones Ejemplo: Snapshot (← VER PIZARRÓN) COW: Copy On-Write Mario A. del Riego Google File System

67. Introducción Diseño alto nivel Ejemplo 1: Write Arquitectura Ejemplo 2: Snapshot Interacción entre componentes Conclusiones Ejemplo: Snapshot (← VER PIZARRÓN) COW: Copy On-Write Mario A. del Riego Google File System

68. Introducción Diseño alto nivel Arquitectura Interacción entre componentes Conclusiones Gracias! Ya terminamos... Podemos volver a trabajar. . . iupi !! Mario A. del Riego Google File System

Presentacion Google File System

Recomendados

Recomendados

Más contenido relacionado

Similar a Presentacion Google File System

Similar a Presentacion Google File System (20)

Último

Último (15)

Presentacion Google File System