Organización de datos en disco

Notas 03: Organización del disco

José Andrés Cuartas Muñoz

JOSÉ CUARTAS BASES DE DATOS 1

Lo que veremos

• Como se almacenan los datos en disco
• Como se organizan los datos en la memoria


Definiciones
• Campos: Los campos son los elementos más primitivos de datos. Como enteros
o cadenas de caracteres longitud fija(varchar), cadenas de caracteres de longitud variable
• Registros: Los registros se componen de varios campos además de un encabezado. El
encabezado contiene información sobre el registro, como fecha y hora, información del
esquema, y longitud de registro.
• Bloques: Los registros se almacenan generalmente dentro de los bloques. El bloque se
compone de un encabezado del bloque,con información acerca de ese bloque y el resto es
ocupado por uno o más registros.
• Registros extendidos: En general, un o varios registro se almacena dentro de un bloque . Sin
embargo, Si los registros son más largos que los bloques, entonces podemos separar el registro
en varios fragmentos. Se debe tener en cuenta que debe haber un fragmento de cabecera para
vincular los fragmentos del registro.


Definiciones
• BLOBS: valores muy grandes, como imágenes y videos, llamados BLOB
(Grandes Objetos binarios). Estos valores deben ser almacenados a través de varios bloques.
Dependiendo de los requisitos de acceso, puede ser deseable para mantener el
BLOB en uno de los cilindros, para reducir el tiempo de acceso para el BLOB, o puede
necesarias partir (stripe) el BLOB en varios discos, para la recuperacion en paralelo del
contenido
• Tablas de desborde Offset: Para apoyar a las inserciones y eliminaciones de registros, así
como registros que cambian su longitud debido a la modificación de longitud variable
campos, podemos poner en el encabezado del bloque una tabla de desbordamiento que tiene
punteros a cada uno de los registros en el bloque.
• Bloques de desbordamiento: También para apoyar la inserción y los registros de
crecimiento, generando un vínculo a un bloque de desbordamiento o de la cadena de bloques,
donde se mantienen algunos registros que pertenecen lógicamente en el primer bloque.
Las direcciones de base de datos: Los datos administrada por un DBMS se encuentra entre
varias dispositivos de almacenamiento, normalmente discos. Para localizar los bloques y los
registros de este almacenamiento sistema, se puede utilizar direcciones físicas, que son una
descripción de el número de dispositivo, un cilindro, pista, sector (s), y, posiblemente, dentro de
un byte sector. También puede utilizar las direcciones lógicas, que son de carácter arbitrario
cadenas que se traducen en direcciones físicas de una mesa de mapas.


Definiciones
• Punteros Swizzling: conversión de punteros, de su formato en disco a su formato en
memoria, y viceversa.Cuando los bloques de disco se trajo a la memoria principal, el
direcciones de base de datos deben ser traducidos a direcciones de memoria, si los punteros
hay que seguir. La traducción se llama swizzling, y puede ser
realiza de forma automática, cuando los bloques son llevados a la memoria, o bajo demanda,
cuando un puntero es primero seguido.
• tombstones(Desechos): Cuando se elimina un registro, los punteros que referencian este
registro se pierden o cuelgan, generalmente se agrega un bit nulo para indicar que este registro
fue eliminado.


Relaciones de almacenamiento en el disco

• ALAMCENAMOS: Atributos, tuplas, relaciones,
atributos o campos son fijos o variables
• Jeraquia de los datos fiscos
 Campos registros bloques Bloques

• Bloque es la unidad de tranferencia I/O.
• Las relaciones de bases de datos mapean
uno o mas bloques.


Que son los valores que se almacenan?

• Un salario
• Un nombre
• Una fecha
• Una imagen

Que se tiene disponible: Bytes

8
bits


Representación:

• Entero(Entero Corto): 2 bytes
e.j., 35 es
00000000 00100011

• Real, punto flotante
n bits para la mantissa(o significando), m para el exponente….
•(http://es.wikipedia.org/wiki/IEEE_coma_flotante)
•(http://es.wikipedia.org/wiki/Coma_flotante)
•(http://es.wikipedia.org/wiki/Significando)


Representación:

• Caracteres
Varios esquemas de codificación sugeridos,
el más popular el ascii
(http://es.wikipedia.org/wiki/ASCII)

Ejemplo:
A: 1000001
a: 1100001
5: 0110101
LF: 0001010

Representación:
• Booleaano
e.j., Verdadero 1111 1111
falso
0000 0000

• Aplicación especifica(los meses,colores)
e.j., ROJO 1 VERDE 3
AZUL 2 AMARILLO 4 …
se puede utilizar menos de 1 byte/codigo?
Si, pero en casos de desepero...


Representación:
• Fechas
e.j.: - Entero, # 1re dia Enero 1, 1900
- 8 caracteres, YYYYMMDD
- 7 caracteres, YYYYDDD
(Y=Año,M=Mes,D=Dia)

(no YYMMDD! Porque?)
http://es.wikipedia.org/wiki/Problema_del_a%C3%B1o_2000

• Tiempo
e.j. - Entero, segundos desde la media noche
- caracteres, HHMMSSFF
(H=Hora,M=minuto,S=Segundos,F=cantidad de digitos significativos de la fraccion de segundo)


Se representa :

• Cadena de caracteres
– Terminada en nulos
e.j.,
c a t

– Longitud especificada e.j varchar
e.j.,
3 c a t

- Longitud fija e.j char (utiliza caracteres
comodines si no se ocupa el espacio)

Se representa:
• Cadenas de bits o cadenas binarias
(Videos, textos, entre otros)

Longitud Bits


Punto clave

•Valores de Longitud fija

• Valores de longitud variable
- Generalmente se da una longitud inicial


TAMBIEN

• Tipos de valores: Nos dice como se
interpreta
(+ el tamaños si es
fijo)


Informe Datos
general
Registros

Bloques

Archivos

Memoria

Registro- Colección de datos
relacionados(llamados CAMPOS)
E.j.: Registro de empleados:
campo nombre,
campo salario,
campo fecha-de-ingreso, ...


Tipos de registros:

• Opciones principales:
– FIJOS vs FORMATO VARIABLE
– FIJOS vs LONGITUD VARIABLE


Formato Fijo
Un ESQUEMA (no registro) contiene la siguiente
información
- # Campos
- Tipo de cada campo
- orden en el registro
- Significado de cada campo
Los esquemas se consultan cuando es necesario
acceder a los componentes de un registro


EJEMPLO: Formato y longitud fija
Registro de empleado
(1) E#, entero de 2 byte
(2) E.nombre, 10 char. Esquema
(3) Dept, codigo de 2 byte

55 n a t a l i a 02
Registro
83 j o s e 01


Formato variable

• El registro en si contiene el formato
“Auto descriptivo”


EJEMPLO: Formato y longitud variable

2 5 I 46 4 S 4 F O RD

Codigo para E.nombre
Codigo identificación

Tipo entero(integer)

Tipo cadena(string)
del campo E#
# campos

Long. cadena
El codigo de los campos puede ser una cadena(String), E.j. Etiquetas


El formato variable es util para:

• Registros “Dispersos” (sparse records)
• Campos repetitivos
• Evolución de formatos

Desaprovechan espacio...


• EJEMPLO: registro de formato varible
con campos repetitivos
Empleado uno o mas hijos

3 E_nombre: Jose Hijo: yumi hijo: luna


Nota: Los campos repetitivos no implican
- Formato variable, ni
- Tamaño variable

Jose yumi luna --

Definición: Los campos repetitivos pueden tener multiples valores en registros
individuales. Los elementos son homogéneos, es decir, del mismo tipo de datos,
arreglos, entre otros, estos se utilizan en las DB para relaciones varios-varios.

• La clave es localizar el maximo numero
de campos repetitivos (si no usan null)

Varias variantes entre formato
fijo- variable:
Ejemplo: Incluir el tipo de registro en el registro
5 27 ....

Tipo de registro Longitud del registro
Dice que se
Espera
(E.j. puntero al esquema)


Descriptor de archivo- Datos que almacenan la
descripción del registro, generalmente se ubican al comienzo

Puede contener:
- Tipo de registro
- Longitud del registro
- time stamp
(tiempo del evento (http://es.wikipedia.org/wiki/Timestamp)

- Otras cosas...


Otros temas de interes:

• Compresión
– Transferir o almacenar la misma
información empleando la menor cantidad
de espacio.
• En el registro - e.j. Seleccion de codigo
• Colecciones de regsitro - e.j. Busca patrones
comunes
• Encriptación

Compresión de registros
• Selección de codigo
– E.j secuencia como "AAAAAA", ocupan 6 bytes se podría almacenar
simplemente "6A" que ocupa solo 2 bytes.
• algoritmo de codificación por longitud de recorrido (RLE)

• Collección de registros busqueda de patrones:
– Antonietta
Antonietta
Antonietta
Antonietta
Antonina
Antoniina
Antonina
Antonina


Compresión de registros
• Prefijo de compresión (en rojo).
• Luego se buscan patrones comunes (etta y na)
diferentes al prefijo y se replazan por una referencia
de entrada.
» Datos: Antonieta
Antonieta
Antonina
Antonina...
» Prefijo: Antoni
Diccionario: [0] – eta, [1] – na
Datos: [0]
[0]
[1]
[1]

Encriptación de registros
Nuevo
registro
E(r)
r Procesador
dbms
confiable

E(r1)
E(r2)
E(r3)
E(r4)
...


Encriptación de registros

Busqueda
F(r)=x Procesador ??
dbms
confiable

E(r1)
E(r2)
E(r3)
E(r4)
...


Busqueda de clave

search
k=2 Q: k=2 A: [2, E(b2)]
Procesador
dbms
confiable

[1, E(b1)]
[2, E(b2)]
[3, E(b3)]
[4, E(b4)]
...
• cada registro es [k,b]
• almacenamiento [k, E(b)]
• cada busqueda para registros k=x


Clave de cifrado

busqueda
k=2 Procesador Q: k’=E(2) A: [E(2), E(b2)]
dbms
confiable

[E(1), E(b1)]
[E(2), E(b2)]
[E(3), E(b3)]
[E(4), E(b4)]
...
• almacenamiento [k, E(b)]
• cada busqueda para registros k=x


TEMAS
• Dificil realizar consultas por rango
• El cifrado no es bueno
• Lo mejor es usar encriptación que no
siempre genera el mismo texto cifrado
E(k, random(aleatorio))
k k

E D

simplificacion

Como se busca?
???
search A: [E(2,dhe), E(b2)]
k=2 Q: k’=E(2)
Procesador [E(2, lkz), E(b4)]
dbms
confiable

[E(1, abc), E(b1)]
[E(2, dhe), E(b2)]
[E(3, nft), E(b3)]
[E(2, lkz), E(b4)]
...
• almacena [E(k, rand), E(b)]
• puede buscar registros con k=E(x,???)?


Solución?
• Desarrollar nuevas funciones para desencriptar:
D(f(k1), E(k2, rand)) es verdad si k1=k2

Q: chequear si D(f(2),*) es verdadero
busqueda A: [E(2,dhe), E(b2)]
k=2 [E(2, lkz), E(b4)]
Procesador
dbms
confiable
[E(1, abc), E(b1)]
[E(2, dhe), E(b2)]
[E(3, nft), E(b3)]
[E(2, lkz), E(b4)]
...


Temas?
• No puede hacer igualdad de predicados
• Dificil construir indices


Siguiente: el lugar de los registros en el
bloque(Unidad de transferencia entre el disco y
la memoria, se componen de paginas)

Los bloques son la división de una pista(disco duro) realizada por
el sistema operativo durante el formateo, estos se separan por un
espacio de tamaño fijo - este espacio incluye información de
control de la identificación del siguiente bloque

Bloques ...

un archivo

siguiente: Ubicacion de registro dentro del bloque

Se asume bloques
de longitud fija

Bloques ...

Un archivo Se asume un solo archivo

Temas :almacenamiento de registro dentro de bloques

(1) Separacion de registros
(2) Registros: Extendidos vs. No extendidos
(3) Secuencial
(4) Direccionamiento a un registro


(1) Separacion de registros

Bloque R1 R2 R3

(a) No nesecitan ser separados – registros tamaño fijo.
(b) Marcado especial
(c) Dar la longitud de registro (or offsets)
- con cada registro
- dentro del encabezado del bloque


(2) Extendidos vs. No extendidos

• No extendidos: los registros deben ser
de un bloque max.
bloque 1 bloque 2
R1 R2 R3 R4 R5 ...

• extendidos
bloque 1 bloque 2

R3 R3 R7
R1 R2 (a) (b)
R4 R5 R6 (a)
...

Con registros extendidos:

R3 R3 R7
R1 R2 (a) (b)
R4 R5 R6 (a)

nesecitan un indicador Nesecitan un indicador
(“un puntero”o referencia) de donde continua
del registro parcial (+ de donde procedia?)
que direccione a lo faltante


Extendidos vs. No extendidos:
• No extendidos son muy simples, pero pueden
desperdician espacio…
• Extendidos es escencial si
Tamaño del registro > Tamaño del bloque


(3) secuencial

• Ordenan los registros dentro del archivo (y bloque)
por algun valor clave

Archivo secuencial ( En orden)

• Porque la secuencia?
Tipicamente realiza una lectura de registros de manera
eficiente (e.j., al realizar joins)


Opciones de secuencia
(a) Registros contiguos fisicamente (asignación contigua o directa)
(a) Rapida lectura
(b) Dificil expanción

R1 Siguie. (R1) ...

(b) Ligado o encadenado(asignación enlazada)
(a) Maneja apuntadores, facilita la expanción.
(b) Lentitud en la lectura

R1 Siguie. (R1)


(c) Area de desbordamiento ( overflow ).
modo indexado
Registros en R1
secuencia R2
R3
R4
R5


(c)Area de desbordamiento ( overflow ).

Encabe.
Registro en R1
R2.1
secuencia R2
R1.3
R3
R4.7
R4
R5


(4) Direccionamiento a un registro

• Como se referencia los bloque o registros?

Rx
• Fisico/Direccionamiento directo
• Logico/Direccionamiento indirecto
• Mixto/Enfoque en estructura

Varias opciones:
Fisico(Directo) indirecto


Fisico

ID Dispositivo
E.j., Direccion de # Cilindro
ID Bloque
registro = # Pista
o ID # Bloque
desborde en el bloque


Totalmente indirecto
E.j., ID de registro es una cadena de bit
arbitraria
tabla de mapeo
mapeo
rec ID Dir.
Rec ID
r fisica. Dir.
a


Que se entrega a cambio

Flexibilidad Costo
Mover registros Direccionamiento indirecto
(para eliminación, inserción)

Fisico Direccionamiento indirecto

Muchas opciones…


Enfoque estructurado / Mixto E.j: Indirecto en bloque
Direccion(tabla) registro: (direccion bloque fisico, id-registro dentro del bloque)

encabezado(punteros)

Un bloque: Espacio libre

R3

R4
R1 R2


Bloque de encabezado – datos de
descripcion de un bloque
Pude contener:
- ID de archivo (o RELACIÓN o ID de DB)
- ID de este bloque
- Registro de directorio
- Puntero a espacio libre
- Tipo de bloque (e.j. contiene regs tipo 4;
es sobreflujo, …)
- Puntero a otros bloques “hey punteros”
- Tiempo y fecha...

Otros temas

(1) Inserción/Eliminación
(2) Administración de Buffer
(3) Comparación de esquemas


ELIMINACIÓN

Bloque

Rx


Opciones:
(a) Inmediatamente recupera el espacio
(b) Marcado como eliminado
– Sepueden nesecitar la cadena de registros eliminados
(para re-uso)
– Nesecidad posible de marca:
• Caracteres especiales
• Campo eliminado
• Mapeo


Como de costumbre, ventajas y desventajas...

• Como es de costoso mover un registro para liberar
un espacio y luego reutilizar el espacio liberado?

• Cuanto espacio se desperdicia?
– e.j., eliminar registros, eliminar campos, espacio de registro
libres,...


Preocupa la eliminación
Puntero colgante o perdido
R1 ?

Soluciones
1. No preocupación
2. Use “Tombstone”(Lapida)
Por ejemplo, dejar "marcado" el mapa o la vieja ubicación.


Solución#2: Tombstones o desechos
E.j., Dejar “Marcado” en el mapa o la vieja ubicación

• ids Fisicos
Un bloque

este espacio este se puede reusar
no se reusa


Solución#2 : Tombstones o desechos
E.j., Dejar “Marcado” en el mapa o la vieja ubicación

• IDs logicos
mapeo
ID LOC

Nunca se reusa
7788 ID 7788 o el espacio
en el mapa...


Insertar

Caso sencillo : registros no secuenciales
Inserte el nuevo registro al final del
archivo o en un espacio eliminado
Si el registro es de tamaño variable,
no es facil...


Insertar

Caso complicado: registros en secuencia
si el espacio libre esta cerca, no hay problema...
O se utiliza la idea de tabla de desbordamiento...


Problemas interesantes:
• Cuánto espacio libre se reserva en cada bloque, pista, cilindro?
• Como reorganizo el archivo + sobre flujo?


Espacio
libre


Administración de buffer

• Porque LRU es malo tarea
• Pinned Bloques
• Doble buffer Notas02

• Swizzling (conversión o transformación)


Swizzling o punteros de conversión y
reduccion
Memoria Disco

Bloque 1 Bloque 1

Bloque 2
Reg A


Swizzling o punteros de conversión

Memoria Disco

Bloque 1 Bloque 1

Bloque 2 Bloque 2
Reg A Reg A


Almacenamiento Filas vs Columnas
• Se asume que los campos de los registros
estan almacenados contiguamente (alma. en
filas)...
• Otra opción es almacenar los campos en
conjunto (alma. En columnas)


ALMACENAMIENTO EN FILAS
• Ejemplo: La orden (factura) consiste de
– id, cust, prod, store, price, date, qty

id1 cust1 prod1 store1 price1 date1 qty1




ALMACENAMIENTO EN COLUMNAS
• Ejemplo: La orden(factura) consiste de
– id, cust, prod, store, price, date, qty

id1 cust1 id1 prod1 id1 price1 qty1
... ... ... ... ... ... ...

ids puede o no puede ser almacenado de forma explícita

Almacenamiento Filas vs Columnas
• Ventajas de almacenamiento en columnas
– Almacenamiento mas compacto
– Eficientes lectura en operaciones de mineria de datos
• Ventajas de almacenamiento en filas
– escritura (multiples campos de un registro) mas eficiente
– Eficiente lecturas para acceso de registros (OLTP)


Interesantes documentos de lectura:

• Mike Stonebreaker, Elizabeth (Betty)
O'Neil, Pat O’Neil, Xuedong Chen, et al.
" C-Store: A Column-oriented DBMS,"
Presentado en la conferencia
VLDB,Septiembre 2005.
• http://www.cs.umb.edu/%7Eponeil/
vldb05_cstore.pdf


Temas:

Flexibilidad Utilización de espacio

Complejidad Desempeño


Evaluación estrategia,parametros:
-> uso del espacio para los datos
esperados
-> Tiempo esperado para
- busqueda de registros dada una clave
- Busqueda de registros con la siguiente clave
- Insertar registros
- Añadir registros
- Eliminar registros
- actualizar registros
- Leer todos los archivos
- Reorganizar archivos


Ejemplo

Como se diseña un sistema de
almacenamiento? (Para una DB relacional, bajo nivel)
– Registros de longitud variable?
– extendidos?
– Que tipo de datos?
– Formatos fijos?
– IDs Registros ?
– secuencial?
– Como manejar eliminaciones?


Siguiente

Como encontrar un registro
rapidamente, dada una clave


Organización de datos en disco

Recomendados

Recomendados

Más contenido relacionado

Similar a Organización de datos en disco

Similar a Organización de datos en disco (20)

Más de josecuartas

Más de josecuartas (20)

Último

Último (20)

Organización de datos en disco