La jerarquía de memoria organiza la memoria en niveles con el objetivo de conseguir el rendimiento de una memoria rápida al coste de una memoria lenta. Los principales puntos son la cantidad, velocidad y coste de la memoria en cada nivel. El principio de localidad hace que la jerarquía funcione accediendo a porciones pequeñas del espacio de direcciones. El hardware y sistema operativo gestionan el movimiento de datos entre los niveles.