Backtracking

Algoritmos de BúsquedaAlgoritmos de Búsqueda
“Backtracking y Branch and Bound”“Backtracking y Branch and Bound”
Antonio Paredes RisueñoAntonio Paredes Risueño

Índice

 Backtracking
 Backtracking en paralelo
 Branch and Bound
 Branch and Bound paralelo
Introducción

Introducción
 Los algoritmos de Backtracking y Branch and Bound se
suelen aplicar en la resolución de un gran número de
problemas, muy especialmente en los de optimización.
 Estos algoritmos realizan una búsqueda exhaustiva y
sistemática en el espacio de soluciones del problema.
 Suelen ser muy ineficientes.

Introducción
 Se utilizan para resolver problemas para los que no existe un
algoritmo eficiente para resolverlos.
 Mediante la programación paralela se intentará reducir el
tiempo de ejecución de estos algoritmos

Índice
 Introducción

 Backtracking en paralelo
Backtracking

Backtracking
 Técnica general de resolución de problemas, que suele
aplicarse sobre todo a juegos y problemas de óptimización.
 Realiza una búsqueda exhaustiva y sistemática en el espacio
de soluciones del problema.
 La solución de un problema de backtracking se puede
expresar como una tupla (x1,x2,…,xn), que satisface una
restricciones R(x1,x2,…,xn) y a veces optimizando una función
objetivo.

Backtracking
 En cada momento el algoritmo se encontrará en un cierto
nivel k, con una solución parcial (x1,x2,…,xk) (con k<=n).
 Si puede añadirse un elemento xk+1 a la solución parcial se avanza
al nivel k+1.
 Si no se prueban otros valores válidos para xk.
 Si no existe ningún valor que sea válido por probar, se retrocede al
nivel anterior k-1.
 Se continua con este proceso hasta que la solución parcial sea una
solución del problema o hasta que no queden más posibilidades
por probar (en el caso de que no se encuentre ninguna solución o
se busquen todas las soluciones del problema).

Backtracking
 En definitiva, el algoritmo realiza una búsqueda en
profundidad en el árbol de soluciones del problema.
x1
x2
x3

Backtracking
 En definitiva, el algoritmo realiza una búsqueda en
profundidad en el árbol de soluciones del problema.
1
2 10 14
3 6 7 11 12 15 16
4 5 8 9 13 17 18
x1
x2
x3

Backtracking. Complejidad
 Por realizar una búsqueda exhaustiva en el espacio de
soluciones del problema, los algoritmos de backtracking son
bastante ineficientes.
 En general, se tienen tiempos con órdenes de complejidad
factoriales o exponenciales.
 Por esto, los algoritmos de backtracking se utilizan en
problemas para los que no existen un algoritmo eficiente
que los resuelva.

Backtracking. Ejemplo
Problema N-Reinas
 El problema de las N-Reinas consiste en colocar n reinas en
un tablero de ajedrez de tamaño n*n de forma la reinas no se
amenacen según las normas del ajedrez. Se busca encontrar
una solución o todas las soluciones posibles.
 Este problema puede resolverse utilizando un esquema de
backtracking.
 Cualquier solución del problema estará formada por una
n-tupla (x1,x2,…,xn), dónde cada xi indica la columna donde
la reina de la fila i-ésima es colocada.

 Las restricciones para este problema consisten en que dos
reinas no pueden colocarse en la misma fila, ni en la misma
columna ni en la misma diagonal.
 Por ejemplo, el problema de las 4-Reinas tiene dos posibles
soluciones: [2,4,1,3] y [3,1,4,2].
Problema N-Reinas

Problema N-Reinas

1
2
3
4
5
6
7
8
9
11
10
12
13
14
15
16
17
Soluciones
Problema N-Reinas

Índice
 Introducción
 Backtracking

Backtracking paralelo

 Esquema no puramente paralelo, es un esquema utilizado en
programación secuencial que se intenta paralelizar.
 Esto supone que la ganancia de tiempo no sea tan elevada
como se pudiera esperar a priori.
 Se intenta distribuir el espacio de búsqueda entre los
distintos procesadores, de forma que cada uno busque la
solución del problema en un subespacio de soluciones
distinto.
 Así se exploran varias ramas del árbol de soluciones al
mismo tiempo por distintos procesadores.
 Aumentan las posibilidades de encontrar la solución del
problema en menor tiempo.

 Un factor crítico a la hora de formular un algoritmo de
backtracking en paralelo es cómo se realizará la distribución
del espacio de búsqueda entre los distintos procesadores.
 Dos alternativas:
 Asignación estática
 Asignación dinámica

 Un procesador expande el nodo raíz y genera varios nodos.
 A cada procesador se le asigna un número de estos nodos.
 Así se divide el espacio de búsqueda global entre los
distintos procesadores.
 Cada procesador comienza a buscar la solución en el
espacio de búsqueda que le corresponda, siguiendo el
proceso normal de backtracking.
 No se necesitan comunicaciones entre procesos.
Backtracking Paralelo
Asignación estática

 Problema: No se sabe a priori si se divide el espacio de
búsqueda equitativamente entre los distintos
procesadores.
 Puede haber desequilibrio entre la carga de trabajo de los
procesadores.
 A un procesador puede que se le asigne poco trabajo y
este la mayor parte de tiempo inactivo.

P0 P1

P0
P1

 Cada procesador trabaja en una parte del espacio de
búsqueda.
 Cuando un procesador termina de trabajar, solicita más
trabajo a otro procesador que tiene más trabajo.
 Proceso:
 Cada procesador dispone una pila en su espacio local para
guardar nodos no expandidos.
 Cuando un procesador expande un nodo, los nuevos nodos
que se crean se introducen en la pila.
 Cuando la pila de un procesador esta vacía, el procesador
solicita nodos de la pila de otro procesador.
Asignación dinámica

 Al principio, el espacio total de búsqueda es asignado a un
procesador y a los demás procesadores no se les asigna
ningún trabajo.
 Ese procesador será el encargado de distribuir
inicialmente el trabajo cuando los demás procesadores se
lo soliciten.
 A los procesos que envían trabajo se les denomina
donadores y a los que lo solicitan y lo reciben se les
denomina receptores.

 Un procesador puede estar en 2 estados:
 Activo: Esta realizando algún trabajo.
 Inactivo: Al procesador no le queda ningún nodo por explorar
en su pila y esta solicitando trabajo a otros procesadores.
 Estado inactivo:
 El procesador selecciona un procesador donador y le envía
una petición de trabajo.
 Si recibe trabajo del donador, se activa y comienza a trabajar.
 Si recibe un mensaje de reject (el procesador donador esta
inactivo), selecciona a otro procesador donador para enviarle
una petición de trabajo.

 Estado inactivo:
 Este proceso se repite hasta que el procesador recibe trabajo
del donador o hasta que todos los procesadores entran en
estado inactivo.

 Estado activo:
 El procesador realiza una cantidad de trabajo fijo (expande un
nº determinado de nodos).
 Cuando termina de realizar el trabajo, chequea si existen
peticiones de trabajo a cargo de los demás procesadores.
 Si recibe alguna petición de trabajo, el procesador donador
particiona en dos partes su pila de nodos, y envía una parte al
procesador que realizo la petición.
 Cuando el procesador ha recorrido todo su espacio de
búsqueda (su pila esta vacía), entra en estado inactivo.

Procesador
Activo
Servicio pendiente de
recibir mensajes
Realizar una cantidad
de trabajo fija
Seleccionar un
procesador y solicitarle
trabajo
Servicio pendiente de
recibir mensajes
Procesador
Inactivo
Termina el
trabajo
disponible
Comienza a
trabajar
Enviar una petición
No existe trabajo
disponible

 Cuando un procesador encuentra la solución, envía un
mensaje de broadcast a todos procesadores para estos
paren la búsqueda.
 Si no se recibe este mensaje, el algoritmo terminará cuando
todos los procesos estén en estado inactivo.

 Los algoritmos paralelos de búsqueda en un árbol de
soluciones tienen 2 características fundamentales que
determinan su rendimiento:
 La estrategia utilizada para dividir el trabajo de un procesador
cuando éste recibe una petición de trabajo.
 El esquema usado para determinar el procesador donador
cuando un procesador entra en estado inactivo.

Estrategia de División del trabajo
 Cuando un procesador donador recibe una petición de
trabajo de otro procesador y tiene nodos su pila, el
procesador donador divide su pila en dos y una de ellas se
envía al proceso que realizo la petición.
 Si se envía poco trabajo, el receptor rápidamente pasa a
estar en estado inactivo.
 Si se envía demasiado trabajo, el donador entrará
rápidamente en estado inactivo.
 Lo ideal sería dividir la pila en dos partes iguales de modo
que el espacio de búsqueda representado por cada una sea
el mismo.

 A este método se le llama “División por la mitad”.
 Pero la dificultad reside en estimar el tamaño que tendrán
los subarboles asociados a cada uno de los nodos que se
encuentran en la pila.
 Normalmente los nodos cercanos al fondo de la pila (nodos
con profundidad cercana al nodo raíz del procesador)
tienen más posibilidades de generar árboles de mayor
tamaño.
 Los nodos más cercanos al tope de la pila (nodos que están
a mayor profundidad) tienen más posibilidades de generar
árboles de menor tamaño.
Estrategia división de trabajo

 Para evitar mandar cantidades pequeñas de trabajo, los
nodos de la pila que están más allá de una determinada
profundidad no son enviados.
 A esta profundidad se le llama “cota de profundidad”.
 Algunas estrategias posible para la división del trabajo son:
 Enviar nodos cercanos al fondo de la pila
 Enviar nodos cercanos a la cota de profundidad.
 Enviar la mitad de los nodos que están entre el fondo de la
pila y la cota de profundidad.
 La idoneidad de una estrategia u otra dependerá de la
naturalidad del espacio de búsqueda.

Cota de
profundidad
1
2 3
4
6 7
5
8
12 13
9
10 11
14
3
5
7
9
11
13
14
Pila

 Los esquemas de balanceo de carga se utilizan para decidir
que procesador donador se elige cuando un procesador
entra en estado inactivo.
 Algunos esquemas posibles son los siguientes:
 Round Robin Asíncrono
 Round Robin Global
 Selección aleatoria
Esquemas de balanceo de carga

Round Robin Asíncrono
 Cada procesador mantiene una variable local llamada
“target”.
 Cuando un procesador termina de trabajar, usa el valor de
su variable “target” para determinar el procesador donador
al que enviar la petición de trabajo.
 Cada vez que se envía una petición, se incrementa en una
unidad el valor de la variable “target” del procesador:
target = ((target+1) modulo p)
 El valor inicial de target será:
target0 = ((nº procesador+1) modulo p)

Round Robin Global
 Existe una única variable “target” almacenada en el
procesador P0.
 Cuando un procesador necesita trabajo, solicita y recibe el
valor de la variable target de P0.
 Una vez que se sabe cual es el procesador donador, el
procesador le envía una petición de trabajo.
 Luego, P0 incrementa la variable target antes de responder a
otra petición.
target = ((target+1) modulo p)

Round Robin Global
 Este esquema garantiza que sucesivas peticiones de
trabajo se distribuyen uniformemente entre todos los
procesadores.
 La desventaja principal de este esquema es que el
procesador P0 debe gestionar todas las peticiones de
acceso a la variable target, y esto puede convertirse en un
cuello de botella.

Selección aleatoria
 Es el esquema más simple de todos
 Cuando un procesador entra en estado inactivo, se elige un
procesador al azar.
 Cada procesador tiene la misma probabilidad de ser
seleccionado como donador.
 Así se asegura que las peticiones se distribuyan
uniformemente.

 Cuando un procesador encuentra una solución del
problema se envía un mensaje de broadcast a todos los
procesadores para indicarle que terminen.
 Pero cuando no se encuentra ninguna solución. ¿Cómo
detectar cuando termina el proceso de búsqueda?
 A continuación se describen dos algoritmos para detectar la
terminación de la búsqueda.
 Algoritmo de terminación de Dijkstra´s.
 Algoritmo de terminación basado en árbol.
Detección de terminación

Algoritmo de terminación de Dijkstra´s
 Los procesadores se organizan en un anillo lógico y se irán
pasando un token.
 Un procesador puede estar en dos estados: blanco o negro.
 Un token también puede estar en dos estados: blanco o
negro.
 Inicialmente todos los procesadores están en estado
blanco.

Algoritmo de terminación de Dijkstra´s
 El algoritmo es el siguiente:
 Cuando P0 esta inactivo, el procesador crea un token y envía
un token blanco al procesador P1.
 Si el procesador Pi envía trabajo al procesador Pj (i>j), el
procesador Pi cambia a estado negro.
 Si el procesador Pi tiene el token y esta inactivo, pasa el token
al Pi+1. Si Pi está en estado negro, el color del token se
establecerá a negro antes de pasarlo a Pi+1. Si Pi esta en
estado blanco, el token se pasa sin cambiarlo.
 Cuando Pi pasa el token a Pi+1 pasa a estado blanco.
 El algoritmo termina cuando a P0 le llega un token blanco.

Algoritmo de terminación basado en árbol
 Se asocia un peso a cada procesador.
 Inicialmente, P0 tiene todo el trabajo y se le asocia un peso
de 1.
 Cuando Pi particiona y manda trabajo a otro procesador, Pi
se queda con la mitad del peso y la otra mitad se la envía al
otro procesador.
 Cuando un procesador termina su trabajo, se devuelve el
peso al procesador del que se recibió el trabajo.
 El algoritmo termina cuando el peso del procesador P0
vuelve a ser 1.

w0=0.5
w1=0.5

w0=0.5
w1=0.5
w0=0.5
w1=0.25
w2=0.25

w0=0.5
w1=0.5
w0=0.5
w1=0.25
w2=0.25
w1=0.25
w2=0.25
w0=0.25
w3=0.25

w0=0.5
w1=0.5
w0=0.5
w1=0.25
w2=0.25
w1=0.25
w2=0.25
w0=0.25
w3=0.25
w1=0.5
w0=0.25
w3=0.25

w0=0.5
w1=0.5
w0=0.5
w1=0.25
w2=0.25
w1=0.25
w2=0.25
w0=0.25
w3=0.25
w1=0.5
w0=0.25
w3=0.25 w1=0.5
w0=0.5

w0=0.5
w1=0.5
w0=0.5
w1=0.25
w2=0.25
w1=0.25
w2=0.25
w0=0.25
w3=0.25
w1=0.5
w0=0.25
w3=0.25 w1=0.5
w0=0.5
w0=1

Índice
 Introducción
 Backtracking
 Backtracking paralelo

Branch and Bound

Branch and Bound
 Técnica similar a Backtracking
 Suele utilizarse en problemas de optimización.
 Este esquema puede verse como una mejora del esquema
de backtracking.
 Al igual que en backtracking, el algoritmo realiza una
búsqueda sistemática en un árbol de soluciones.

Branch and Bound
 Pero Branch and Bound añade dos características nuevas:
 Estrategia de ramificación: La búsqueda se guiará por
estimaciones de beneficio que se harán en cada nodo.
 Estrategia de poda: Para eliminar nodos que no lleven a a la
solución óptima. Estimación de cotas de beneficio en cada
nodo.
 Para cada nodo tendremos la siguiente información:
 Cota inferior (CI) y cota superior (CS) de beneficio que se
puede obtener a partir del nodo. Determinan cuando se puede
realizar una poda.
 Estimación del beneficio que se puede encontrar a partir del
nodo. Ayuda a decidir el orden de evaluación de los nodos.

Estrategia de poda
 Suponemos un problema de maximización. Se han recorrido
varios nodos y ha estimado la cota inferior y superior de cada
uno de ellos.
1
2 3
4 5
3 9
2 15 12 25

Estrategia de poda
 El nodo 2 puede podarse, ya que el nodo 5 tiene una cota
inferior mayor que la cota superior del nodo 2.
1
2 3
4 5
3 9
2 15 12 25
x

Estrategia de ramificación
 Se pueden utilizar distintas estrategias para recorrer el árbol
de soluciones. Puede recorrerse en profundidad, en anchura,
según el beneficio estimado,…
 Se utiliza una lista de nodos vivos (contiene nodos generados
y aún no explorados).
 Algoritmo:
 Sacar un nodo de la lista de nodos vivos
 Generar sus descendientes
 Si no se podan, se introducen en la lista de nodos vivos.

Estrategia de ramificación
 ¿Qué criterio se utiliza para seleccionar el nodo que se saca
de la lista de nodos vivos?
 Estrategia FIFO
 Estrategia LIFO
 Estrategia del menor costo

Complejidad
 El tiempo de ejecución depende:
 Número de nodos recorridos.
 Tiempo gastado en cada nodo.
 En el caso promedio se suelen obtener mejoras respecto al
algoritmo de backtracking.
 Pero en el pero caso, el tiempo puede ser peor.
 Se debe buscar un compromiso entre la exactitud de las
cotas y el tiempo utilizado en calcularlas.

Conclusiones
 En general, el esquema de branch and bound suele obtener
mejores resultados que el de backtracking.
 Sigue siendo muy ineficiente.

Índice
 Introducción
 Backtracking
 Backtracking paralelo
 Branch and Bound parelelo

Branch and Bound paralelo
 Al igual que sucedía con backtracking, no es un
esquema puramente paralelo.
 En el proceso secuencial, se necesita información global
para poder hacer la poda de nodos.
 Se puede paralelizar distintos tipos de niveles.
 Tipos de niveles:
 Búsqueda paralela ejecutando el algoritmo con distintos
parámetros sobre el espacio global de búsqueda en varios
procesadores. Cálculo de cotas, de estimaciones, y criterio
selec.

Branch and Bound paralelo
 Tipos de nivel.
 Se paralelizan partes del algoritmo.
La estructura del algoritmo no cambia.
Por ejemplo, se expanden en paralelo los nodos.
 Se divide el espacio de búsqueda entre los procesadores.
De la lista de nodos vivos se asignan nodos distintos a cada
procesador.
La distribución del trabajo puede ser estática o dinámica, del
mismo modo que sucedía con backtracking.

 A cada procesador se le asigna un número fijo de nodos de la
lista de nodos vivos.
 Los procesos pueden comunicarse la cotas o no.
 Si no se comunican las cotas:
 Se necesitan pocas comunicaciones entre procesos.

Puede que se estudien nodos que se podían haber podado.
 Si se comunican las cotas:
 Se evita que los procesadores estudien nodos innecesarios.

Se necesitan bastantes comunicaciones entre los procesos.
 Además, al asignar los nodos estáticamente puede darse un
desbalanceo de carga de trabajo entre los procesadores.

 Puede utilizarse una bolsa de tareas para asignar los nodos
a los procesos de forma dinámica, como se hacía con
backtracking.
 Pero ahora tenemos la opción de comunicar las cotas.
 Los procesadores toman los nodos y los exploran y
depositan los descendientes de los nodos explorados en la
bolsa de trabajo.
 Existen dos estrategias para depositar los nodos: inmediata
o pospuesta.

 Actualización inmediata
 Cuando se generan los descendientes de un nodo se introducen
de inmediato en la bolsa.
 Muchas comunicaciones.
 Actualización pospuesta
 Cuando se generan los descendientes de un nodo no se
introducen de inmediato en la bolsa, se sigue generado
descendientes a partir de estos. Cada cierto tiempo se
introducen en la bolsa.
 Ventajas: Pueden podarse algunos nodos y no se accede tanto
a la bolsa de tareas.

 Sistema de memoria compartida
 Se tiene una estructura centralizada de donde los
procesadores toman e introducen tareas.
 Sistema de memoria distribuida
 Se tienen bolsas de trabajo en uno o en varios procesadores.
 Las peticiones y el depósito de los trabajos conllevan
comunicaciones.
 Se descentraliza la bolsa de tareas.
 Actualización inmediata o pospuesta.

 Comunicación de cotas:

Si se comunican las cotas con mucha frecuencia, se
podrán podar más nodos pero puede pederse eficiencia al
realizar tantas comunicaciones.

Si no se comunican con mucha frecuencia, no se podarán
tantos nodos pero no habrá tantas comunicaciones.

 Una única bolsa de trabajos
 Mayor contención.
 La bolsa puede convertirse en un cuello de botella.
 Varias bolsas de trabajos
 Aumenta el desbalanceo de las tareas
 Se trata de buscar un compromiso entre el desbalanceo y la
contención.

Backtracking

Más contenido relacionado

La actualidad más candente

Destacado

Similar a Backtracking

Último

Backtracking

Notas del editor