SlideShare una empresa de Scribd logo
1 de 55
Capítulo 9
Diseño de
Experimentos en
Simulación
08
• Comparación y evaluación de alternativas de diseño
de sistemas
A. 2 Sistemas
• Muestras Independientes
• Muestras Correlacionadas
B. Sistemas Multiples (>2)
• Método de Bonferroni
• Modelos de Diseño de Experimental
Contenido de Temas
• Estudio comparativo del comportamiento de un sistema
bajo dos escenarios excluyentes. Por Ejemplo:
– Modelo 1: Banco con una línea espera ante cada cajero
– Modelo 2: Banco con una sola línea de espera para
todos los cajeros
• Para comparar los dos sistemas el Analista debe
seleccionar:
– Un largo de corrida, Ti , para cada modelo (i=1,2)
– Un número de réplicas, Ri, para simular cada modelo
• Hipótesis Nula: No existe una diferencia significativa en el
desempeño entre ambos diseños.
• Hipótesis Alternativa: Existe una diferencia significativa.
Comparación de 2 Sistemas
• Muestras Independientes
– Procesar diferentes Entidades en cada Escenario
º Variancias Iguales ( ’s iguales )
º Variancias Desiguales ( ’s distintos)
• Muestras Correlacionadas
– Procesar las MISMAS entidades en ambos
escenarios
– Analizar las propiedades de la Entidad a su
llegada
Comparación de 2 Sistemas
I.C. para m1- m2 =

La diferencia entre dos medias obedece a una distribución normal con:
Supuesto: Muestras Independientes con más de 30 observaciones cada una
2
2
2
1
2
1
)
(
&
)
( 2
1
2
1
2
1 n
n
Y
Y
Var
Y
Y
E 

m
m 

-
-

-
Muestras Grandes
Diferencia de dos Medias
2
2
2
1
2
1
2
/
2
1 )
( n
n
Z
Y
Y 

 

-
2
2
2
1
2
1
2
/
2
1 )
( n
S
n
S
Z
Y
Y 

- 
La aproximación es buena, siempre que ningún
intervalo incluya el 0 o el 1
Para muestras grandes n1 y n2 > 30
Muestras Grandes
Diferencia de dos
Proporciones
    2
2
2
1
1
1
2
1
ˆ
ˆ
ˆ
ˆ
2
/
2
1
)
ˆ
ˆ
(
2
/
2
1
ˆ
ˆ
ˆ
ˆ n
q
p
n
q
p
p
p Z
p
p
Z
p
p 

-


- - 
 
Supuestos
1.- Muestras independientes de poblaciones normales
2.- Variancias desconocidas pero iguales
=
donde (”varianza combinada”)
Muestras Pequeñas con Variancias Iguales
Diferencia de Medias de procesos
I.C. para m1- m2 2
1
2
1
1
1
2
,
2
/
2
1 )
( n
n
p
n
n S
t
Y
Y 

- -


)
1
(
)
1
(
)
1
(
2
1
2
2
2
2
1
1
2
-

-

-

n
n
S
n
S
n
Sp
)
( 2
2
2
2
1 

 

Pequeñas Muestras, Variancias Desiguales
Diferencia de Medias de procesos
I.C. para m1- m2 = 2
2
2
1
2
1
,
2
/
2
1 )
( n
S
n
S
v
t
Y
Y 

- 
1
2
2
2
2
2
1
1
2
1
2
1
2
2
2
2
1
2
1
-










-





















n
n
S
n
n
S
n
S
n
S
v
Donde
Asumiendo : Independencia y Normalidad
   
   
)
1
(
)
2
/
1
(
,
1
2
,
1
1
2
2
2
1
2
2
2
1
2
/
,
1
2
,
1
1
2
2
2
1
Prob
:
Pivotear
de
Despues
1
2
,
1
1
~
2
2
2
2
2
1
2
1
1
2
/
2
2
2
2
1
2
1
1
/
2
1
2
1
1
1
2
/
2
2
1
/
2
1













-



















-
-
-


-
-
-
-

-
-
-
-


















































n
n
F
S
S
n
n
F
S
S
n
n
F
S
S
n
S
n
n
S
n
F
Asumiendo : Muestras Independientes de una Población Normal
Intervalo de confianza para 2 Varianzas
IC para la diferencia de 2 Medias:
Muestras Correlacionadas
Consideremos PARES de observaciones relativas al factor
común de los 2 sistemas (Y1i, Y2i)
Sea di = Y1i - Y2i la diferencia observada para el par
i-ésimo I.C. para
donde son la media y la desviación estándar de
una muestra de n diferencias.
n
S
t
d d
n 1
,
2
/
_
d -

 
m
d
S
d y
_
Asumiendo : Observaciones Aleatorias; la población de las
diferencias de los pares sigue una distribución Normal.
• De:
• Luego, VCORR = VIND -
VCORR < VIND (siempre que la correlación sea positiva)
• Una correlación positiva está generalmente (NO siempre!) inducida por
el uso de los mismos números aleatorios para generar entidades.
R
2
1
21
2 


R
R
R
y
y
2
1
21
2
2
2
1
2
.
.1
.2
.1
2
.
.1
2
)
,
y
cov(
2
)
y
var(
)
y
var(
)
y
var(





-



-


-
Muestras Correlacionadas
• Muestreo:
– Fijo (tamaño de las muestras predeterminado)
– Secuencial (se recogen suficientes datos en la muestra hasta
que se alcanza una precisión predeterminada)
• Metas:
– Estimación de cada parámetro (K intervalos de confianza)
– Comparación de cada medida de funcionamiento c/r de un
valor de control (K-1 intervalos de confianza)
– Todas las comparaciones posibles (K(K-1)/2 intervalos de
confianza)
– Selección del mejor (el más grande o el más pequeño)
Comparación de Escenarios Múltiples
• En la mayoría de los modelos de simulación reales, se
consideran varias medidas de desempeño simultáneamente.
• Algunos ejemplos:
– Throughput ( Medida Rendimiento Global)
– Largo promedio de la cola
– Utilización
– Tiempo promedio en el sistema
• Cada medida de desempeño se estima frecuentemente con un
intervalo de confianza.
• Cualquiera de los intervalos podría “fallar” en relación a su
medida de desempeño esperada.
• Se debe tener cuidado con sobredimensionar los indicadores
(ya en tal caso es difícil que todos los intervalos contengan sus
medidas de funcionamiento esperadas simultáneamente).
Múltiples Medidas de Desempeño
 
• Suponga que tenemos k medidas de desempeño y el intervalo de
confianza para la medida de desempeño s para s = 1, 2, ..., k, está
en un nivel de confianza
• Entonces la probabilidad que todos los k intervalos de confianza
contengan simultáneamente su medida real respectiva es
• Esta desigualdad es conocida como la desigualdad de Bonferroni o
desigualdad de Boole.
s

-
1


-

k
s
s
1
1 
todos los intervalos contengan su
medida de desempeño respectiva
P
Múltiples Medidas de Desempeño
• Para asegurar que la probabilidad (que los k intervalos de
confianza contengan simultáneamente a su verdadera media)
sea por lo menos 100 ( ) %, debemos elegir los ‘s tales
que
• Se pueden seleccionar para todos los s = /k, o escoger los
diferentes ’s para las medidas de desempeño más
importantes).
s
s1
k
  
 
s k


Múltiples Medidas de Desempeño

-
1 
• Ejemplo: Si k =2 y quisieramos que el nivel total deseado de
confianza fuera por lo menos 90%, podemos construir dos
intervalos de confianza del 95%.
• Dificultad: Si hay una gran cantidad de medidas de
desempeño, y deseamos un nivel total razonable de confianza
(ej., 90% ), los individuales podría llegar a ser muy pequeño,
haciendo los intervalos de confianza correspondientes muy
amplios. Por lo tanto, se recomienda que el número de
medidas de desempeño no exceda de 10.
s
Múltiples Medidas de Desempeño
• La mayoría de los proyectos de simulación requieren de la
comparación de dos o más sistemas o configuraciones:
– Modificar la arquitectura de redes en centros de trabajo
– Evaluar varias políticas de despacho de trabajo (FIFO,LIFO, etc.)
• Con dos sistemas alternativos, la meta puede ser:
– test de hipótesis: v/s
– construir intervalos de confianza para
• Con k > 2 alternativas, el objetivo puede ser:
– construya intervalos de confianza simultáneos para varias
combinaciones de
– seleccione la “mejor” de las k alternativas
– seleccione un subconjunto de tamaño m < k que contenga la
“mejor” alternativa
H0 1 2
:m m
 Ha
:m m
1 2
>
m m
1 2
-
m m
i i
1 2
-
Análisis de varios Sistemas
• Formar un intervalo de confianza para la diferencia entre las medidas
de desempeño de los dos sistemas ( ej., ).
• Si el intervalo no contiene al 0, hay una diferencia estadística
significativa entre los dos sistemas.
• Los intervalos de confianza son mejores que los test de hípótesis
porque si existe una diferencia, el intervalo de confianza mide su
magnitud, no así un test de hipótesis.
• Hay dos maneras levemente distintas de construir intervalos de
confianza:
– Pares-t
– Dos-Muestras-t.
 m m
 -
1 2
Comparación de dos Sistemas Alternativos
• Efectuando n replicas de los 2 sistemas.
• Sea la j-ésima observación del sistema I (i = 1, 2).
• El par define para j = 1, 2, …, n.
• Entonces , los son v.a. IID con
cantidad para la cúal nosotros deseamos construir un intervalo un
I.C.
• Sea
;
• Entonces, el intervalo 100(1- ) % es
Y
ij
 
j
j Y
Y 2
1 , Z Y Y
j j j
 -
1 2
Z j ' s E Z j
( )  
Z n
Z
n
j
j
n
( ) 


1  
 
Var Z n
Z Z n
n n
j
j
n
( )
( )
( )

-
-


1
2
1

 
Z n t Z n
n
( ) ( )
,
 - -
1 1 2
 Var
Intervalo de Confianza de Pares
• Hacer n1 replicaciones del sistema 1 y n2 replicaciones del sistema 2.
Aquí
• Nuevamente, para el sistema i = 1, 2, queda
y
Estimar los grados de libertad como
Entonces, el I.C. aproximado 100(1- ) porciento es
n n
1 2

Y n
Y
n
i i
ij
j
n
i
i
( ) 


1
 
S n
Y Y n
n
i i
ij i i
j
n
i
i
2 1
2
1
( )
( )

-

-

 
   
f
S n n S n n
S n n n S n n n


-  -
1
2
1 1 2
2
2 2
2
1
2
1 1
2
1 2
2
2 2
2
2
1 1
( ) ( )
( ) ( ) ( ) ( )
Y n Y n t
S n
n
S n
n
f
1 1 2 2 1 2
1
2
1
1
2
2
2
2
( ) ( )
( ) ( )
,
-  
-

Intervalo de Confianza de 2 Muestras
• El método de dos muestras-t requiere independencia
entre e mientras que el método de pares -t
no requiere independencia entre e
• Por lo tanto, en el método de pares-t, números
aleatorios pueden ser usados para introducir correlación
positiva entre las observaciones de los diferentes
sistemas como una forma de reducir la variancia.
• En el método de pares-t ,se debe cumplir que n1 = n2,
mientras que en el método de dos muestras n n
1 2

Y j
1 's s
'
2 j
Y
Y j
1 's Y j
2 ' s
Comparación de los Métodos
• En el caso de más de dos sistemas alternativos, hay dos
maneras de construir un intervalo de confianza en las
diferencias seleccionadas .
– Comparación con un estándar o testigo
– Comparación de todos los pares
NOTA: Puesto que estamos haciendo k > 1 intervalos, para
tener un nivel total de confianza de , debemos
hacer cada intervalo al nivel (Bonferroni).
m m
i i
1 2
-
1- 
k

-
1
Intervalos de Confianza para Comparar
más de dos Sistemas
• En este caso, uno de los sistemas (quizás el sistema en
operación o la política existente) es un “estándar”. Si el
sistema 1 es el estándar y deseamos comparar los sistemas
2, 3, ..., k con el sistema 1, se deben construir k-1 intervalos
de confianza para las k-1 diferencias
• Para alcanzar un nivel total de confianza de al menos ,
cada uno de los k-1 intervalos de confianza se debe
construir en el nivel
• Podemos usar los métodos pares-t o dos-muestras-t
descritos en la sección previa para hacer los intervalos
individuales.
m m m m m m
2 1 3 1 1
- - -
, , ..., k
1 1
- -
 ( )
k
1- 
Comparación con un estándar
• En este caso, cada sistema se compara a todos los otros sistemas
para detectar y cuantificar cualquier diferencia significativa. Por lo
tanto, para k sistemas, construimos k (k -1) / 2 intervalos de confianza
para las k (k -1) / 2 diferencias:
• Cada uno de los intervalos de confianza deben ser construidos en un
nivel de para que una confianza total de al
menos sea alcanzada.
• Nuevamente, podemos usar los métodos pares-t o dos-muestras-t
para hacer los intervalos de confianza individuales.
m2 – m1 m3 – m1 ... mk – m1
m3 – m2 ... mk – m2
.
.
.
mk – mk–1
1 1 2
- -
 [ ( ) ]
k k
1-
Comparación de todos los pares
• El objetivo de la selección y el ranking son diferentes y más
ambiciosas que hacer simplemente una comparación entre
varios sistemas alternativos. Aquí, la meta puede ser:
– Seleccionar el mejor de k sistemas
– Seleccionar los distintos subconjuntos de tamaño m a partir
de los k sistemas
– Seleccionar el mejor subgrupo m
– Seleccionar la mejor Solución dentro del subgrupo
Ranking y Selección
1. Seleccionar el mejor de k sistemas:
• Queremos seleccionar uno de los k sistemas alternativos como el
mejor.
• Debido a la aleatoriedad inherente en los modelos de simulación,
no podemos estar seguros que el sistema seleccionado es el de
menor (asumiendo que “menor” es bueno). Por lo tanto,
especificamos una probabilidad P* de selección correcta (como
0.90 or 0.95).
• También especificamos una zona de indiferencia d* la cual quiere
decir que si la mejor media y la segunda mejor media difieren por
más de d*, seleccionamos la mejor con probabilidad P*.
• Como ejemplo, suponga que tenemos 5 configuraciones
alternativas y queremos identificar el mejor sistema con una
probabilidad de al menos 95%.
mi
Ranking y Selección
2. Seleccionar un subconjunto de tamaño m que contenga
al mejor de los k sistemas:
• Queremos seleccionar un subconjunto de tamaño m
(< k) que contenga al mejor sistema con una
probabilidad de al menos P*.
• Este acercamiento es útil en la visión inicial de las
alternativas para eliminar las opciones inferiores.
• Por ejemplo, suponga que tenemos 10
configuraciones alternativas y deseamos identificar
un subconjunto de 3 alternativas que contengan al
mejor sistema con una probabilidad de al menos
95% .
Ranking y Selección
3. Seleccionar el mejor m de k sistemas:
• Queremos seleccionar el mejor m (no ordenado) de los k
sistemas de modo que con probabilidad de al menos P* las
respuestas esperadas del subconjunto seleccionado sean
iguales a las m respuestas mas pequeñas esperadas.
• Esta situación puede ser útil cuando deseamos identificar
varias buenas opciones, en el caso de que la mejor sea
inaceptable por alguna razón.
• Por ejemplo, suponga que tenemos 5 configuraciones
alternativas y deseamos seleccionar las 3 mejores y
tenemos que la probabilidad de seleccionar la correcta es al
menos 90% .
Ranking y Selección
• Para ilustrar el peligro en la generación de un sólo paso y calcular
visualmente los resultados al comparar alternativas, considere el
siguiente ejemplo:
Comparar:
Alternativa 1: M/M/1 cola con tiempo entre llegadas de 1 min., y
una máquina “rápida” con tiempo de servicio de 0.9 min., y
Alternativa 2: M/M/2 cola con tiempo entre llegadas de 1 min., y
dos máquinas “lentas” con tiempo de servicio de 1.8 min. por cada
máquina.
vs.
Ejemplo. Comparación de Sistemas
• Si la medida del desempeño de interés es el retardo medio
esperado en la cola de los 100 primeros clientes, con
condiciones iniciales vacias y ociosas, usando análisis de
colas, los retardos medios del estado estacionario en la cola
son:
Por lo tanto, sistema 2 es “mejor”
• Si ejecutamos cada modelo apenas una vez y calculamos el
retardo promedio, , de cada alternativa, y se selecciona el
sistema con el más pequeño, entonces
Prob(seleccionando sistema 1 (respuesta incorrecta)) = 0.52
• Razón: La aleatoriedad de la salida
m m
1 2
4 13 3 70
 > 
. .
Yi
Yi
Ejemplo. Comparación de Sistemas
• Solución:
– Replique cada alternativa n veces
– Haga = retardo medio de la j-ésima replica de la
alternativa i
– Calcule el promedio de todas las réplicas para la
alternativa i
– Seleccione la alternativa con el menor
• Si hacemos este experimento muchas veces,
obtendremos el siguiente resultado:
n P(respuesta incorrecta)
1
5
10
20
0.52
0.43
0.38
0.34
Y
ij
Y
Y
n
i
ij
j
n



1
Yi
Ejemplo. Comparación de Sistemas
Diseño de Experimentos
(DoE)
y
Superficie de Respuesta
(RSM)
• Motivación y Terminología
– Dificultades en la Solución de Problemas de DoE
– Ejemplos de Factores y Respuestas
• Tipos de Diseño de Experimentos
– Diseño Factorial Completo
– Aleatorización de Efectos
– Ejemplos de Diseño Factorial Completo
– Situaciones con Muchos Factores
• Superficies de Respuesta Meta-modelos
– Análisis de Regresión
– Metodología de Superficie de Respuesta (RSM)
Contenido de Temas
• Si existen muchas alternativas a considerar (i.e., un gran
número de niveles, varios tipos o categorías o un gran número
de parámetros) para un sistema propuesto
• Dos tipos básicos de variables son: factores y respuestas
• Factores: Parámetros de Entrada de un modelo de Simulación
-controlables o no controlables
-cuantitativos o cualitativos
• Respuestas: Salidas de un un modelo de Simulación
- Naturaleza incierta (Ruido)
• Problema Básico : Encontrar los mejores niveles (o valores de
los parámetros) en términos de las respuestas
• Diseño Experimentos nos dice que alternativas debemos
simular (experimentar), para así obtener la información
deseada con la menor cantidad de simulaciones (corridas)
Motivación y Terminología
¿Cuándo utilizamos DoE?
 Múltiples Factores (F)
 Múltiples Respuestas (O)
 Respuesta incierta ( Ruido)
 Limitaciones F
SISTEMA
R
I
O
Dificultades en la Solución del
Problema Básico en DoE
1. Tiempo Medio entre llegadas (Cuantitativa no controlable)
2. Tiempo Medio de servicio (Cuantitativa controlable o no)
3. Número de servidores (Cuantitativa controlable)
4. Disciplina de las colas (Cualitativa controlable)
5. Reorder point (Cuantitativa controlable)
6. Tiempo Medio entre demandas (Cuantitativa no controlable)
7. Distribución del tiempo entre demandas (Cualitativa no
controlable)
Ejemplo de Factores
1. Tasa media de producción diaria
2. Tiempo medio para los pacientes en el Sistema
3. Nivel medio de inventario
4. Número de clientes que esperan más de 15 minutos
Ejemplo de Respuestas
• Réplica - repetición de un experimento básico.
• Tratamiento – una combinación específica de niveles
de los factores.
• Unidad Experimental - la unidad a la cual un
tratamiento simple es aplicado (one replication of the
basic experiment).
• Error Experimental - error entre dos unidades
tratamientos experimentales idénticos que producen
resultados similares.
• Confundido - el “mixing up” de dos o más factores de
modo que es imposible separar los efectos.
Motivación y Terminología en DoE
• Aleatorización - Asignación aleatoria de
tratamientos a las unidades experimentales
(assures independent distribution of errors)
• Efecto Principal (de un factor) – una medida
del cambio en una variable de respuesta,
debido al cambio de nivel del factor,
promediando los efectos de todos los
factores restantes
• Interacción es un efecto adicional (sobre la
respuesta) debido a la influencia de la
combinación de dos o más factores.
Motivación y Terminología en DoE
• Diseño Completamente Aleatorizado
• Diseño en bloques Completamente Aleatorizado
• Diseño Factorial Completo
• Diseño Factorial Fraccionario
• Diseño Factorial Anidado
• Diseño de cuadrados latinos
• Diseño Jerarquizado
• etc.
Tipos de Diseños de Experimentos
Computacionales
• Supongamos que tenemos k (k > 2) factores.
Un diseño factorial 2k (2k factorial design)
requiere que dos niveles sean escogidos por
cada factor, y que “n” corridas de simulación
(replicas) se ejecuten por cada una de las 2k
posibles combinaciones de niveles de los
factores (design points). Para 3 factores,
podemos usar la Matriz de Diseño:
Diseño Factorial 2k
Matriz de Diseño para 3 Factores
Factor 1 Factor 2 Factor 3
Design Point Level Level Level Response
1 - - - O1
2 + - - O2
3 - + - O3
4 + + - O4
5 - - + O5
6 + - + O6
7 - + + O7
8 + + + O8
“+” se refiere a uno de los niveles de un factor y “-” se refiere
al otro nivel . Normalmente, para factores cuantitativos , el
nivel más grande y más pequeño de cada factor elegido.
Diseño Factorial 2k
• El Efecto Principal del factor 1 es el cambio en la variable
respuesta como resultado del cambio en el nivel del factor,
promediando los efectos de los restantes factores.
• Si el efecto de alguno de los factores depende del nivel de
cualquier otro factor, se dice que estos factores interactúan
• El grado de interacción (two-factor interaction effect)
entre dos factores i y j está definido como:
       
e
O O O O O O O O
1
2 1 4 3 6 5 8 7
4

-  -  -  -
e
O O O O O O O O
12
4 3 8 7 2 1 6 5
1
2 2 2

-  -
-
-  -






( ) ( ) ( ) ( )
Diseño Factorial 2k : Estimación
• Consideremos un modelo de simulación de un
sistema de producción. Las 2 variables de decisión
o factores a considerar son: Presión (P) y
Temperatura (T) para el sistema de producción.
Los valores máximos y mínimos admisibles para
cada factor están dados por:
• Supongamos que la variable respuesta de salida
del modelo es el rendimiento del proceso .
Diseño Factorial Completo (2k)
Factor Minimum
Value
Maximum
Value
P 20 40
T 15 50
• Una matriz de diseño 22 con los resultados de simulación (para
10 replicas en cada punto de diseño ) está dada por:
Donde un factor de nivel “-” indica el mínimo valor posible
para el factor, y un factor en el nivel “+” indica el máximo
valor posible ; por ejemplo, para el design point 2 se tiene
P=40 and T =15.
Diseño Factorial Completo (2k)
Design Point Factor Level for
P T
Response
1
2
3
4
- -
+ -
- +
+ +
135.6
128.2
121.7
131.5
• La respuesta dada es el costo promedio de las 10 réplicas. El efecto
principal es:
• El efecto de interacción esta dado por
• Además, el efecto medio de incrementar P de 20 a 40 es un
incremento en el rendimiento de 1.2, y el efecto medio de
incrementar T desde 15 a 50 es una reducción en el rendimiento de
5.3. Esto podría aconsejar seleccionar el factor T como el valor más
bajo y el factor P como el más alto.
3
.
5
2
)
2
.
128
5
.
131
(
)
6
.
135
7
.
121
(
2
)
(
)
( 2
4
1
3
-

-

-

-

-

O
O
O
O
eT
e
O O O O
P 
-  -

-  -

( ) ( ) ( . . ) ( . . )
.
2 1 4 3
2
128 2 135 6 1315 1217
2
12
6
.
8
2
5
.
131
7
.
121
2
.
128
6
.
135


-
-

PT
e
Diseño Factorial Completo (2k)
• También a menudo un efecto de interacción
positivo, podría indicar que los efectos de los
factores P y T tienen niveles opuestos.
• Por supuesto que esto se puede inferir de un breve
análisis de las respuestas para combinaciones de
diseño.
• Note también que la interpretación del efecto
principal asume que no hay efecto de interacción.
Diseño Factorial Completo (2k)
• Observemos que los efectos principales e
interacciones calculados en el ejemplo previo son
variables aleatorias. Para determinar si los efectos
son realmente significativos o si su cambio se debe a
fluctuaciones aleatorias deberíamos calcular los
efectos principales e interacciones varias veces (10 o
más) y construir un intervalo de confianza para cada
efecto principal e interacción.
• Si el intervalo de confianza contiene al cero, entonces
el efecto no es estadísticamente significativo. (Note
que la significancia estadística no necesariamente
implica significancia práctica).
Aleatoriedad de los Efectos
• Cuando existan muchos factores a considerar en el
diseño factorial completo, se puede recurrir al diseño de
experimentos factorial fraccionado (2k-p , 3k-p , etc).
• Cuando no sea posible utilizar un diseño factorial
fraccionado es posible recurrir a otros diseños por
ejemplo diseños sobresaturados (Mauro 1986).
• Otra aproximación para reducir el número de factores
es considerar la técnica de factores ocultos o agrupación
de factores donde un grupo de factores se consideran
como si fuesen un solo factor (confundido).
Situación con muchos Factores
• Una superficie de respuesta es un gráfico de la variable
respuesta como una función de varios factores.
• Un metamodelo (literalmente, modelo algebraico de un
modelo de simulación), es una representación algebraica
de un modelo de simulación, con los factores como
variables independientes (determinísticas o estocásticas)
y la variable respuesta como variable dependiente. La
que pueda representar una aproximación de la superficie
de respuesta.
• Un metamodelo típico usado en aplicaciones de
simulación es el modelo de regresión.
Superficies de Respuesta y Metamodelos
• A través de un metamodelo la metodología de
superficie de respuesta (RSM) puede encontrar la
respuesta óptima de un conjunto de factores.
También puede ser usada para responder otro tipo
de preguntas (operación evolutiva de procesos).
La Experimentación con un metamodelo es
comúnmente menos costosa que usar el modelo de
simulación directamente.
• Un proceso de diseño de experimento asume un
particular metamodelo (Lineal model, Quadratic
model, etc).
PT
B
T
B
P
B
B
T
P
C
E 12
2
1
0
)]
,
(
[ 



Superficies de Respuesta y Metamodelos
• Los métodos de Regresión son usados para
determinar la mejor relación funcional entre las
variables.
• Supongamos que la relación funcional puede ser
representada por:
E(Y) = f (X1, ..., Xp / B1, ..., BE)
donde E(Y) es el valor esperado de la variable de
respuesta Y; los X1, ..., Xp son factores; y los
B1, ..., BE los parámetros de la forma funcional; e.g.,
E(Y) = B1 + B2 X1 + B3 X2 + B4 X1 X2+……
Conceptos de Análisis de Regresión
• La observación de un valor de respuesta Y, para un
conjunto de X ’s, es asumida como una variable
aleatoria dada por:
Y = f (X1, ..., Xp/B1, ..., BE) +
Donde es una variable aleatoria con media igual
a 0 y varianza . Los valores de B1,...,BE son
obtenidos por algún método de estimación
conveniente ( LS, M, GM etc.).


E
2
Conceptos de Análisis de Regresión
Fuente: (Fu, 1994)
• La metodología de superficie de respuesta
(Response surface methodology RSM) involucra
una combinación de metamodelos (i.e., regresión
lineal y no lineal) y procedimientos secuenciales
de optimización (iterative optimization).
Métodos en Superficie de Respuesta
• RSM compreden 2 Etapas :
– Ajustar un modelo de regresión lineal a los puntos
iniciales en el espacio de búsqueda, (mediante las
réplicas del modelo de simulación). Estimar una
dirección de descenso para el modelo de regresión y un
tamaño de salto hasta encontrar una nueva (mejor)
solución en el espacio de búsqueda. Repita el proceso
hasta que el modelo de regresión lineal resulte
inadecuado (indicando cuándo la pendiente de la
superficie de respuesta lineal es aproximadamente cero;
i.e., cuando los efectos de interacción llegan a ser más
grande que los efectos principales)
– Ajuste de una ecuación de regresión no lineal (quadratic)
a la nueva área de búsqueda (search space). Para luego
encontrar el óptimo de ésta ecuación.

Más contenido relacionado

Similar a 09_Diseno_Experimento.ppt

Capítulo 07 interpretación de resultados
Capítulo 07 interpretación de resultadosCapítulo 07 interpretación de resultados
Capítulo 07 interpretación de resultadosSergio Valenzuela Mayer
 
Simulación de Sistemas - Maestria Ingeniería
Simulación de Sistemas - Maestria IngenieríaSimulación de Sistemas - Maestria Ingeniería
Simulación de Sistemas - Maestria IngenieríaNovarMichellCastaeda
 
Nosferi - Perturbaciones no esfericas en el modelo lineal
Nosferi - Perturbaciones no esfericas en el modelo linealNosferi - Perturbaciones no esfericas en el modelo lineal
Nosferi - Perturbaciones no esfericas en el modelo linealMiguel Jerez
 
11 estructuras de repeticion-tema11
11 estructuras de repeticion-tema1111 estructuras de repeticion-tema11
11 estructuras de repeticion-tema11Elba Sepúlveda
 
Diseño muestral...teoria
Diseño muestral...teoriaDiseño muestral...teoria
Diseño muestral...teoriajavier4445
 
Machine Learning para la Optimización y Mejora de Procesos
Machine Learning para la Optimización y Mejora de ProcesosMachine Learning para la Optimización y Mejora de Procesos
Machine Learning para la Optimización y Mejora de ProcesosMiguel Angel Patiño Antonioli
 
2-el modelo de regresion lineal-2.ppt
2-el modelo de regresion lineal-2.ppt2-el modelo de regresion lineal-2.ppt
2-el modelo de regresion lineal-2.pptssuserd9e9ec1
 
Presentacion unidad 2 graficos de control
Presentacion unidad 2 graficos de controlPresentacion unidad 2 graficos de control
Presentacion unidad 2 graficos de controlGabrielMercadoVilled
 
Guion controlpor variables
Guion controlpor variablesGuion controlpor variables
Guion controlpor variablesleswil
 
Fundamentos de programacion
Fundamentos de programacionFundamentos de programacion
Fundamentos de programacionAndrsTutillo1
 
Actividades Universidades
Actividades Universidades Actividades Universidades
Actividades Universidades Maestros Online
 
Regresion Multiple2
Regresion Multiple2Regresion Multiple2
Regresion Multiple2juancasa2791
 

Similar a 09_Diseno_Experimento.ppt (20)

Capítulo 07 interpretación de resultados
Capítulo 07 interpretación de resultadosCapítulo 07 interpretación de resultados
Capítulo 07 interpretación de resultados
 
Clase 12.pptx
Clase 12.pptxClase 12.pptx
Clase 12.pptx
 
Estadistica ii crc 4
Estadistica ii crc 4Estadistica ii crc 4
Estadistica ii crc 4
 
Simulación de Sistemas - Maestria Ingeniería
Simulación de Sistemas - Maestria IngenieríaSimulación de Sistemas - Maestria Ingeniería
Simulación de Sistemas - Maestria Ingeniería
 
Nosferi - Perturbaciones no esfericas en el modelo lineal
Nosferi - Perturbaciones no esfericas en el modelo linealNosferi - Perturbaciones no esfericas en el modelo lineal
Nosferi - Perturbaciones no esfericas en el modelo lineal
 
11 estructuras de repeticion-tema11
11 estructuras de repeticion-tema1111 estructuras de repeticion-tema11
11 estructuras de repeticion-tema11
 
Estimación de los equilibrios
Estimación de los equilibriosEstimación de los equilibrios
Estimación de los equilibrios
 
Diseño muestral...teoria
Diseño muestral...teoriaDiseño muestral...teoria
Diseño muestral...teoria
 
Machine Learning para la Optimización y Mejora de Procesos
Machine Learning para la Optimización y Mejora de ProcesosMachine Learning para la Optimización y Mejora de Procesos
Machine Learning para la Optimización y Mejora de Procesos
 
Optimizacion 1
Optimizacion  1Optimizacion  1
Optimizacion 1
 
Tipos de graficos de control
Tipos de graficos de controlTipos de graficos de control
Tipos de graficos de control
 
2-el modelo de regresion lineal-2.ppt
2-el modelo de regresion lineal-2.ppt2-el modelo de regresion lineal-2.ppt
2-el modelo de regresion lineal-2.ppt
 
Control de Calidad
Control de CalidadControl de Calidad
Control de Calidad
 
Presentacion unidad 2 graficos de control
Presentacion unidad 2 graficos de controlPresentacion unidad 2 graficos de control
Presentacion unidad 2 graficos de control
 
Guion controlpor variables
Guion controlpor variablesGuion controlpor variables
Guion controlpor variables
 
Control digital
Control digitalControl digital
Control digital
 
Fundamentos de programacion
Fundamentos de programacionFundamentos de programacion
Fundamentos de programacion
 
Actividades Universidades
Actividades Universidades Actividades Universidades
Actividades Universidades
 
Simulaunoitrm
SimulaunoitrmSimulaunoitrm
Simulaunoitrm
 
Regresion Multiple2
Regresion Multiple2Regresion Multiple2
Regresion Multiple2
 

Último

LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdf
LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdfLA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdf
LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdfbcondort
 
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdf
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdfTAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdf
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdfAntonioGonzalezIzqui
 
Falla de san andres y el gran cañon : enfoque integral
Falla de san andres y el gran cañon : enfoque integralFalla de san andres y el gran cañon : enfoque integral
Falla de san andres y el gran cañon : enfoque integralsantirangelcor
 
aCARGA y FUERZA UNI 19 marzo 2024-22.ppt
aCARGA y FUERZA UNI 19 marzo 2024-22.pptaCARGA y FUERZA UNI 19 marzo 2024-22.ppt
aCARGA y FUERZA UNI 19 marzo 2024-22.pptCRISTOFERSERGIOCANAL
 
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptx
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptxCONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptx
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptxBrayanJavierCalle2
 
Tinciones simples en el laboratorio de microbiología
Tinciones simples en el laboratorio de microbiologíaTinciones simples en el laboratorio de microbiología
Tinciones simples en el laboratorio de microbiologíaAlexanderimanolLencr
 
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADO
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADOPERFORACIÓN Y VOLADURA EN MINERÍA APLICADO
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADOFritz Rebaza Latoche
 
Voladura Controlada Sobrexcavación (como se lleva a cabo una voladura)
Voladura Controlada  Sobrexcavación (como se lleva a cabo una voladura)Voladura Controlada  Sobrexcavación (como se lleva a cabo una voladura)
Voladura Controlada Sobrexcavación (como se lleva a cabo una voladura)ssuser563c56
 
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdf
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdfTEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdf
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdfXimenaFallaLecca1
 
Sesión 02 TIPOS DE VALORIZACIONES CURSO Cersa
Sesión 02 TIPOS DE VALORIZACIONES CURSO CersaSesión 02 TIPOS DE VALORIZACIONES CURSO Cersa
Sesión 02 TIPOS DE VALORIZACIONES CURSO CersaXimenaFallaLecca1
 
Reporte de Exportaciones de Fibra de alpaca
Reporte de Exportaciones de Fibra de alpacaReporte de Exportaciones de Fibra de alpaca
Reporte de Exportaciones de Fibra de alpacajeremiasnifla
 
Base de Datos en Microsoft SQL Server 2024
Base de Datos en Microsoft SQL Server 2024Base de Datos en Microsoft SQL Server 2024
Base de Datos en Microsoft SQL Server 2024CESARHERNANPATRICIOP2
 
Propuesta para la creación de un Centro de Innovación para la Refundación ...
Propuesta para la creación de un Centro de Innovación para la Refundación ...Propuesta para la creación de un Centro de Innovación para la Refundación ...
Propuesta para la creación de un Centro de Innovación para la Refundación ...Dr. Edwin Hernandez
 
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVIL
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVILClase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVIL
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVILProblemSolved
 
Manual_Identificación_Geoformas_140627.pdf
Manual_Identificación_Geoformas_140627.pdfManual_Identificación_Geoformas_140627.pdf
Manual_Identificación_Geoformas_140627.pdfedsonzav8
 
Controladores Lógicos Programables Usos y Ventajas
Controladores Lógicos Programables Usos y VentajasControladores Lógicos Programables Usos y Ventajas
Controladores Lógicos Programables Usos y Ventajasjuanprv
 
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023COMPEDIOS ESTADISTICOS DE PERU EN EL 2023
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023RonaldoPaucarMontes
 
osciloscopios Mediciones Electricas ingenieria.pdf
osciloscopios Mediciones Electricas ingenieria.pdfosciloscopios Mediciones Electricas ingenieria.pdf
osciloscopios Mediciones Electricas ingenieria.pdfIvanRetambay
 
Mapas y cartas topográficas y de suelos.pptx
Mapas y cartas topográficas y de suelos.pptxMapas y cartas topográficas y de suelos.pptx
Mapas y cartas topográficas y de suelos.pptxMONICADELROCIOMUNZON1
 

Último (20)

LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdf
LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdfLA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdf
LA APLICACIÓN DE LAS PROPIEDADES TEXTUALES A LOS TEXTOS.pdf
 
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdf
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdfTAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdf
TAREA 8 CORREDOR INTEROCEÁNICO DEL PAÍS.pdf
 
Falla de san andres y el gran cañon : enfoque integral
Falla de san andres y el gran cañon : enfoque integralFalla de san andres y el gran cañon : enfoque integral
Falla de san andres y el gran cañon : enfoque integral
 
aCARGA y FUERZA UNI 19 marzo 2024-22.ppt
aCARGA y FUERZA UNI 19 marzo 2024-22.pptaCARGA y FUERZA UNI 19 marzo 2024-22.ppt
aCARGA y FUERZA UNI 19 marzo 2024-22.ppt
 
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptx
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptxCONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptx
CONCEPTOS EN HIDROGEOLOGIA-diapositivas varias.pptx
 
Tinciones simples en el laboratorio de microbiología
Tinciones simples en el laboratorio de microbiologíaTinciones simples en el laboratorio de microbiología
Tinciones simples en el laboratorio de microbiología
 
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADO
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADOPERFORACIÓN Y VOLADURA EN MINERÍA APLICADO
PERFORACIÓN Y VOLADURA EN MINERÍA APLICADO
 
Voladura Controlada Sobrexcavación (como se lleva a cabo una voladura)
Voladura Controlada  Sobrexcavación (como se lleva a cabo una voladura)Voladura Controlada  Sobrexcavación (como se lleva a cabo una voladura)
Voladura Controlada Sobrexcavación (como se lleva a cabo una voladura)
 
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdf
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdfTEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdf
TEXTO UNICO DE LA LEY-DE-CONTRATACIONES-ESTADO.pdf
 
Sesión 02 TIPOS DE VALORIZACIONES CURSO Cersa
Sesión 02 TIPOS DE VALORIZACIONES CURSO CersaSesión 02 TIPOS DE VALORIZACIONES CURSO Cersa
Sesión 02 TIPOS DE VALORIZACIONES CURSO Cersa
 
Reporte de Exportaciones de Fibra de alpaca
Reporte de Exportaciones de Fibra de alpacaReporte de Exportaciones de Fibra de alpaca
Reporte de Exportaciones de Fibra de alpaca
 
Base de Datos en Microsoft SQL Server 2024
Base de Datos en Microsoft SQL Server 2024Base de Datos en Microsoft SQL Server 2024
Base de Datos en Microsoft SQL Server 2024
 
Propuesta para la creación de un Centro de Innovación para la Refundación ...
Propuesta para la creación de un Centro de Innovación para la Refundación ...Propuesta para la creación de un Centro de Innovación para la Refundación ...
Propuesta para la creación de un Centro de Innovación para la Refundación ...
 
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVIL
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVILClase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVIL
Clase 7 MECÁNICA DE FLUIDOS 2 INGENIERIA CIVIL
 
Manual_Identificación_Geoformas_140627.pdf
Manual_Identificación_Geoformas_140627.pdfManual_Identificación_Geoformas_140627.pdf
Manual_Identificación_Geoformas_140627.pdf
 
VALORIZACION Y LIQUIDACION MIGUEL SALINAS.pdf
VALORIZACION Y LIQUIDACION MIGUEL SALINAS.pdfVALORIZACION Y LIQUIDACION MIGUEL SALINAS.pdf
VALORIZACION Y LIQUIDACION MIGUEL SALINAS.pdf
 
Controladores Lógicos Programables Usos y Ventajas
Controladores Lógicos Programables Usos y VentajasControladores Lógicos Programables Usos y Ventajas
Controladores Lógicos Programables Usos y Ventajas
 
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023COMPEDIOS ESTADISTICOS DE PERU EN EL 2023
COMPEDIOS ESTADISTICOS DE PERU EN EL 2023
 
osciloscopios Mediciones Electricas ingenieria.pdf
osciloscopios Mediciones Electricas ingenieria.pdfosciloscopios Mediciones Electricas ingenieria.pdf
osciloscopios Mediciones Electricas ingenieria.pdf
 
Mapas y cartas topográficas y de suelos.pptx
Mapas y cartas topográficas y de suelos.pptxMapas y cartas topográficas y de suelos.pptx
Mapas y cartas topográficas y de suelos.pptx
 

09_Diseno_Experimento.ppt

  • 2. • Comparación y evaluación de alternativas de diseño de sistemas A. 2 Sistemas • Muestras Independientes • Muestras Correlacionadas B. Sistemas Multiples (>2) • Método de Bonferroni • Modelos de Diseño de Experimental Contenido de Temas
  • 3. • Estudio comparativo del comportamiento de un sistema bajo dos escenarios excluyentes. Por Ejemplo: – Modelo 1: Banco con una línea espera ante cada cajero – Modelo 2: Banco con una sola línea de espera para todos los cajeros • Para comparar los dos sistemas el Analista debe seleccionar: – Un largo de corrida, Ti , para cada modelo (i=1,2) – Un número de réplicas, Ri, para simular cada modelo • Hipótesis Nula: No existe una diferencia significativa en el desempeño entre ambos diseños. • Hipótesis Alternativa: Existe una diferencia significativa. Comparación de 2 Sistemas
  • 4. • Muestras Independientes – Procesar diferentes Entidades en cada Escenario º Variancias Iguales ( ’s iguales ) º Variancias Desiguales ( ’s distintos) • Muestras Correlacionadas – Procesar las MISMAS entidades en ambos escenarios – Analizar las propiedades de la Entidad a su llegada Comparación de 2 Sistemas
  • 5. I.C. para m1- m2 =  La diferencia entre dos medias obedece a una distribución normal con: Supuesto: Muestras Independientes con más de 30 observaciones cada una 2 2 2 1 2 1 ) ( & ) ( 2 1 2 1 2 1 n n Y Y Var Y Y E   m m   - -  - Muestras Grandes Diferencia de dos Medias 2 2 2 1 2 1 2 / 2 1 ) ( n n Z Y Y      - 2 2 2 1 2 1 2 / 2 1 ) ( n S n S Z Y Y   - 
  • 6. La aproximación es buena, siempre que ningún intervalo incluya el 0 o el 1 Para muestras grandes n1 y n2 > 30 Muestras Grandes Diferencia de dos Proporciones     2 2 2 1 1 1 2 1 ˆ ˆ ˆ ˆ 2 / 2 1 ) ˆ ˆ ( 2 / 2 1 ˆ ˆ ˆ ˆ n q p n q p p p Z p p Z p p   -   - -   
  • 7. Supuestos 1.- Muestras independientes de poblaciones normales 2.- Variancias desconocidas pero iguales = donde (”varianza combinada”) Muestras Pequeñas con Variancias Iguales Diferencia de Medias de procesos I.C. para m1- m2 2 1 2 1 1 1 2 , 2 / 2 1 ) ( n n p n n S t Y Y   - -   ) 1 ( ) 1 ( ) 1 ( 2 1 2 2 2 2 1 1 2 -  -  -  n n S n S n Sp ) ( 2 2 2 2 1     
  • 8. Pequeñas Muestras, Variancias Desiguales Diferencia de Medias de procesos I.C. para m1- m2 = 2 2 2 1 2 1 , 2 / 2 1 ) ( n S n S v t Y Y   -  1 2 2 2 2 2 1 1 2 1 2 1 2 2 2 2 1 2 1 -           -                      n n S n n S n S n S v Donde Asumiendo : Independencia y Normalidad
  • 9.         ) 1 ( ) 2 / 1 ( , 1 2 , 1 1 2 2 2 1 2 2 2 1 2 / , 1 2 , 1 1 2 2 2 1 Prob : Pivotear de Despues 1 2 , 1 1 ~ 2 2 2 2 2 1 2 1 1 2 / 2 2 2 2 1 2 1 1 / 2 1 2 1 1 1 2 / 2 2 1 / 2 1              -                    - - -   - - - -  - - - -                                                   n n F S S n n F S S n n F S S n S n n S n F Asumiendo : Muestras Independientes de una Población Normal Intervalo de confianza para 2 Varianzas
  • 10. IC para la diferencia de 2 Medias: Muestras Correlacionadas Consideremos PARES de observaciones relativas al factor común de los 2 sistemas (Y1i, Y2i) Sea di = Y1i - Y2i la diferencia observada para el par i-ésimo I.C. para donde son la media y la desviación estándar de una muestra de n diferencias. n S t d d n 1 , 2 / _ d -    m d S d y _ Asumiendo : Observaciones Aleatorias; la población de las diferencias de los pares sigue una distribución Normal.
  • 11. • De: • Luego, VCORR = VIND - VCORR < VIND (siempre que la correlación sea positiva) • Una correlación positiva está generalmente (NO siempre!) inducida por el uso de los mismos números aleatorios para generar entidades. R 2 1 21 2    R R R y y 2 1 21 2 2 2 1 2 . .1 .2 .1 2 . .1 2 ) , y cov( 2 ) y var( ) y var( ) y var(      -    -   - Muestras Correlacionadas
  • 12. • Muestreo: – Fijo (tamaño de las muestras predeterminado) – Secuencial (se recogen suficientes datos en la muestra hasta que se alcanza una precisión predeterminada) • Metas: – Estimación de cada parámetro (K intervalos de confianza) – Comparación de cada medida de funcionamiento c/r de un valor de control (K-1 intervalos de confianza) – Todas las comparaciones posibles (K(K-1)/2 intervalos de confianza) – Selección del mejor (el más grande o el más pequeño) Comparación de Escenarios Múltiples
  • 13. • En la mayoría de los modelos de simulación reales, se consideran varias medidas de desempeño simultáneamente. • Algunos ejemplos: – Throughput ( Medida Rendimiento Global) – Largo promedio de la cola – Utilización – Tiempo promedio en el sistema • Cada medida de desempeño se estima frecuentemente con un intervalo de confianza. • Cualquiera de los intervalos podría “fallar” en relación a su medida de desempeño esperada. • Se debe tener cuidado con sobredimensionar los indicadores (ya en tal caso es difícil que todos los intervalos contengan sus medidas de funcionamiento esperadas simultáneamente). Múltiples Medidas de Desempeño
  • 14.   • Suponga que tenemos k medidas de desempeño y el intervalo de confianza para la medida de desempeño s para s = 1, 2, ..., k, está en un nivel de confianza • Entonces la probabilidad que todos los k intervalos de confianza contengan simultáneamente su medida real respectiva es • Esta desigualdad es conocida como la desigualdad de Bonferroni o desigualdad de Boole. s  - 1   -  k s s 1 1  todos los intervalos contengan su medida de desempeño respectiva P Múltiples Medidas de Desempeño
  • 15. • Para asegurar que la probabilidad (que los k intervalos de confianza contengan simultáneamente a su verdadera media) sea por lo menos 100 ( ) %, debemos elegir los ‘s tales que • Se pueden seleccionar para todos los s = /k, o escoger los diferentes ’s para las medidas de desempeño más importantes). s s1 k      s k   Múltiples Medidas de Desempeño  - 1 
  • 16. • Ejemplo: Si k =2 y quisieramos que el nivel total deseado de confianza fuera por lo menos 90%, podemos construir dos intervalos de confianza del 95%. • Dificultad: Si hay una gran cantidad de medidas de desempeño, y deseamos un nivel total razonable de confianza (ej., 90% ), los individuales podría llegar a ser muy pequeño, haciendo los intervalos de confianza correspondientes muy amplios. Por lo tanto, se recomienda que el número de medidas de desempeño no exceda de 10. s Múltiples Medidas de Desempeño
  • 17. • La mayoría de los proyectos de simulación requieren de la comparación de dos o más sistemas o configuraciones: – Modificar la arquitectura de redes en centros de trabajo – Evaluar varias políticas de despacho de trabajo (FIFO,LIFO, etc.) • Con dos sistemas alternativos, la meta puede ser: – test de hipótesis: v/s – construir intervalos de confianza para • Con k > 2 alternativas, el objetivo puede ser: – construya intervalos de confianza simultáneos para varias combinaciones de – seleccione la “mejor” de las k alternativas – seleccione un subconjunto de tamaño m < k que contenga la “mejor” alternativa H0 1 2 :m m  Ha :m m 1 2 > m m 1 2 - m m i i 1 2 - Análisis de varios Sistemas
  • 18. • Formar un intervalo de confianza para la diferencia entre las medidas de desempeño de los dos sistemas ( ej., ). • Si el intervalo no contiene al 0, hay una diferencia estadística significativa entre los dos sistemas. • Los intervalos de confianza son mejores que los test de hípótesis porque si existe una diferencia, el intervalo de confianza mide su magnitud, no así un test de hipótesis. • Hay dos maneras levemente distintas de construir intervalos de confianza: – Pares-t – Dos-Muestras-t.  m m  - 1 2 Comparación de dos Sistemas Alternativos
  • 19. • Efectuando n replicas de los 2 sistemas. • Sea la j-ésima observación del sistema I (i = 1, 2). • El par define para j = 1, 2, …, n. • Entonces , los son v.a. IID con cantidad para la cúal nosotros deseamos construir un intervalo un I.C. • Sea ; • Entonces, el intervalo 100(1- ) % es Y ij   j j Y Y 2 1 , Z Y Y j j j  - 1 2 Z j ' s E Z j ( )   Z n Z n j j n ( )    1     Var Z n Z Z n n n j j n ( ) ( ) ( )  - -   1 2 1    Z n t Z n n ( ) ( ) ,  - - 1 1 2  Var Intervalo de Confianza de Pares
  • 20. • Hacer n1 replicaciones del sistema 1 y n2 replicaciones del sistema 2. Aquí • Nuevamente, para el sistema i = 1, 2, queda y Estimar los grados de libertad como Entonces, el I.C. aproximado 100(1- ) porciento es n n 1 2  Y n Y n i i ij j n i i ( )    1   S n Y Y n n i i ij i i j n i i 2 1 2 1 ( ) ( )  -  -        f S n n S n n S n n n S n n n   -  - 1 2 1 1 2 2 2 2 2 1 2 1 1 2 1 2 2 2 2 2 2 1 1 ( ) ( ) ( ) ( ) ( ) ( ) Y n Y n t S n n S n n f 1 1 2 2 1 2 1 2 1 1 2 2 2 2 ( ) ( ) ( ) ( ) , -   -  Intervalo de Confianza de 2 Muestras
  • 21. • El método de dos muestras-t requiere independencia entre e mientras que el método de pares -t no requiere independencia entre e • Por lo tanto, en el método de pares-t, números aleatorios pueden ser usados para introducir correlación positiva entre las observaciones de los diferentes sistemas como una forma de reducir la variancia. • En el método de pares-t ,se debe cumplir que n1 = n2, mientras que en el método de dos muestras n n 1 2  Y j 1 's s ' 2 j Y Y j 1 's Y j 2 ' s Comparación de los Métodos
  • 22. • En el caso de más de dos sistemas alternativos, hay dos maneras de construir un intervalo de confianza en las diferencias seleccionadas . – Comparación con un estándar o testigo – Comparación de todos los pares NOTA: Puesto que estamos haciendo k > 1 intervalos, para tener un nivel total de confianza de , debemos hacer cada intervalo al nivel (Bonferroni). m m i i 1 2 - 1-  k  - 1 Intervalos de Confianza para Comparar más de dos Sistemas
  • 23. • En este caso, uno de los sistemas (quizás el sistema en operación o la política existente) es un “estándar”. Si el sistema 1 es el estándar y deseamos comparar los sistemas 2, 3, ..., k con el sistema 1, se deben construir k-1 intervalos de confianza para las k-1 diferencias • Para alcanzar un nivel total de confianza de al menos , cada uno de los k-1 intervalos de confianza se debe construir en el nivel • Podemos usar los métodos pares-t o dos-muestras-t descritos en la sección previa para hacer los intervalos individuales. m m m m m m 2 1 3 1 1 - - - , , ..., k 1 1 - -  ( ) k 1-  Comparación con un estándar
  • 24. • En este caso, cada sistema se compara a todos los otros sistemas para detectar y cuantificar cualquier diferencia significativa. Por lo tanto, para k sistemas, construimos k (k -1) / 2 intervalos de confianza para las k (k -1) / 2 diferencias: • Cada uno de los intervalos de confianza deben ser construidos en un nivel de para que una confianza total de al menos sea alcanzada. • Nuevamente, podemos usar los métodos pares-t o dos-muestras-t para hacer los intervalos de confianza individuales. m2 – m1 m3 – m1 ... mk – m1 m3 – m2 ... mk – m2 . . . mk – mk–1 1 1 2 - -  [ ( ) ] k k 1- Comparación de todos los pares
  • 25. • El objetivo de la selección y el ranking son diferentes y más ambiciosas que hacer simplemente una comparación entre varios sistemas alternativos. Aquí, la meta puede ser: – Seleccionar el mejor de k sistemas – Seleccionar los distintos subconjuntos de tamaño m a partir de los k sistemas – Seleccionar el mejor subgrupo m – Seleccionar la mejor Solución dentro del subgrupo Ranking y Selección
  • 26. 1. Seleccionar el mejor de k sistemas: • Queremos seleccionar uno de los k sistemas alternativos como el mejor. • Debido a la aleatoriedad inherente en los modelos de simulación, no podemos estar seguros que el sistema seleccionado es el de menor (asumiendo que “menor” es bueno). Por lo tanto, especificamos una probabilidad P* de selección correcta (como 0.90 or 0.95). • También especificamos una zona de indiferencia d* la cual quiere decir que si la mejor media y la segunda mejor media difieren por más de d*, seleccionamos la mejor con probabilidad P*. • Como ejemplo, suponga que tenemos 5 configuraciones alternativas y queremos identificar el mejor sistema con una probabilidad de al menos 95%. mi Ranking y Selección
  • 27. 2. Seleccionar un subconjunto de tamaño m que contenga al mejor de los k sistemas: • Queremos seleccionar un subconjunto de tamaño m (< k) que contenga al mejor sistema con una probabilidad de al menos P*. • Este acercamiento es útil en la visión inicial de las alternativas para eliminar las opciones inferiores. • Por ejemplo, suponga que tenemos 10 configuraciones alternativas y deseamos identificar un subconjunto de 3 alternativas que contengan al mejor sistema con una probabilidad de al menos 95% . Ranking y Selección
  • 28. 3. Seleccionar el mejor m de k sistemas: • Queremos seleccionar el mejor m (no ordenado) de los k sistemas de modo que con probabilidad de al menos P* las respuestas esperadas del subconjunto seleccionado sean iguales a las m respuestas mas pequeñas esperadas. • Esta situación puede ser útil cuando deseamos identificar varias buenas opciones, en el caso de que la mejor sea inaceptable por alguna razón. • Por ejemplo, suponga que tenemos 5 configuraciones alternativas y deseamos seleccionar las 3 mejores y tenemos que la probabilidad de seleccionar la correcta es al menos 90% . Ranking y Selección
  • 29. • Para ilustrar el peligro en la generación de un sólo paso y calcular visualmente los resultados al comparar alternativas, considere el siguiente ejemplo: Comparar: Alternativa 1: M/M/1 cola con tiempo entre llegadas de 1 min., y una máquina “rápida” con tiempo de servicio de 0.9 min., y Alternativa 2: M/M/2 cola con tiempo entre llegadas de 1 min., y dos máquinas “lentas” con tiempo de servicio de 1.8 min. por cada máquina. vs. Ejemplo. Comparación de Sistemas
  • 30. • Si la medida del desempeño de interés es el retardo medio esperado en la cola de los 100 primeros clientes, con condiciones iniciales vacias y ociosas, usando análisis de colas, los retardos medios del estado estacionario en la cola son: Por lo tanto, sistema 2 es “mejor” • Si ejecutamos cada modelo apenas una vez y calculamos el retardo promedio, , de cada alternativa, y se selecciona el sistema con el más pequeño, entonces Prob(seleccionando sistema 1 (respuesta incorrecta)) = 0.52 • Razón: La aleatoriedad de la salida m m 1 2 4 13 3 70  >  . . Yi Yi Ejemplo. Comparación de Sistemas
  • 31. • Solución: – Replique cada alternativa n veces – Haga = retardo medio de la j-ésima replica de la alternativa i – Calcule el promedio de todas las réplicas para la alternativa i – Seleccione la alternativa con el menor • Si hacemos este experimento muchas veces, obtendremos el siguiente resultado: n P(respuesta incorrecta) 1 5 10 20 0.52 0.43 0.38 0.34 Y ij Y Y n i ij j n    1 Yi Ejemplo. Comparación de Sistemas
  • 33. • Motivación y Terminología – Dificultades en la Solución de Problemas de DoE – Ejemplos de Factores y Respuestas • Tipos de Diseño de Experimentos – Diseño Factorial Completo – Aleatorización de Efectos – Ejemplos de Diseño Factorial Completo – Situaciones con Muchos Factores • Superficies de Respuesta Meta-modelos – Análisis de Regresión – Metodología de Superficie de Respuesta (RSM) Contenido de Temas
  • 34. • Si existen muchas alternativas a considerar (i.e., un gran número de niveles, varios tipos o categorías o un gran número de parámetros) para un sistema propuesto • Dos tipos básicos de variables son: factores y respuestas • Factores: Parámetros de Entrada de un modelo de Simulación -controlables o no controlables -cuantitativos o cualitativos • Respuestas: Salidas de un un modelo de Simulación - Naturaleza incierta (Ruido) • Problema Básico : Encontrar los mejores niveles (o valores de los parámetros) en términos de las respuestas • Diseño Experimentos nos dice que alternativas debemos simular (experimentar), para así obtener la información deseada con la menor cantidad de simulaciones (corridas) Motivación y Terminología ¿Cuándo utilizamos DoE?
  • 35.  Múltiples Factores (F)  Múltiples Respuestas (O)  Respuesta incierta ( Ruido)  Limitaciones F SISTEMA R I O Dificultades en la Solución del Problema Básico en DoE
  • 36. 1. Tiempo Medio entre llegadas (Cuantitativa no controlable) 2. Tiempo Medio de servicio (Cuantitativa controlable o no) 3. Número de servidores (Cuantitativa controlable) 4. Disciplina de las colas (Cualitativa controlable) 5. Reorder point (Cuantitativa controlable) 6. Tiempo Medio entre demandas (Cuantitativa no controlable) 7. Distribución del tiempo entre demandas (Cualitativa no controlable) Ejemplo de Factores
  • 37. 1. Tasa media de producción diaria 2. Tiempo medio para los pacientes en el Sistema 3. Nivel medio de inventario 4. Número de clientes que esperan más de 15 minutos Ejemplo de Respuestas
  • 38. • Réplica - repetición de un experimento básico. • Tratamiento – una combinación específica de niveles de los factores. • Unidad Experimental - la unidad a la cual un tratamiento simple es aplicado (one replication of the basic experiment). • Error Experimental - error entre dos unidades tratamientos experimentales idénticos que producen resultados similares. • Confundido - el “mixing up” de dos o más factores de modo que es imposible separar los efectos. Motivación y Terminología en DoE
  • 39. • Aleatorización - Asignación aleatoria de tratamientos a las unidades experimentales (assures independent distribution of errors) • Efecto Principal (de un factor) – una medida del cambio en una variable de respuesta, debido al cambio de nivel del factor, promediando los efectos de todos los factores restantes • Interacción es un efecto adicional (sobre la respuesta) debido a la influencia de la combinación de dos o más factores. Motivación y Terminología en DoE
  • 40. • Diseño Completamente Aleatorizado • Diseño en bloques Completamente Aleatorizado • Diseño Factorial Completo • Diseño Factorial Fraccionario • Diseño Factorial Anidado • Diseño de cuadrados latinos • Diseño Jerarquizado • etc. Tipos de Diseños de Experimentos Computacionales
  • 41. • Supongamos que tenemos k (k > 2) factores. Un diseño factorial 2k (2k factorial design) requiere que dos niveles sean escogidos por cada factor, y que “n” corridas de simulación (replicas) se ejecuten por cada una de las 2k posibles combinaciones de niveles de los factores (design points). Para 3 factores, podemos usar la Matriz de Diseño: Diseño Factorial 2k
  • 42. Matriz de Diseño para 3 Factores Factor 1 Factor 2 Factor 3 Design Point Level Level Level Response 1 - - - O1 2 + - - O2 3 - + - O3 4 + + - O4 5 - - + O5 6 + - + O6 7 - + + O7 8 + + + O8 “+” se refiere a uno de los niveles de un factor y “-” se refiere al otro nivel . Normalmente, para factores cuantitativos , el nivel más grande y más pequeño de cada factor elegido. Diseño Factorial 2k
  • 43. • El Efecto Principal del factor 1 es el cambio en la variable respuesta como resultado del cambio en el nivel del factor, promediando los efectos de los restantes factores. • Si el efecto de alguno de los factores depende del nivel de cualquier otro factor, se dice que estos factores interactúan • El grado de interacción (two-factor interaction effect) entre dos factores i y j está definido como:         e O O O O O O O O 1 2 1 4 3 6 5 8 7 4  -  -  -  - e O O O O O O O O 12 4 3 8 7 2 1 6 5 1 2 2 2  -  - - -  -       ( ) ( ) ( ) ( ) Diseño Factorial 2k : Estimación
  • 44. • Consideremos un modelo de simulación de un sistema de producción. Las 2 variables de decisión o factores a considerar son: Presión (P) y Temperatura (T) para el sistema de producción. Los valores máximos y mínimos admisibles para cada factor están dados por: • Supongamos que la variable respuesta de salida del modelo es el rendimiento del proceso . Diseño Factorial Completo (2k) Factor Minimum Value Maximum Value P 20 40 T 15 50
  • 45. • Una matriz de diseño 22 con los resultados de simulación (para 10 replicas en cada punto de diseño ) está dada por: Donde un factor de nivel “-” indica el mínimo valor posible para el factor, y un factor en el nivel “+” indica el máximo valor posible ; por ejemplo, para el design point 2 se tiene P=40 and T =15. Diseño Factorial Completo (2k) Design Point Factor Level for P T Response 1 2 3 4 - - + - - + + + 135.6 128.2 121.7 131.5
  • 46. • La respuesta dada es el costo promedio de las 10 réplicas. El efecto principal es: • El efecto de interacción esta dado por • Además, el efecto medio de incrementar P de 20 a 40 es un incremento en el rendimiento de 1.2, y el efecto medio de incrementar T desde 15 a 50 es una reducción en el rendimiento de 5.3. Esto podría aconsejar seleccionar el factor T como el valor más bajo y el factor P como el más alto. 3 . 5 2 ) 2 . 128 5 . 131 ( ) 6 . 135 7 . 121 ( 2 ) ( ) ( 2 4 1 3 -  -  -  -  -  O O O O eT e O O O O P  -  -  -  -  ( ) ( ) ( . . ) ( . . ) . 2 1 4 3 2 128 2 135 6 1315 1217 2 12 6 . 8 2 5 . 131 7 . 121 2 . 128 6 . 135   - -  PT e Diseño Factorial Completo (2k)
  • 47. • También a menudo un efecto de interacción positivo, podría indicar que los efectos de los factores P y T tienen niveles opuestos. • Por supuesto que esto se puede inferir de un breve análisis de las respuestas para combinaciones de diseño. • Note también que la interpretación del efecto principal asume que no hay efecto de interacción. Diseño Factorial Completo (2k)
  • 48. • Observemos que los efectos principales e interacciones calculados en el ejemplo previo son variables aleatorias. Para determinar si los efectos son realmente significativos o si su cambio se debe a fluctuaciones aleatorias deberíamos calcular los efectos principales e interacciones varias veces (10 o más) y construir un intervalo de confianza para cada efecto principal e interacción. • Si el intervalo de confianza contiene al cero, entonces el efecto no es estadísticamente significativo. (Note que la significancia estadística no necesariamente implica significancia práctica). Aleatoriedad de los Efectos
  • 49. • Cuando existan muchos factores a considerar en el diseño factorial completo, se puede recurrir al diseño de experimentos factorial fraccionado (2k-p , 3k-p , etc). • Cuando no sea posible utilizar un diseño factorial fraccionado es posible recurrir a otros diseños por ejemplo diseños sobresaturados (Mauro 1986). • Otra aproximación para reducir el número de factores es considerar la técnica de factores ocultos o agrupación de factores donde un grupo de factores se consideran como si fuesen un solo factor (confundido). Situación con muchos Factores
  • 50. • Una superficie de respuesta es un gráfico de la variable respuesta como una función de varios factores. • Un metamodelo (literalmente, modelo algebraico de un modelo de simulación), es una representación algebraica de un modelo de simulación, con los factores como variables independientes (determinísticas o estocásticas) y la variable respuesta como variable dependiente. La que pueda representar una aproximación de la superficie de respuesta. • Un metamodelo típico usado en aplicaciones de simulación es el modelo de regresión. Superficies de Respuesta y Metamodelos
  • 51. • A través de un metamodelo la metodología de superficie de respuesta (RSM) puede encontrar la respuesta óptima de un conjunto de factores. También puede ser usada para responder otro tipo de preguntas (operación evolutiva de procesos). La Experimentación con un metamodelo es comúnmente menos costosa que usar el modelo de simulación directamente. • Un proceso de diseño de experimento asume un particular metamodelo (Lineal model, Quadratic model, etc). PT B T B P B B T P C E 12 2 1 0 )] , ( [     Superficies de Respuesta y Metamodelos
  • 52. • Los métodos de Regresión son usados para determinar la mejor relación funcional entre las variables. • Supongamos que la relación funcional puede ser representada por: E(Y) = f (X1, ..., Xp / B1, ..., BE) donde E(Y) es el valor esperado de la variable de respuesta Y; los X1, ..., Xp son factores; y los B1, ..., BE los parámetros de la forma funcional; e.g., E(Y) = B1 + B2 X1 + B3 X2 + B4 X1 X2+…… Conceptos de Análisis de Regresión
  • 53. • La observación de un valor de respuesta Y, para un conjunto de X ’s, es asumida como una variable aleatoria dada por: Y = f (X1, ..., Xp/B1, ..., BE) + Donde es una variable aleatoria con media igual a 0 y varianza . Los valores de B1,...,BE son obtenidos por algún método de estimación conveniente ( LS, M, GM etc.).   E 2 Conceptos de Análisis de Regresión
  • 54. Fuente: (Fu, 1994) • La metodología de superficie de respuesta (Response surface methodology RSM) involucra una combinación de metamodelos (i.e., regresión lineal y no lineal) y procedimientos secuenciales de optimización (iterative optimization). Métodos en Superficie de Respuesta
  • 55. • RSM compreden 2 Etapas : – Ajustar un modelo de regresión lineal a los puntos iniciales en el espacio de búsqueda, (mediante las réplicas del modelo de simulación). Estimar una dirección de descenso para el modelo de regresión y un tamaño de salto hasta encontrar una nueva (mejor) solución en el espacio de búsqueda. Repita el proceso hasta que el modelo de regresión lineal resulte inadecuado (indicando cuándo la pendiente de la superficie de respuesta lineal es aproximadamente cero; i.e., cuando los efectos de interacción llegan a ser más grande que los efectos principales) – Ajuste de una ecuación de regresión no lineal (quadratic) a la nueva área de búsqueda (search space). Para luego encontrar el óptimo de ésta ecuación.