El documento presenta recomendaciones para analizar correlaciones entre variables. Sugiere verificar visualmente si existe correlación antes de calcular coeficientes. Advierta si pocos puntos causan la correlación o si puede deberse a efectos de selección. Si no hay correlación, calcule la significancia estadística. Finalmente, compruebe si existe una relación causal entre las variables o si depende de una tercera variable.
Regresión por Mínimos Cuadrados: Ajuste de un modelo matemático por medio de la suma de los cuadrados de las diferencias entre los valores reales y los valores estimados para obtener una suma de los cuadrados de los errores.
Regresión por Mínimos Cuadrados: Ajuste de un modelo matemático por medio de la suma de los cuadrados de las diferencias entre los valores reales y los valores estimados para obtener una suma de los cuadrados de los errores.
Supply Chain Risk Management Study slide deck - 18 NOV 2015Lora Cecere
Risks are higher in a global supply chain. To deal with these potential hazards, risk management has evolved beyond dealing with an issue when it’s about to happen to focus on prevention, early sensing, and coordinated execution to respond to an event. There are new strategies and technologies that can proactively formulate a plan to protect your business and operations from the storm of unforeseen events. But how do you get started?
At Supply Chain Insights, it’s our mission to help you improve your operations. We tackled this issue in a panel based webinar on November 18, 2015 featuring Lora Cecere and Pierre Mitchell from Spend Matters to give you their perspective and answer your questions on how to include an effective risk management strategy.
We are sharing the slides used as the foundation for this discussion between two distinguished experts to educate you about why this is important to your operations and how to prepare for an unknown future to safeguard your business from risk using business alignment and risk management tools.
Que el estudiante, se capacite en el tratamiento estadístico de datos experimentales utilizando el método de mínimos cuadrados. Explicar qué es un diagrama de dispersión y cuál es la causa de la dispersión de los datos en dicho diagrama
Presentación de Organización DE Datos, elaborado por el Bachiller Josè Carrasquero, titular de la C.I: 29.733.396, cursando actualmente el IV semestre de Ing Civil. En el Instituto Universitario Politécnico Santiago Mariño, Sede Barcelona, ubicado en el estado Anzoategui en Venezuela, espero que esta presentaciòn sea de su agrado y saludos cordiales
2. Búsqueda de correlaciones: “La salida de pesca”
Recomendaciones (Wall, 1996, QJRaS, 37, 719):
1. ¿Se ve a ojo alguna correlación? Si no es así, el cálculo formal de un
coeficiente de correlación es, probablemente, una pérdida de tiempo.
2. ¿Qué puntos crean la correlación? Si con el dedo pulgar tapas el 10%
de los puntos y la correlación desaparece, ¡cuidado!
Errores en los
datos o efectos
de selección
3. Búsqueda de correlaciones: “La salida de pesca”
Límite de detección de la
densidad de flujo radio del
catálogo 3CR
Recomendaciones (Wall, 1996, QJRaS, 37, 719):
3. ¿Puede estar causada por efectos de selección?
4. Si 1. 2. 3. resultan negativos, calcúlese la significancia de la
correlación con alguno de los métodos que se detallan a continuación.
4. Búsqueda de correlaciones: “La salida de pesca”
Recomendaciones (Wall, 1996, QJRaS, 37, 719):
5. ¿Tiene la línea de regresión algún significado?
• ¿Tiene sentido ajustar por
mínimos cuadrados alguna
curva? (d)
• ¿Cuales son los errores en
los parámetros del ajuste? (c)
• ¿Por qué el ajuste tiene que
ser lineal? (b)
• Si no sabemos qué variable
actua como causa de la
correlación, ¿cuál de las dos
variables debemos utilizar
como independiente en el
ajuste? (a)
(véase lección sobre ajustes)
5. Búsqueda de correlaciones: “La salida de pesca”
Recomendaciones (Wall, 1996, QJRaS, 37, 719):
6. ¿Existe alguna relación causal? ¿Por qué? La relación puede
simplemente indicar la dependencia de las dos variable, de una tercera,
y eso crea una correlación espuria.
Ejemplo: diagramas L−L. Sin embargo, el Statistical Consulting Center for Astrophysics,
recomienda utilizarlos siempre que se utilice análisis de supervivencia.
7. Grafíquense las variables de forma que la correlación se vea de forma
evidente en el diagrama, si hace falta, recurriendo a encasillar las
variables y a realizar promedios.
Ejemplo: la mediana del índice de variabilidad (σv) de
QSOs ópticamente seleccionados para cada intervalo MB
muestra gráficamente la correlación medida por
métodos estadísticos. De otra forma, los puntos del
diagrama de dispersión muestran una correlación
cuanto menos cuestionable para el lector novel.
(Hook et al. 1994)
mediana
6. Correlaciones entre variables de tipo nominal
Definiciones:
• Variable nominal es aquella que conlleva información sobre un conjunto
de valores no ordenado.
Ejemplo: sistema de clasificación morfológica de galaxias (E, S0, Sa, Sb, ...).
• Tabla de contingencia, recoge las incidencias Nij entre dos variables
nominales xi, yj.
y
y
y
Nj
Nj
Nj
NN
NN
yy
NNx
NNx
yy
22
11
22212
12111
21
yxx
y
xxx
NNjN
iNij
NNN
iii
NN
NN
NNx
NNx
21
21
{ } xNiixx ,...,1=
=
{ } yNjjyy ,...,1=
=
∑≡
j
iji NN .
∑≡
i
ijj NN.
∑∑ ==
j
j
i
i NNN ..
7. Correlaciones entre variables de tipo nominal
Ejemplo: comparación de la
determinación del tipo espectral
de estrellas, por métodos
espectroscópicos y fotométricos
(Selman et al. 1999, A&A).
8. Correlaciones entre variables de tipo nominal:
test χ2
♦ Método: probar que es erronea la suposición que las variables no están
asociadas. Si es así, el número de incidencias esperado en el casillero
(i,j) será .
Se define la función
La significancia de que ambas distribuciones estén asociadas viene dada
por función de probabilidad χ2
con ν grados de libertad
♦ Comparación de la intensidad de dos correlaciones:
● V de Cramer, tal que (no corr.) 0 ≤ V ≤ 1 (corr. perfecta)
● Coeficiente C, a utilizarse sólo cuando las tablas de
contingencia . . . . . tienen la misma dimensión, tal que 0 ≤ C ≤ 1.
NNNn jiij /..=
∑
−
≡
ji ij
ijij
n
nN
,
2
2
)(
χ
1
)(
1
)( 12
2
+−−=
Γ
= −
∞
−
∫ yxyx
t
NNNNdtteQ ν
ν
νχ ν
χ
donde
)1,1min(
2
−−
≡
yx NNN
V
χ
N
C
+
≡ 2
2
χ
χ
(Press et al., “Numerical Recipes”)
9. Correlaciones entre variables de tipo ordinal o
continuo: coeficiente de Pearson
♦ Definiciones: se denomina variable ordinal aquella cuyos valores
discretos se pueden ordenar, y variable continua, aquella cuyos valores
continuos se pueden ordenar.
Ejemplos: orden de las galaxias más luminosas en un cúmulo (1,2,3...), temperatura efectiva
de una nebulosa, ...
♦ Coeficiente de correlación lineal de Pearson
● Suposición: las variables están distribuidas de forma gaussiana. Es
un . test paramétrico.
● Método: mide la desviación de las variables respecto a una línea
recta.
Dados los puntos {xi, yi }i=1,..,N se define el coeficiente de correlación
tal que −1 ≤ r ≤ 1,
donde ±1 indica correlación perfecta, y 0 indica no
correlación.
La significancia de que no exista una correlación viene dada por
la distribución t-Student con N−2 grados de libertad, donde
∑∑
∑
−−
−−
≡
i ii i
i ii
yyxx
yyxx
r
22
)()(
))((
2
1
2
r
Nr
t
−
−
≡
10. Correlaciones entre variables de tipo ordinal o
continuo: coeficiente de rangos de Spearman
● Suposiciones: ninguna, es un test no-paramétrico, y por lo tanto, muy
utilizado en Astrofísica.
● Método: dados los puntos { xi, yi }i=1,..,N se definen las variables Ri , rango
cuando las xi están ordenadas ascendentemente, y Si , rango cuando las
yi están ordenadas ascendentemente.
Si no se producen repeticiones (ligas) en los
valores de xi, yi , se define el coeficiente de Spearman
Si se producen fk repeticiones entre las
xi , y gm repeticiones entre las yi
que tiene la propiedad ρ 0 cuando no existe correlación.
NN
SRi ii
−
−
−≡
∑
3
2
)(
61ρ
2/1
3
32/1
3
3
332
3
)(
1
)(
1
)(
12
1
)(
12
1
)(
6
1
−
−
−
−
−
−
−+−+−
−
−
≡
∑∑
∑ ∑ ∑
NN
gg
NN
ff
ggffSR
NN
m mmk kk
i k m mmkkii
ρ
2
1
2
ρ
ρ
−
−
≡
N
t
(Press et al. , Numerical Recipes)
11. Correlaciones entre
variables de tipo
ordinal o continuo:
coeficiente de Spearman
Tablas de significancias
para N≤50
(Wall, 1996, QJRaS, 37, 719):
12. Correlaciones entre variables de tipo ordinal o
continuo: coeficiente de rangos de Kendall
● Suposiciones: ninguna, es un test no-paramétrico. De hecho, los
resultados de los tests de Spearman y Kendall están fuertemente
correlacionados.
● Método: se crean todas las combinaciones de puntos posibles
[(xi, yi), (xj, yj)] tal que i ≠ j y se definen
c = número de parejas concordantes (xi>xj y yi>yj) o (xi<xj y
yi<yj) d = número de parejas discordantes (xi>xj y yi<yj) o (xi<xj y
yi>yj) ey=número de ligas en y, con xi≠xj
ex=número de ligas en x, con yi≠yj
El coeficiente de Kendall se define
tal que −1 ≤ τ ≤ 1 donde ±1 indica
correlación perfecta, y 0 indica no correlación.
La significancia de no asociación viene dada por una distribución normal
exdceydc
dc
++++
−
≡τ
)1(24264.4
104
2
1
1)(
2
−
+
=−= ∫ ∞−
−
NN
N
xdtexP
x
t τ
π
(Press et al. , Numerical Recipes)
13. Correlaciones entre variables
de tipo ordinal o continuo:
coeficiente de rangos de Kendall
Ejemplo: anticorrelación entre
variabilidad (σv) y luminosidad (MB)
en QSOs. Nótese que incluso para
valores pequeños del coeficiente de
rangos de Kendall, la significancia
de asociación es grande. Por
comparación, la variabilidad (σv) y
el redshift (z) no están
significativamente asociados.
(Hook et al. 1994, MNRAS, 268, 305)
14. Correlaciones entre variables de tipo ordinal o
continuo: coeficiente de rangos parciales
● Utilidad: comprobar si la correlación encontrada entre dos variables
x,y está generada por la asociación de ambas con una tercera variable
z.
● Método: se pueden utilizar tanto el coeficiente de rangos ρ de
Spearman como el τ de Kendall. Es un test no-paramétrico.
Se define el coeficiente de rangos parciales
La significancia de que la correlación entre x,y se deba enteramente a
la correlación de ambas con z viene dada por
[ ] 2/122,
)1()1( zxyz
zxyzxy
zyx
ττ
τττ
τ
−−
−
≡
zxy
zxy
zyx ND
,
,
,
1
1
ln4
2
1
τ
τ
−
+
−= que se encuentra distribuida de forma normal,
en el caso de total dependencia (Macklin J.T.,
1982, MNRAS, 199, 1119).
Ejemplo: relación entre tamaño
angular (θ), índice espectral (α) y
redshift (z) de las fuentes del
catálogo 3CR
15. Análisis multivariable: componentes principales
● Utilidad: es muy potente para analizar las relaciones entre muchas
variables.
● Método: dadas p variables con n puntos cada una, se define el sistema
de componentes principales como aquel sistema de referencia de p ejes
ortogonales en el que se maximiza la variancia de los n puntos, de forma
decreciente del primero de los ejes, al último.
Sea el vector de p coordenadas, Y’ la matriz de p×n
observaciones. La media de las observaciones se puede expresar como
),...,,( 21 pyyyy =′
. , donde I es el vector unitario
de dimensión n, y la matriz de covariancia
, donde Y’ es una .
. matriz p×n cuyas
filas son todas iguales a y’ .
Se puede demostrar que
define un sistema de elipsoides centrados
en el centro de gravedad de la nube de
puntos cuyos ejes trazan, de forma
descendiente, la máxima variancia.
IY
n
y ′≡ 1
))((
1
1
′−−
−
≡ YYYY
n
C
cte=−′− −
)()( 1
yyCyy
Ejes propios de
la matriz de
covariancia
16. Puesto que por definición C es simétrica, se puede calcular la base
ortogonal que minimiza la variancia de la nube de puntos a través de sus
valores propios (λi ) y vectores propios (ai) o eigenvalues y eigenvectors:
C ai = λi ai , i=1, ..., p .
Estos valores se pueden obtener al resolver la ecuación característica
C − λI= 0 ,
donde I, ahora, es la matriz unidad de orden igual al de la matriz C.
Llamamos A a la matriz generada por los vectores propios ai arreglados
como filas. Si transformamos el vector de variables y, obtenemos
z = A(y−y)
las coordenadas sobre el sistema de ejes ortogonales definido por los
vectores propios de la matriz de covariancia. Se puede reconstruir y de z
invirtiendo la ecuación anterior
y = A’z + y
en virtud de que A es una matriz ortogonal, A−1
= A′.
Análisis multivariable: componentes principales
17. En el nuevo sistema de coordenadas, la nube de puntos de las
observaciones muestran una variancia decreciente si se ordenan los ejes
según el orden decreciente de sus valores propios. Así el eje definido por
a1, donde λ1 es el valor propio más grande, es el eje principal sobre cuya
proyección los puntos tienen la mayor variancia. Para evaluar la
importancia de la proyección sobre el eje j se compara el valor de λj
respecto de la suma de todos los valores propios. Si un valor propio añade
poco al valor total de la suma, la variancia sobre el eje correspondiente es
pequeña, y por lo tanto, ésta es una dimensión con muy poca información,
que se puede obviar.
Si denotamos como AK la matriz que contiene los primeros k vectores
propios, podemos comprimir los datos sin perder mucha información
mediante las transformaciones,
z = AK(y−y) y = A’Kz + y
Por lo tanto PCA puede reducir la dimensionalidad del problema.
Análisis multivariable: componentes principales
18. Ejemplo: PCA aplicado a la catalogación
de ~230 espectros de QSOs
(Francis et al. 1992, ApJ, 398, 476)
pendiente, y líneas estrechas
bosque de absorción
BLR
a1
a2
a3
a4
Análisis
multivariable:
componentes
principales
19. Ejem: análisis multivariable de las propiedades de supernovas (Patat et al. 1994, AA,
282, 731).
Correlaciones entre:
• el decaimiento en banda B en los primeros 100 días, βB
100
• el decaimiento del color B-V en los primeros 100 días, βB-V
100
• la anchura de la línea Hα, vHα
• el cociente entre las intensidades de la emisión y la absorción de Hα, e/a
• la magnitud absoluta en banda B en el máximo, MB
max
• el color B-V en el máximo de la curva de luz, (B-V)max
Proyecciones de las variables a analizar
sobre los ejes definidos por los dos
primeros autovectores de su matriz de
covariancia. Estas proyecciones
comprenden el 59% de la variancia de los
datos.
20. Análisis multivariable: redes neuronales
● Propiedades: es una técnica muy potente para analizar relaciones no
necesariamente lineales en problemas con un gran número de variables.
No se necesita formular un modelo, ya que la red aprende de ejemplos,
derivando las relaciones entre las variables de forma heurística a través
de un conjunto de datos de entrenamiento.
• Aplicaciones en Astrofísica: clasificación de objetos (Storrie-Lombardi et al.
1992, MNRAS, 259, 8), detección de señales débiles (Bacigaluppi et al. MNRAS 2000,
318, 769), determinación de períodos de variabilidad (Cornway 1998, NewAR, 42,
343, Tagliaferri et al. 1999, A&AS, 137, 391), determinación de corrimientos al rojo
(Firth et al, astro-ph/0203250), detección de frentes de onda en sistemas con
óptica adaptativa (Angel et al. 2000, Nat, 348,221; Sandler et al. 1991, Nat, 351, 300).
nodos de entrada nodos de salida
(Figura de StatSoft: www.statsoft.com/textbookstathome.html)
21. Análisis multivariable: redes neuronales
Ejemplo: clasificación de galaxias por una red neuronal con retropropagación (Storrie-Lombardi
et al. 1992, MNRAS, 259, 8P) .
La entrada a la capa s de la red es:
donde los w son pesos a ajustar; y la
salida es una señal
que depende de forma no-lineal de las
entradas.
Los pesos se determinan por un método
de mínimos cuadrados para un conjunto
de datos de entrenamiento. Se define
una función de coste, con las diferencias
entre la salida (clasificación) deseada y
la obtenida:
y se ajustan los pesos hacia las capas
de atrás (retropropagación)
donde el coeficiente de aprendizaje η y el momento α se prefijan para determinar la rapidez del
∑ −
= i
s
i
s
ij
s
j xwI 1
s
j
s
j Iz
z
zfzfx =
−+
== y
)exp(1
1
)(donde)(
∑ −≡ k kk doE 2
)(2/1
)()1( tw
w
E
tw ij
ij
ij ∆+
∂
∂
−=+∆ αη
aprendizaje.
22. Análisis multivariable: redes neuronales
Ejemplo: clasificación de galaxias por una red neuronal con retropropagación (Storrie-Lombardi
et al. 1992, MNRAS, 259, 8P) .
Una vez se ha entrenada la red, se fijan los pesos, y se pasan como entradas de la red neuronal
el conjunto de datos problema. Los nodos de salida dan la probabilidad de que la clasificación
sea C dada el conjunto de datos x, es decir, el resultado es bayesiano.
Notas del editor
Es este el coeficiente en el que trabajo fisher? Es la formula de probabilidad debida a el? Pearson hizo los calculos a mano y todos eran corroborados por la formula de Fisher????
All tied entries have the same rank, which ahs a mean rank value.