salud

1. Inferencia estadística:
teoría de distribuciones
Tema 1
Itziar Aretxaga

2. Conceptos básicos de la inferencia estadística
Definiciones:
Espacio de la muestra (Ω) es el conjunto de los posibles valores de un
experimento
Evento (A) es el conjunto de valores tomados por el experimento dentro
del espacio de la muestra. El evento complementario es Ac ≡ Ω − A
Variable aleatoria x(Ai) es una función definida en el espacio de N posibles
eventos Ai.
Función de distribución o probabilidad acumulada, F, es la probabilidad de
que cuando se mide un valor de la variable aleatoria x, éste sea menor o
igual a x’. F es una función monotónicamente creciente.
Si −∞≤x≤∞ es Ω, entonces F(−∞)=0, F(∞)=1.
Probabilidad discreta, Pr, de una variable discreta r, es la frecuencia con
que ocurre r.
Densidad de probabilidad, o función de frecuencia, o función diferencial de
probabilidad, P(x), de una variable continua x, es P(x)=dF/dx, de manera
que la probabilidad de que x tome un valor entre x’ y x’+dx’ sea P(x’)dx’.

3. Ejemplos de distribuciones de probabilidad
discreta, densidades de probabilidad y
funciones acumuladas de probabilidad:
Probabilidad discreta, en función de
una variable unidimensional,
representada como un histograma
de encasillado irregular.
Probabilidad discreta
representada como un
histograma bidimensional de
encasillado regular
Probabilidad discreta y su
correspondiente probabilidad
acumulada
Densidad de probabilidad
(Figs. © Stuart & Ord, “Kendall´s Advanced Theory of Statistics”)

4. Axiomas de probabilidad (Kolmogorov):
0 ≤ P(A) ≤ 1
P(Ω) = 1, P(Ø) = 0
si AB ≡ A ∩ B = Ø P(A U B) = P(A) + P(B)
Ejemplo: cálculo de la probabilidad de que en una tirada de una moneda, salga o águila o sol.
AS = Ø , P(A U S) = P(A) + P(S)= ½ + ½ = 1
Independencia:
si P(A|B) = P(A) P(AB)=P(A)P(B)
Ejemplo: cálculo de la probabilidad de que en dos tiradas de una moneda, salgan dos águilas
P(AA) = ½ × ½ = ¼
Probabilidad condicional:
P(A|B) = P(AB) / P(B)
Ejemplo: cálculo de la probabilidad de que en dos tiradas de una moneda, dada una primera
águila, salga otra águila P(A|A) = P(AA)/P(A) = ¼ / ½ = ½
Conceptos básicos de la inferencia estadística

5. Teorema de Bayes
P(B|A)P(A)
P(A|B) = P(B|A) P(A)/P(B) =
P(B|A)P(A) + P(B|Ac)P(Ac)
de lo que se deduce (aunque resulta filosóficamente controvertido),
P(H|X) α P(X|H) P(H)
Función posterior Función de probabilidad Función a priori
Éste es el fundamento de la inferencia bayesiana, que deriva la
probabilidad de que una hipótesis H sea cierta, dado un conjunto de
observaciones X.
Ejemplo:
Supongamos que el 90% de las estrellas de un cúmulo estelar se encuentran en la secuencia
principal. Hemos diseñado un método de clasificación estelar, según el cual, el 95% de las
estrellas de secuencia principal son reconocidas como tales, y el 93% de las estrellas que no lo
son, también son reconocidas como no pertenecientes a la secuencia principal. ¿Cuál es la
probabilidad de que nuestra clasificación reconozca una estrella como de secuencia principal, y
que ésta realmente lo sea?
P(X|H) = 0.95 P(Xc|Hc) = 0.93 P(H)=0.90
P(H|X) = 0.95 x 0.90 / (0.95 x 0.90 + 0.07 x 0.10) = 0.9919, es decir, 99.2%

6. Esperanza ε(x) de una variable aleatoria x es el valor que esperamos
adopte en promedio.
si la distribución es discreta
si la distribución es continua
Esperanzas de uso común:
media
variancia
la desviación estándar es σ
covariancia
Propiedad de la covariancia:
Si x e y son independientes cov(x,y)=0.
Nótese que una covariancia nula no indica necesariamente independencia.
)
(x
x
x 



Esperanzas
)
(
)
(
1
i
N
i
i x
P
x
x 



dx
x
P
x
x )
(
)
( 





)
(
)
(
)
)
(
( 2
2
2
2
x
x
x
x 


 



)
(
)
(
)
(
))
)(
((
)
,
( y
x
xy
y
y
x
x
y
x 


 




cov

7. Momentos de una distribución
1er momento: describe el valor central. Se define como
media si la distribución es continua.
Otras medidas del valor central son
mediana
moda xmod es el valor para el cuál la distribución toma su máximo absoluto







 dx
x
xP
x
x
N
x
N
i
i )
(
1
1
o







par
es
si
impar
es
si
N
x
x
N
x
x
N
N
N
)
(
2
/
1 2
/
)
1
(
2
/
2
/
)
1
(
med
dx
dF
x
f 
)
(
(Fig. © Roe, “Probability and Statistics in Experimental Physics”)
siguen un orden alfabético

8. Momentos de una distribución
2o momento: describe la anchura de la distribución. Se define como
− variancia, σ 2:
1/N se debe reemplazar por 1/(N−1) si la media de x no se conoce a priori,
como en las estimaciones experimentales.
Otras medidas de la anchura de la distribución:
− anchura a media altura, FWHM=a−b, tal que P(a)=P(b)=Pmax/2.
Para una gaussiana FWHM=2.3556σ
− desviación absoluta media, Δx:
que es más robusta frente a valores
que se devían mucho de xmod.
− intervalo R ≡ xmax − xmin,
− nivel de confianza al 68.3% [a,b] tal que y el intervalo
[a,b] es mínimo.
− cuartiles [a,b] tal que









 dx
x
P
x
x
x
x
N
N
i
i )
(
)
(
)
(
1 2
2
1
2
2

 o
dx
x
P
x
x
x
x
N
x
N
i
i
x )
(
1
1











 o
683
.
0
)
( 

b
a
dx
x
P







b
a
dx
x
P
dx
x
P 25
.
0
)
(
25
.
0
)
( y
FWHM

9. (Wall J.V., 1979, Q. Jr. R. Astr. Soc., 20, 138)
Ejemplo:

10. Momentos de una distribución
Los momentos de orden superior son menos robustos y, por lo tanto, menos
utilizados
3er momento: describe la asimetría de la distribución.
asimetría (skewness)
4o momento: describe el aplanamiento de la distribución.
kurtosis
En general:

 






 dx
x
P
x
x
m
x
x
N
m
N
i i
)
(
)
(
)
(
1 3
3
3
1
3
3 o


 






 dx
x
P
x
x
m
x
x
N
m
N
i i
)
(
)
(
)
(
1 4
4
4
1
4
4 o


 






 dx
x
P
x
x
m
x
x
N
m k
k
k
N
i
k
i
k )
(
)
(
)
(
1 1
o

(Figs. © Press et al., “Numerical Recipes”)
Se suele medir en una escala que
toma 3 como su cero, ya que éste
es el valor de la kurtosis de una
distribución normal estándar

11. Distribuciones habituales: binomial
Definición: variable de Bernouilli es aquélla cuyo espacio de muestra sólo
contiene dos resultados.
x 1 0
P(x) p q≡1−p
Distribución: si en n intentos se obtienen k aciertos, la distribución de
probabilidad del número de aciertos viene dada por
P(k) = ( ) pk qn−k donde ( ) ≡
Momentos de la distribución:
media <x> = ∑i xi P(xi) = np
variancia σ 2(x) = ∑i (xi − <x>)2 P(xi) = npq
Ejemplo: Supongamos que la probabilidad de encontrar una estrella de masa m* >10 M en un
cúmulo estelar joven es del 4%. ¿Cuál es la probabilidad de que en una muestra escogida al azar,
entre 10 miembros del cúmulo encontremos 3 estrellas con m*>10 M?
p=0.04
n=10 P(3)=10! / 3! / 7! x 0.043 x 0.967 = 0.006, es decir 0.6%
k=3
n
k
n
k
n!
k! (n-k)!
(Fig. © “Hyperstat Online Textbook”)
n=4
k=x=2
p=0.5

12. Distribuciones habituales: poissoniana
Definición: proceso poissoniano es aquél compuesto de eventos discretos
que son independientes en el espacio y en el tiempo.
Distribución: si el número de eventos esperados, μ,
en un intervalo de extensión h es μ = λh (λ da la
tasa de eventos por unidad de h), entonces la
probabilidad de que ocurran n eventos en h viene
dada por
Momentos de la distribución:
media <x> = ∑i xi P(xi) = μ = hλ
variancia σ 2(x) = ∑i (xi − <x>)2 P(xi) = μ = hλ
Ejemplo: La señal promedio recibida de una fuente es de 10 cuentas
por segundo. Calcular la probabilidad de recibir 7 cuentas en un segundo dado.
h=1 P(7)=107 x e−10 / 7! = 0.09, es decir 9%
n=7 A comparar con la probalidad en el máximo, si te parece baja:
μ=10 P(10)=1010 x e−10 / 10! = 0.125, es decir 12.5%
Moraleja: las probabilidades poissonianas para un número de eventos dado, son siempre
pequeñas, incluso en el máximo de la distribución de probabilidad. Si se desea discutir si el
número de eventos es típico, se debe comparar con la media y la variancia.
μn e−μ
n!
P(n) =
(Fig. © Carnegie Mellon, Biological Sci.)

13. Distribuciones habituales: gaussiana
Propiedades: es la distribución más utilizada en las ciencias porque
1. muchas variables aleatorias se pueden aproximar por una distribución
gaussiana (véase el teorema central del límite)
2. es fácil de utilizar matemáticamente
Distribución:
La distribución normal estándar: μ=0 y σ=1.
Momentos de la distribución:
media <x> = ∫ xP(x)dx = μ
variancia σ 2(x) = ∫ (x − μ)2 P(x)dx = σ 2
Significancias habituales:
1σ: P(μ−σ ≤ x ≤ μ+σ) = 0.683 (La integral de la distribución
2σ: P(μ−2σ ≤ x ≤ μ+2σ) = 0.955 está tabulada en todos los
3σ: P(μ−3σ ≤ x ≤ μ+3σ) = 0.997 libros de estadística básica)
Ejemplos: perfil de las líneas de emisión en un espectro unidimensional, perfil radial de objetos
puntuales en una imagen óptica (patrón de dispersión de una imagen puntual), …





 

 2
2
)
(
2
1
exp
2
1
)
(




x
x
P
(Fig. © Univ. of Georgia, “Hyperphysics”)

14. Ejemplo: distribución de brillo de
una estrella, patrón de dispersión
de una fuente puntual

15. (Aretxaga et al. 1999, MNRAS)

16. Teorema central del límite
Si para cada número entero n, las observaciones x1,x2,...,xn se derivan de
forma independiente de una distribución cualquiera de media μ y variancia
σ2, entonces la suma Sn=x1+x2+ ... +xn es asintóticamente gaussiana, en el
sentido que
donde Φ(z) es una distribución normal estándar.
El teorema también se cumple, en términos menos restrictivos, si las xi
se derivan de ciertas i distribuciones, que pueden ser diferentes entre sí.
En este caso, se deben cumplir varios criterios. Uno de los más comunes
es el criterio de Lindeberg:
donde ε es un número prefijado
arbitrariamente. Entonces el teorema es cierto si
es decir, si la suma no está dominada por fluctuaciones individuales.
)
(
2
lim z
z
n
n
S
P n
n


























n
k
x
x
n
k
x
x
x
y
k
k
y
k
k
k
k
,...,
1
,
0
,...,
1
,



si
si
Sea
1
/
)
...
( 2
2
1 
 



 

n
y
n 




17. Éste es uno de los teoremas más utilizados en CC Físicas. Debido a él las
distribuciones poissonianas y binomiales se pueden aproximar por una
gaussiana para números grandes de eventos. También la adición de
números generados por cualquier otra distribución forma una distribución
aproximadamente normal.
Aplicaciones del teorema central del límite
(Fig. © Roe, “Probability and Statistics in Experimental Physics”)

18. Existen situaciones físicas en las que las condiciones para el uso del
teorema central del límite no se cumplen, y por lo tanto una aplicación
ciega del mismo lleva a resultados erroneos.
Ejemplo: scattering múltiple de una partícula (Byron P. Roe, 2001, “Probability and
Statistics in Experimantal Physics”, Springer.)
El proceso de scattering simple resulta en
El proceso de scattering múltiple, sin embargo, da
Excepciones a la aplicación del teorema
3
)
(




dL
d
K
dL
d
f 
dL
d
dL
d
f 



 )
2
/
exp(
)
( 2
2


(Fig. © Roe, “Probability and Statistics in Experimental Physics”)

19. Distribución gaussiana multidimensional
En dos dimensiones, la distribución centrada en (0,0) tiene la forma:
donde ρ es el coeficiente de correlación, definido por
Los momentos característicos son:
En general, en p dimensiones, la distribución gaussiana centrada en μ
viene dada por:
donde x es el vector de la muestra (de p dimensiones), μ es su valor medio,
y ∑ es la matriz de correlación entre las variables x
Ejemplo: cálculo de las probabilidades de propiedades intrínsecas atribuibles a galaxias (u otros
objetos) a través de mapas color-color

20. Ejemplo: distribución de redshift derivado de un diagrama color-color
(Aretxaga et al. 2003,MNRAS)

21. Distribuciones habituales: chi-cuadrado
Definición: sea χ2=z1
2+z2
2+...+zf
2, donde zi son números generados
independientemente a partir de una distribución normal estándar.
Distribución: la densidad de probabilidad de χ2 con f grados de libertad, se
puede deducir de la distribución normal, y resulta ser
Momentos de la distribución:
media <χ2> = ∫ xP(x)dx = f
variancia σ 2(χ2) = ∫ (x − f)2 P(x)dx = 2f
momento k mk=f (f+2)...(f+2k−2)=<(χ2)k>
Propiedades:
1. es una distribución frecuentemente utilizada para medir desviaciones de
medidas experimentales respecto de un modelo adoptado.
2. cuando , donde Φ(x) es la
distribución normal estandar. La aproximación es buena para f ≥30.
)
2
/
exp(
2
)
2
/
(
1
2
1
)
( 2
1
2
2
2


 











f
f
P
)
(
2
/
)
( 2
x
f
f
f 
 


 entonces
(Fig. © Univ. of Arkansas, Community College at Hope)

22. Distribuciones habituales: F
Definición: sean y1,y2,...,ym e w1,w2,...,wn dos conjuntos de números
independientes derivados de distribuciones normales estándar. Se define la
distribución F como
Distribución: la densidad de probabilidad de F viene dada por
que normalmente se expresa
Propiedades: es una distribución frecuentemente utilizada para comparar
dos conjuntos de datos y su representación de un modelo. Un valor muy
grande o muy pequeño de F indica qué distribución se ajusta mejor a los
datos. Sin embargo es útil estudiar el valor de χ2 para corroborar que ambas
presentan un ajuste razonable.




 n
m
n
w
m
y
F
1
2
1
2
/
/
 
 
     2
1
2
1
/
2
/
2
/
2
)
( n
m
m
n
Fm
m
n
F
n
m
n
m
F
P 















 


     2
/
)
(
1
2
/
1
2
1
2
/
2
/
2
)
( n
m
m
m
x
m
n
x
n
m
x
P 










 





 
 
2
2
w
y
x
(Fig. © NIST/SEMATECH “Engineering Statistics Handbook”)
(m,n)

23. Distribuciones habituales: t Student
Definición: sea x1,x2,...,xn un conjunto de datos independientes derivados
de una distribución gaussiana de media 0 y variancia σ2. Se define t
Distribución: la densidad de probabilidad de t viene dada por
y la de t2 por la distribución F con m=1.
Propiedades: se utiliza frecuentemente para comparar muestras de una
distribución que se cree que es aproximadamente gaussiana, pero cuya
variancia se desconoce.
P.D.: Student era el sedónimo de W.S. Gosset (1876-1937), un pionero estadista que trabajó en la
Cervecería Guinness de Dublín como químico, y publicó sus resultados bajo seudónimo para
escapar de la política de la compañía, que prohibía publicar a los empleados.


n
i i n
x
x
t
1
2
/
 
 
2
/
)
1
(
2
1
2
/
2
/
)
1
(
1
)
(















n
n
t
n
n
n
t
P

(Figs. © Eric W. Weisstein)

24. Distribuciones habituales: log normal
Distribución: la densidad de probabilidad de una variable log x distribuída
según una función gaussiana es
Momentos de la distribución:
media <x> = ∫ xP(x)dx = exp(μ+σ2/2)
variancia σ 2(x) = ∫ (x − <x>)2 P(x)dx = (exp σ 2 −1) exp(2μ+σ 2)
Ejemplo: fotomultiplicadores, que convierten señales débiles de fotones en señales eléctricas.
Sea n0=a0 el número inicial de e− producidos por cada fotón. El número final de fotones tras pasar
por k etapas de fotomultiplicación será nk=Πi ai, de manera que log nk = ∑i log ak. En virtud del
teorema central del límite, log nk se aproxima a una distribución gaussiana para valores grandes
de k, y por lo tanto, nk se aproxima a una distribución log-normal.







 

 2
2
2 2
)
(log
exp
1
2
1
)
(



x
x
x
P

25. Cálculo de errores
En Astronomía se trabaja continuamente con distribuciones de medidas
(flujo, número de objetos, ...)
El error asociado a una cantidad θ=θ(x,y,..,) dependiente de las variables
x,y,..., si éstas no están correlacionadas, y su variancia es pequeña, se
puede aproximar en primer orden por
Si los errores están correlacionados, y las variancias son pequeñas, viene
dado por
Si estas condiciones no se cumplen, entonces hay que recurrir a un Monte
Carlo (véase tema 2) para calcular los errores.
(“Kendall’s Advanced Theory of Statistics I: Distribution Theory”, Stuart & Oed, Edward Arnold
Publ., sección 10.5)





















 2
2
2
2
2
y
x
y
x





)
,
cov(
1
,
2
j
i
ij
ij
j
N
j
i i
x
x
C
C
x
x






















 

donde
x
x




 C
,

26. Cálculo de errores
Ejemplo: cálculo del flujo emitido por una línea espectral.
Flujo entre a y b: L´= ∑i li´ = 1050 x 3 + 1100 x 2+ 1300 = 6650
σL´
2 = ∑i li´ = L´
Determinación del nivel de continuo: c=1/N ∑i ci = 1/10 ∑1
10 1000 = 1000 L=650 ±100
σc
2 = 1/N2 ∑i σci
2 = 1/N2 ∑i ci = c/N
Continuo bajo la línea: C = 1000 x 6 = 6000 ; σC
2 = 62 σc
2 = 3600
Línea: L = L´ − C = 6650 − 6000 = 650; σL
2 = σL´
2 + σC
2 = 6650 + 3600





















 2
2
2
2
2
y
x
y
x





1150
1000
1050
1100
1200
a b λ
flujo

27. Ejemplo de aplicación erronea del cálculo de propagación de errores
(Byron P. Roe, 2001, “Probability and Statistics in Experimental Physics”, Springer)
Algunas veces, los efectos no lineales en la propagación de errores hace que las fórmulas
anteriores dejen de funcionar.
En 1983 F. James revisó los datos de un experimento en el que se había encontrado una masa
no nula para el neutrino e−. La masa se medía a partir de la cantidad R
donde, sin entrar en detalles, a,b,c,d,e eran cantidades medibles, K era un valor fijo, y si
R<0.420, entonces el neutrino tenía masa. El experimento encontraba R=0.165 con un error
derivado de la propagación lineal de σR=0.073. La conclusión obvia era que el neutrino tenía
masa, ya que R=0.420 se encontaba a 3 sigmas, correpondiendo a una probabilidad de uno en
mil.
Sin embargo, la fórmula para el cálculo de R es fuertemente no lineal, y la fórmula de
propagación podía fallar, especialmente porque los errores de las cantidades medidas eran, en
sí, bastante grandes. Para comprobarlo, James realizó unos cálculos de Monte Carlo
suponiendo que a,b,c,d tenían errores gaussianos independientes entre sí, y evaluó la
distribución de R. Encontró que el 1.5% del tiempo, los resultados daban R>0.42, haciendo el
resultado mucho menos robusto de lo que anteriormente se creía.
En muchos casos prácticos, los errores tienen largas colas de probabilidad, con las que hay
que trabajar con mucho cuidado, sin sobreinterpretar el valor de la desviación cuadrática
media.
a
Ke
d
K
c
b
e
K
d
a
R











 2
2
1
2
)
(

28. Análisis de identidad de dos distribuciones
Test de t-Student: ¿Tienen dos distribuciones la misma media?
Suposiciones: las muestras están derivadas de distribuciones gaussianas
con la misma variancia. Por lo tanto, el test es paramétrico.
Estrategia: medir el número de desviaciones estándar que las separa
(err = σ/√N)
Método: sean las muestras A ≡ {xi}, i=1,...,NA de media xA
B ≡ {xi}, i=1,...,NB de media xB
e igual variancia σ2. Se definen sD y t
La probabilidad de que t tome un valor así de grande o más viene dada
por la distribución t-Student con n ≡ NA+NB grados de libertad, donde un
valor pequeño significa que la diferencia es muy significante.
Esta función está tabulada en los libros de estadística básica, y se puede
encontrar codificada en la mayoría de las bibliotecas de programación.
2
/
1
1 1
2
2
1
1
2
)
(
)
(























 
 
B
A
B
A
N
i
N
i B
i
A
i
D
N
N
N
N
x
x
x
x
s
A B
D
B
A
s
x
x
t


  2
)
1
(
2
1
)
2
/
(
2
/
)
1
(
1
)
,
(



 












n
t
t
n
x
dx
n
n
n
n
t
P

(Press et al., “Numerical Recipes”)

29. Análisis de identidad de dos distribuciones
Variante del test de t-Student: ¿Tienen dos distribuciones la misma
media?
En el caso de que las variancias de las dos muestras sean diferentes,
σA
2 ≠ σB
2, se definen t y n
donde n no tiene por qué ser un número entero.
La probabilidad de que t sea así de grande o más viene aproximadamente
dada por la misma distribución P(t,n) anterior.
2
/
1
2
2
)
/
/
( B
B
A
A
B
A
N
N
x
x
t

 


 
1
)
/
(
1
)
/
(
/
/
2
2
2
2
2
2
2





B
B
B
A
A
A
B
B
A
A
N
N
N
N
N
N
n




(Press et al., “Numerical Recipes”)

30. Análisis de identidad de dos distribuciones
Test F: ¿Tienen dos distribuciones diferente variancia?
Suposiciones: las distribuciones son gaussianas. El test es, por lo tanto,
paramétrico.
Estrategia: se analiza el cociente de las variancias y su desviación de la
unidad.
Método: sean las muestras A ≡ {xi}, i=1,...,NA de media xA y variancia σA
2
B ≡ {xi}, i=1,...,NB de media xB y variancia
σB
2
Se define F ≡ σA
2/σB
2, donde σA>σB.
La significancia de que la variancia de la distribución A sea mayor que la de
la distribución B viene dada por la distribución F con nA ≡ NA−1 y nB ≡ NB−1
grados de libertad en el numerador y denominador:
donde
La distribución F está tabulada en los libros de estadística básica, y se
encuentra codificada en la mayoría de las bibliotecas de programación.
  1
2
0
1
2
)
1
(
)
2
/
(
)
2
/
(
2
/
)
(
2
)
,
(







 
A
B n
x n
B
A
B
A
B
A t
t
dt
n
n
n
n
n
n
F
P
2
/
2
/
2
/
A
B
B
n
F
n
n
x


(Press et al., “Numerical Recipes”)

31. 0 si xi<x
1 si xi≥x
)
2
exp(
)
1
(
2
)
( 2
2
1
1

 j
P
j
j


 



KS
 D
N
N e
e /
11
.
0
12
.
0 



Análisis de identidad de dos distribuciones
Test Kolmogorov-Smirnov: ¿Son dos distribuciones diferentes?
Suposiciones: las distribuciones son continuas. El test no es paramétrico,
lo que lo hace muy eficaz. Es un test muy popular en Astronomía.
Estrategia: medir la desviación máxima de las distribuciones acumuladas.
Método: sean las muestras A ≡ {xi}, i=1,...,NA
B ≡ {xi}, i=1,...,NB
Se define la distribución acumulada SN(x) ≡ 1/N ∑i f(xi) , donde
f(xi) ≡ { para cada muestra. La diferencia máxima entre ellas
viene dada por D ≡ max |SA(x)−SB(x)|
La significancia de que las dos distribuciones
difieran viene dada aproximadamente por
donde
y Ne=NANB/(NA+NB). La expresión es buena
para Ne≥4 (Stephens 1970) .

32. Análisis de identidad de dos distribuciones
El test de Kolmogorov-Smirnov no es muy sensible si la diferencia máxima
entre las distribuciones acumuladas ocurre en los extremos de las
mismas.
Para solucionar este problema, se introdujo una variante del test.
Test de Kuiper: ¿Son dos distribuciones diferentes?
Suposiciones y estrategia: las mismas que K-S.
Método: se definen las diferencias máximas por exceso, D+ , y por
defecto, D− , y la diferencia combinada
D ≡ D+ + D− = max [ SA(x) − SB(x) ] + max [ SB(x) − SA(x) ] .
La significancia con la que las dos distribuciones difieren viene dada por
PKP = 2 ∑j (4j2λ2−1) exp(−2j2λ2) ,
donde λ ≡ [ √Ne + 0.155 + 0.24 / √Ne ] D y Ne ≡ NANB/(NA+NB)
Análisis de identidad de una distribución observada con una distribución
teórica: tanto KS y KP se pueden aplicar a una sola distribución para
estudiar si se deriva de una distribución teórica P(x). La estrategia es la
misma, y las ecuaciones son válidas, substituyendo SB(x) por P(x) y
haciendo Ne=NA.
(Press et al., “Numerical Recipes”)

33. QSOs: 85%
RQ QSOs: 39%
RL QSOs: 99.5%
(Aragón-Salamanca et al. 1996, MNRAS, 281, 945)
Ejemplo: distribución de galaxias débiles entorno a QSOs

34. Análisis de identidad de dos distribuciones
Test Kolmogorov-Smirnov multidimensional: (Peacock 1983, MNRAS, 202,
615; Fasano & Franceschini 1987, MNRAS, 225, 155)
Dificultad: en una dimensión, K-S es independiente de cómo se ordenan los
datos, pero en N dimensiones, existe más de una forma de ordenarlos.
Estrategia: se consideran las cuatro posibles acumulaciones de los n datos
de una muestra siguiendo los ejes de coordenadas. En 2D, se considera el
número de datos de la muestra que cae en cada cuadrante
(x<Xi, y<Yi), (x<Xi, y>Yi), (x>Xi, y<Yi), (x>Xi, y>Yi) , i=1,...,n,
y se compara con la distribución padre o la distribución de comparación. Se
define DBKS como la diferencia normalizada más grande de entre todos los
cuadrantes y todos los puntos.
En 3D, de igual manera,
(x<Xi, y<Yi, z<Zi), (x<Xi, y<Yi, z>Zi), (x<Xi, y>Yi, z>Zi),
(x>Xi, y<Yi, z<Zi), (x>Xi, y<Yi, z>Zi), (x>Xi, y>Yi, z>Zi), i=1,...,n.
Significancia: formalmente no existe una expresión rigurosa que dé la
probabilidad de que las dos distribuciones difieran. Se han realizado
diversos Monte Carlos con distribuciones en el plano y el espacio que
presentan diferentes niveles de correlación. Fasano & Franceschini (1987)
proveen de tablas y expresiones polinomiales para calcular la diferencia
crítica Zn≡DBKS√Ne que rechaza la identidad de las dos distribuciones, dados
n, CC (coeficiente de correlación) y SL (el nivel de significancia).

35. Análisis de identidad de dos distribuciones
Cálculo de la dependencia de la
diferencia crítica entre dos
distribuciones 2D con el coeficiente
de correlación de los puntos, el
número de puntos y el nivel de
confianza escogido para rechazar la
hipótesis nula de identidad (Fasano &
Franceschini 1987).
Modelos de correlación entre los datos explorados
y
x
y
x
CC


)
,
cov(


36. Análisis de identidad de dos distribuciones
Aproximaciones polinomiales a las significancias encontradas en el Monte
Carlo. Estos polinomios están codificados en varios paquetes de análisis
estadístico (ejem. “Numerical Recipes”)

37. (Wall J.V., 1996, Q. Jr. R. Astr. Soc., 37, 519)

38. Inferencia clásica frente a inferencia bayesiana
(Loredo T. 1992, en “Statistical Challenges in Modern Astronomy”, ed. Feigelson & Babu,
Springer, http://www.astro.cornell.edu/staff/loredo/bayes/tjl.html)
Dos diferentes interpretaciones del término probabilidad:
• frecuentista: frecuencia con que un cierto resultado se obtiene en la
repetición infinita de un proceso.
• bayesiana: plausibilidad de que una proposición (modelo) pueda dar
cuenta de un conjunto de datos.
En muchas situaciones se obtiene el mismo resultado utilizando las dos
técnicas, pero existen excepciones notables (ejem. Kraft et al. 1991, ApJ, 374,
344).
Los dos métodos son fundamentalmente diferentes. Parten de
concepciones opuestas sobre cuál es la información fidedigna y por
evaluar (modelo o datos). Los cálculos bayesianos discriminan entre
hipótesis plausibles, mientras que los cálculos frecuentistas evalúan la
validez del conjunto de datos dada una hipótesis que se toma como
cierta.
Teorema de Bayes:
)
(
)
(
)
(
)
(
D
P
H
D
P
H
P
D
H
P 

39. Inferencia bayesiana
Pasos a seguir en la inferencia Bayesiana:
1. Especificar el modelo, o hipótesis a evaluar: en general tendremos
varias Hi a comparar
2. Asignar las probabilidades:
a priori o anterior P(Hi)
anterior predictiva P(D)
de muestreo P(D|Hi)
3. Calcular la probabilidad posterior mediante el teorema de Bayes.
4. Comparar los resultados entre los diferentes modelos, mediante el
cociente de probabilidades posteriores P(Hi|D)/P(Hj|D), por ejemplo.
)
(
)
(
)
(
)
(
D
P
H
D
P
H
P
D
H
P 

40. Ejemplo: estimación de una media poissoniana
Supongamos que hemos obtenido una medida de n eventos en un intervalo de tiempo T,
y que deseamos inferir la frecuencia de eventos, r .
1.- Especificamos la hipótesis H, de que el proceso es poissoniano con una frecuencia de
eventos 0  r  rmax.
2.- Asignamos probabilidades:
de muestreo:
a priori (anterior): , que en este caso es una probabilidad no informativa
anterior predictiva:
3.- Aplicamos el teorema de Bayes para calcular la probabilidad posterior:
Si Trmax>> n, entonces la función incompleta gamma se puede aproximar por
y la probabilidad posterior resulta
Para el caso particular en el que se detectan 7 eventos en 1 segundo, la probabilidad de que el
proceso tenga una media de 10 eventos por segundo es del 9%:
(nota: compárese con la probabilidad frecuentista) P(10 | 7)
(Loredo 1992)

41. Ejemplo: estimación de una media poissoniana sobre un fondo
Supongamos que hemos obtenido una medida de Non eventos en un intervalo de tiempo
Ton, y que deseamos inferir la frecuencia de eventos de la señal, s , sobre el fondo, b. Se
supone que se puede estimar el fondo de una medida independiente de Noff eventos en un
intervalo Toff.
Como en el caso anterior
Para la medida con señal y fondo conjuntamente:
donde
es la probabilidad de muestreo
p(s|b) = p(s)= 1/smax
p(b) = p(b | Noff)
p(Non) = 1/Tonsmax prob. anterior predictiva ( )
Para calcular la probabilidad posterior de la señal, hay que marginar el parámetro b,
calculando p(s|Non) =  db p(sb|Non). Realizando la expansión del término (s+b)N
on se
encuentra
dan la probabilidad a priori
}
(Loredo 1992)
!
)
(
)
|
(
off
off
off
off
off
off
N
e
bT
T
N
b
p
bT
N 

)
(
)
|
(
)
(
)
|
(
)
(
)
|
(
)
(
)
|
(
on
on
on
on
on
N
p
sb
N
p
b
p
b
s
p
N
p
sb
N
p
sb
p
N
sb
p 

!
]
)
[(
)
|
(
on
)
(
on
on
on
on
N
e
T
b
s
sb
N
p
T
b
s
N 

















 on
on on
0 on
off
on
on
off
on
off
on
on
of
0
on
on
on
)!
(
)!
(
)
/
1
(
)!
(
)!
(
)
/
1
(
,
!
)
(
)
|
( N
j
j
i
f
i
N
i
sT
i
i
j
N
j
N
N
T
T
i
N
i
N
N
T
T
C
i
e
sT
T
C
N
s
p

42. Se debe resaltar que éste es un cálculo ambiguo bajo la inferencia frecuentista, aunque hay
algunas publicaciones con aproximaciones no libres de inconsistencias (O’Morgain, 1973,
Nature, 241, 376; Cherry et al. 1980, ApJ, 242, 1257)
♦ Ejemplo: medida en la que b ≥ n (Kraft et al. 1991, ApJ, 374,344) — inconsistencias de los
cálculos frecuentistas.
Supóngase que b de conoce por un método alternativo con una gran precisión
• Cálculo frecuentista para constreñir s:
Existen muchos métodos propuestos que no son correctos desde el punto de vista del
planteamiento real del problema (véase Kraft et al.). Lo que sí es correcto, es calcular los
límites de confianza (CL) de un s+b dado, con la función de probabilidad
y substraer a estos el b previamente determinado.
• Cálculo bayesiano:
No existe ninguna ambigüedad en el planteamiento del problema. Se deben calcular los CL de
la densidad de la probabilidad posterior P(s| n,b)
El intervalo de s para diferentes valores de CL, n, b se encuentra tabulado, aunque es simple
calcularlo al resolver los CL con la expresión anterior.
b
s
n
b
s
b
N
b
N
N s
N
s
N
N
n
n
b
s
e
N
s
e
N
s
e
n
P
b
b
s
s









 donde
,
!
)
(
!
!
)
(
)
(
,
!
)
(
!
)
(
)
(
1
0 n
b
n
e
i
b
e
nb
s
P
n
b
s
n
i
i
b















43. (Kraft et al. 1991)

44. (Kraft et al. 1991)
La comparación de ambos métodos indica que el cálculo frecuentista incurre en
contradicciones cuando n<b, ya que los límites superiores de los CL llegan a ser negativos.
Sin embargo, para casos en que b<n, los límites calculados son prácticamente iguales.
frecuentista
bayesiana
frecuentista
bayesiana