roc

1. Entender la característica de
funcionamiento relativa
Simon J. Mason
International Research Institute
for Climate and Society

2. QUE?
El WMO incluye caracteristicas relativas
operacionales (ROC) como parte de su sistema
estandarizado de verificacio (SVS).
El nombre incomprensible no significa
intimidacion! El nombre fue heredado de la teoria
de descubrimiento o identificacion.La maioria de
los meteorogolos se refieren a ella como ROC
simplemente.
El ROC se usa para medir que tan buenos son los
pronosticos, pero la misma o es una medida
sencilla de prognostico de abilidad como la
correlacion, sino que se presenta generalmente
gratificante.

3. ¿Por qué?
El ROC fue seleccionado como parte del SVS del
WMO por muchas rezones, incluyendo las
siguientes characteristicas:
1. Se puede utilizar con pronosticos determinantes
y de probabilidad.
2. Fue disenado para medir que tan buenos son
los pronosticos en el contexto de un modelo
muy simple al tomar decisiones determinantes,
y por lo tanto es mas conveniente para medir
que tan buenos son los prognosticos desde la
perspectiva del usuario en comparacion con
otras medidas comunmente usadas.
3. Reconoce que la calidad del pronostico no
puede ser medida por un simple numero.

4. ¿Cuándo?
El ROC funciona con incognitas binarias.
Incognitas binarias son preguntas que tienen
respuestas "si" /"no" Por ejemplo:
Llovera esta tarde?
Estara caliente manana?
Producira tornados esta tormenta?
Por supuesto, la Segunda y tercera pregunta
tienen que ser definidas exactamente: "Caliente"
podria ser definida como "mayor de 30o C,"
"inusualmente humedo" podria significar "mas de
500 mm de lluvia.

5. Forecast says event will happen?
Event happens? Yes No
Yes Hit Miss
No False Alarm Correct Rejection
As cajas amarillas son pronosticos correctos, las
cajas azules son pronosticos incorrectos.
Como veremos posteriormente, el pronostico no
tiene que ser expresado con un simple "si" o "no,"
pero la respuesta si tiene que ser un simple "si"
o "no." Si los pronosticos son expresados como ( o
convertidos a) "si" o "no," la verificacion es simple:

6. Como?
Forecast says event will happen?
Event happens? Yes No
Yes Hit Miss
No False Alarm Correct Rejection
El ROC plantea las siguientes preguntas:
1. Para cuantos de los no-acontecimientos las
advertenciasfueron proporcionadas
incorrectamente?
2. Para cuantos de los acontecimientos las
advertencies fueron proporcionadas corretamente?

7. La major manera de ilustrar es por medio de un
juego.

8. A Usted le sera mostrado un arreglo de
120 azulejos de Mahjong organizados
en 8 filas numeradas y 15 columnas
(A-O). Usted tendra un minuto para
recordar las posiciones de 12 "wind"
azulejos. Ellos son los unicos azulejos
que se distinguen por sus characters
Chinos, negros, y grandes (mostrados
en el lado opuesto). Hay 3 de cada
uno, pero no se preocupe por distinguir
entre los azulejos, solo trate de
recordar las 12 posiciones. Trate de
recordar el mayor numero possible. La
mayoria de la gente recordaran unos
cuantos.

9. Por ejemplo, en el subconjunto abajo hay 3
azulejos del viento; están en C1, B3, y G3.

10. 1. Muy confidente (usted
recuerda esta localización
claramente);
2. Bastante confidente (usted
piensa que hay un azulejo del
viento aquí, pero puede estar en
una localización vecina);
3. Levemente confidente (usted
piensa que puede haber un
azulejo del viento en alguna
parte cerca aquí);
4. Apenas conjeturando (usted
piensa que puede haber
localizado del azulejo que
Usted debe también indicar cómo estas confidente y
se ha recordado la localización correctamente.
Utilice las categorías siguientes:

11. Si usted no puede recordar los 12, intento que
enumera un racimo de las localizaciones para ésos
usted no es totalmente seguro alrededor. Por ejemplo,
si usted piensa hay un azulejo del viento en alguna
parte en el centro de la fila 1 pero no puede recordar la
columna exacta, enumera el que usted piensa es
primer correctos, y después enumerar localizaciones
cualquier lado. Proceda solamente cuándo usted es
listo para la prueba.

12. ¡no más
de
tiempo!

13. Ahora anote las 12 localizaciones como usted las
recuerda, e indique su nivel de confianza (1-4). Utilice
las referencias de la rejilla abajo.
GRID CONFIDENCE
1
2
3
4
5
6
7
8
9
10
11
12

14. Usted debe ahora tener una lista de 12
localizaciones con indicaciones en cómo es
confidente y se las localizaciones están correctas.
Una vez que usted sea feliz con sus respuestas,
y haya indicado su nivel de confianza
apropiadamente, vaya a continuación y
compruebe contra las respuestas en la diapositiva
siguiente.

16. The 12 correct locations are:
A8 C7 D4 E1 E4 H8 I2 K3 L2 L5 L7 M4
Cuente el número que usted consiguió derecho e
incorrecto para cada nivel de confianza, y después
calcule los totales. Por ejemplo, las cuentas del dr Xs
eran como sigue:
VERY
CONFIDENT
FAIRLY
CONFIDENT
SLIGHTLY
CONFIDENT
JUST
GUESSING ALL
CORRECT 4 2 1 0 7
INCORRECT 1 1 2 1 5

17. VERY
CONFIDENT
CORRECT
4 out of 12
= 33.3%
INCORRECT
1 out of 108
= 0.9%
En el ejemplo, mirando
primero solamente las
localizaciones que el dr X era
muy confidente alrededor, 4
localizaciones esté correcto.
Puesto que hay 12 azulejos
del viento en total, las
localizaciones de el 33% de
los azulejos del viento fueron
identificadas correctamente.
El dr X es tan muy confidente
sobre las localizaciones de el
33% de los azulejos del
viento.
Pero una localización es incorrecta. Hay 108 azulejos del
no-viento, y así que 0,9% de los azulejos del no-viento
fueron escogidos erróneamente. El dr X es muy
confidente que 0,9% de los azulejos del no-viento son
azulejos del viento.

18. La mayoría de la gente podría conseguir más de los azulejos del
viento si ella incluye las localizaciones que esta bastante
confidente alrededor. En el ejemplo, ahora hay las localizaciones
4+2=6 correctas, así que las localizaciones de el 50% de los
azulejos del viento fueron identificadas correctamente. Pero las
localizaciones 1+1=2 son incorrectas, así que 1,9% de los
azulejos del no-viento fue escogido erróneamente.
VERY
CONFIDENT
FAIRLY
CONFIDENT
CORRECT 4 out of 12
= 33.3%
4+2=6
6 out of 12
= 50.0%
INCORRECT 1 out of 108
= 0.9%
1+1=2
2 out of 108
= 1.9%

19. Semejantemente usted puede poder conseguir aún
más de los azulejos del viento si incluimos las
localizaciones que usted era levemente confidente
alrededor, y de ésos para los cuales usted era el
conjeturar justo. Sin embargo, como comenzamos a
incluir las localizaciones para las cuales usted es
menos confidente, el número de las localizaciones
escogidas incorrectamente es probable aumentar. La
proporción de azulejos del viento escogió tan
correctamente aumentos como la confianza
disminuye, pero tan también hace la proporción de
azulejos del no-viento escogidos incorrectamente.

20. Calcule la proporción correcta e incorrecta en todos
los niveles de la confianza.
Su tabla debe mirar algo como el siguiente
VERY
CONFIDENT
FAIRLY
CONFIDENT
SLIGHTLY
CONFIDENT
JUST
GUESSING
CORRECT 4 out of 12
= 33.3%
4+2=6
6 out of 12
= 50.0%
4+2+1=7
7 out of 12
= 58.3%
4+2+1+0=7
7 out of 12
= 58.3%
INCORRECT 1 out of 108
= 0.8%
1+1=2
2 out of 108
= 1.9%
1+1+2=4
4 out of 108
= 3.7%
1+1+2+1=5
5 out of 108
= 4.6%
Podemos trazar estos puntos en un gráfico…

21. VERY FAIRLY SLIGHTLY JUST
CONFIDENT CONFIDENT CONFIDENT GUESSING
CORRECT 0.333 0.500 0.583 0.583
INCORRECT 0.009 0.019 0.037 0.046
Mahjong Memory Game Scores
0.00
0.20
0.40
0.60
0.80
1.00
0.00 0.02 0.04 0.06 0.08 0.10
Proportion of non-wind tiles picked incorrectly
Proportionofwindtilespickedcorrectly

22. ¡Felicitaciones!!
¡Usted acaba de dibujar (parte de) un gráfico de ROC!
Antes de que intentemos tener más sentido del gráfico
intentemos resolverse cómo es bueno es su cuenta.

23. ¿Cómo podemos determinarnos cómo esta buena
su cuenta? Una forma es comparar su cuenta con
las cuentas de la gente que no había sido dada una
oportunidad de memorizar las localizaciones de los
azulejos. Esta gente habría tenido que conjeturar
todas las localizaciones.
Enumeran a la gente que conjetura también
localizaciones de la lista 12, pero todos como
conjetura.Consideremos cuántas localizaciones ella
es probable conseguir correcta.

24. Hay 12 azulejos del viento y 120 azulejos en total:
los tan 10% de los azulejos son azulejos del viento.
¿Hay 108 = 120? 12 azulejos del no-viento:
los tan 90% de los azulejos son azulejos del no-
viento.
12
10%
120
=
120 12 108
90%
120 120
−
= =

25. Alguna de la gente que conjetura será afortunada y
conseguirá un número grande correcto, pero otras serán
desafortunadas y conseguirán poco correcto. Asumiendo
tenemos porciones de conjeturar de la gente, podríamos
hacer un promedio de sus cuentas.
NUMBER OF
GUESSES
AVERAGE
CORRECT
AVERAGE
INCORRECT
1 0.1 0.9
2 0.2 1.8
3 0.3 2.7
4 0.4 3.6
5 0.5 4.5
6 0.6 5.4
7 0.7 6.3
8 0.8 7.2
9 0.9 8.1
10 1.0 9.0
11 1.1 9.9
12 1.2 10.8
En promedio el
10% de las
localizaciones
estarán correcto,
y el 90%
incorrecto. Tan
para cualquier
número de
conjeturas
podemos calcular
las cuentas
medias.

26. NUMBER OF
GUESSES
AVERAGE
CORRECT
AVERAGE
INCORRECT
1
0.1 out of 12
= 0.8%
0.9 out of 108
= 0.8%
2
0.2 out of 12
= 1.7%
1.8 out of 108
= 1.7%
3
0.3 out of 12
= 2.5%
2.7 out of 108
= 2.5%
4
0.4 out of 12
= 3.3%
3.6 out of 108
= 3.3%
5
0.5 out of 12
= 4.2%
4.5 out of 108
= 4.2%
6
0.6 out of 12
= 5.0%
5.4 out of 108
= 5.0%
7
0.7 out of 12
= 5.8%
6.3 out of 108
= 5.8%
8
0.8 out of 12
= 6.7%
7.2 out of 108
= 6.7%
9
0.9 out of 12
= 7.5%
8.1 out of 108
= 7.5%
10
1.0 out of 12
= 8.3%
9.0 out of 108
= 8.3%
11
1.1 out of 12
= 9.2%
9.9 out of 108
= 9.2%
12
1.2 out of 12
= 10.0%
10.8 out of 108
= 10.0%
El porcentaje de los
azulejos del viento
conjeturaba
correctamente, y de
los azulejos del no-
viento conjeturado
incorrectamente, es
igual.
Agreguemos estas
cuentas al gráfico.

27. La línea para
cualquier número
de conjeturas se
demuestra, pero
las marcas se
demuestran
solamente para la
comparación
directa con las
cuentas del
ejemplo.

28. Las cuentas de la memoria son mejores que
conjeturando si hay más azulejos del viento y pocos
azulejos del no-viento seleccionados, es decir más de
las localizaciones se identifican correctamente que se
conjeturan correctamente.
En el ejemplo, 5 azulejos eran?very marcado
confidente?, y 4 de éstos estaban correctos. En
promedio, solamente 0,5 azulejos estarían correctos
conjeturando, así que la memoria del dr X es buena.
En el gráfico, una buena memoria demostraría puntos a
la izquierda y sobre la línea para las conjeturas.
Más adelante en nosotros consideraremos la cuestión
de cuánto mejor que conjeturando sus cuentas sea.
Pero ahora déjenos se aplican qué se ha aprendido a
algunos pronósticos del clima.

29. En el ejemplo de Mahjong le dieron 12 ocasiones de
señalar a las localizaciones de 12 azulejos del viento
de un total de 120 azulejos. Usted podía utilizar su
memoria para mejorar en conjeturar, y podíamos
identificar si su memoria mejoró sobre conjeturas.
Esta clase de problema es muy común, tan ahora
nos dejó tomar un ejemplo climatológico
equivalente…

30. Esta vez tenemos 30 años de pronósticos de la
precipitación, y el problema es identificar los 10 años
“secos” sobre el período de 30 años. El problema es
similar al juego de Mahjong, pero con las diferencias
siguientes:
30 años en vez de 120 azulejos
10 años secos en vez de 12 azulejos del viento
20 años no-secos en vez de 108 azulejos del no-
viento
No tenemos acceso a los datos de la precipitación, y
así que no podemos memorizar los años.En lugar
utilizaremos los pronósticos para seleccionar el años.

31. El acercamiento más lógico es utilizar el pronóstico
para la menos precipitación (1984 en 0,530) como
nuestra indicación más probable de un año seco, el
pronóstico para el segundo menos precipitación
(1963 en 0,729) como nuestro segundo probable, y
el pronóstico para el tercero menos precipitación
(1966 en 0,796) como nuestro tercero muy
probablemente...
Year Forecast Year Forecast Year Forecast
1961 1.279 1971 0.872 1981 1.023
1962 1.346 1972 0.886 1982 1.060
1963 0.729 1973 1.134 1983 1.221
1964 1.084 1974 1.071 1984 0.530
1965 0.821 1975 0.850 1985 1.042
1966 0.796 1976 0.933 1986 1.120
1967 0.882 1977 0.884 1987 1.002
1968 0.844 1978 1.025 1988 0.928
1969 0.972 1979 1.039 1989 1.025
1970 1.216 1980 1.032 1990 1.223

32. Podríamos continuar enumerando todos los años
en orden de cómo es confidente somos que cada
año es uno de los 10 años “secos”. ¿Seríamos los
más confidentes que 1984 es “seco” y lo más
menos posible confidente que 1962 es “seco”.
Rank Year Forecast Rank Year Forecast Rank Year Forecast
1 1984 0.530 11 1988 0.928 21 1982 1.060
2 1963 0.729 12 1976 0.933 22 1974 1.071
3 1966 0.796 13 1969 0.972 23 1964 1.084
4 1965 0.821 14 1987 1.002 24 1986 1.120
5 1968 0.844 15 1981 1.023 25 1973 1.134
6 1975 0.850 16 1989 1.025 26 1970 1.216
7 1971 0.872 17 1978 1.025 27 1983 1.221
8 1967 0.882 18 1980 1.032 28 1990 1.223
9 1977 0.884 19 1979 1.039 29 1961 1.279
10 1972 0.886 20 1985 1.042 30 1962 1.346

33. Los años realmente “secos” se destacan arriba.
Calculemos una tabla de la cuenta de la misma
manera que para el juego de la memoria.
Utilizaremos a cada fila como nivel que disminuye
de la confianza.
Rank Year Forecast Rank Year Forecast Rank Year Forecast
1 1984 0.530 11 1988 0.928 21 1982 1.060
2 1963 0.729 12 1976 0.933 22 1974 1.071
3 1966 0.796 13 1969 0.972 23 1964 1.084
4 1965 0.821 14 1987 1.002 24 1986 1.120
5 1968 0.844 15 1981 1.023 25 1973 1.134
6 1975 0.850 16 1989 1.025 26 1970 1.216
7 1971 0.872 17 1978 1.025 27 1983 1.221
8 1967 0.882 18 1980 1.032 28 1990 1.223
9 1977 0.884 19 1979 1.039 29 1961 1.279
10 1972 0.886 20 1985 1.042 30 1962 1.346

34. Rank Year Correct Incorrect Rank Year Correct Incorrect
1 1984 10% 0% 16 1989 70% 45%
2 1963 10% 5% 17 1978 70% 50%
3 1966 10% 10% 18 1980 70% 55%
4 1965 20% 10% 19 1979 70% 60%
5 1968 20% 15% 20 1985 70% 65%
6 1975 30% 15% 21 1982 70% 70%
7 1971 40% 15% 22 1974 70% 75%
8 1967 40% 20% 23 1964 70% 80%
9 1977 40% 25% 24 1986 70% 85%
10 1972 50% 25% 25 1973 80% 85%
11 1988 60% 25% 26 1970 80% 90%
12 1976 60% 30% 27 1983 90% 90%
13 1969 70% 30% 28 1990 90% 95%
14 1987 70% 35% 29 1961 100% 95%
15 1981 70% 40% 30 1962 100% 100%
Nuestra primera selección está correcta, así que
hemos identificado 1 (el 10%) de los 10 años “secos”
correctamente. El segundo es incorrecto, así que
hemos seleccionado 1 (5%) de los 20 ”no-secos”
años incorrectamente.Ahora podemos trazar estos
puntos?

36. Podemos determinar cómo los pronósticos están
buenos exactamente de la misma manera que para
el juego de la memoria. Comparemos las cuentas
para los pronósticos con las cuentas para la gente
que no tiene ningún pronóstico disponible. Esta
gente habría tenido que conjeturar todos años
“secos”.

37. ¿Allí son 10 años “secos” y 30 años en total:
tan los cerca de 33% de los años son “secos”.
Hay 20 = 30 10 años “no-secos”:
tan los cerca de 67% de los años son ”no-secos”.
10
33%
30
≈
30 10 20
67%
30 30
−
= ≈

38. En el promedio el cerca de 33% de los años escogidos
esté correcto, y el 67% incorrecto. Tan para cualquier
número de conjeturas las cuentas medias estarán:
NUMBER OF
GUESSES
AVERAGE
CORRECT
AVERAGE
INCORRECT
1
1 × 33% = 0.33
0.33 out of 10
= 3.3%
1 × 67% = 0.67
0.67 out of 20
= 3.3%
2
2 × 33% = 0.67
0.67 out of 10
= 6.7%
2 × 67% = 1.33
1.33 out of 20
= 6.7%
3
3 × 33% = 1.00
1.00 out of 10
= 10.0%
3 × 67% = 2.00
2.00 out of 20
= 10.0%
…
Y podemos agregar estas cuentas al gráfico…

40. Recuerde eso para que los pronósticos sean mejores
que conjeturando, los pronósticos deben identificar
correctamente ma's los años “secos” e identifican
poco incorrectamente años “no-seco” que las
conjeturas. Para los buenos pronósticos la curva
estará a la izquierda y sobre la línea diagonal: aquí
los pronósticos identifican una proporción grande de
años “secos” mientras que escoge solamente una
proporción pequeña del años “no-secos”
incorrectamente.
Los pronósticos parecen ser buenos en la parte
izquierda y media del gráfico solamente. ¿Qué este
medio?

41. Considere otra vez la tabla que demuestra la orden en la
cual escogimos el años “secos” . Note que la mayoría de
los años “secos” son identificados por nuestras opciones
más confidentes. Nuestras selecciones más confidentes
eran bastante acertadas.
Rank Year Correct Incorrect Rank Year Correct Incorrect
1 1984 10% 0% 16 1989 70% 45%
2 1963 10% 5% 17 1978 70% 50%
3 1966 10% 10% 18 1980 70% 55%
4 1965 20% 10% 19 1979 70% 60%
5 1968 20% 15% 20 1985 70% 65%
6 1975 30% 15% 21 1982 70% 70%
7 1971 40% 15% 22 1974 70% 75%
8 1967 40% 20% 23 1964 70% 80%
9 1977 40% 25% 24 1986 70% 85%
10 1972 50% 25% 25 1973 80% 85%
11 1988 60% 25% 26 1970 80% 90%
12 1976 60% 30% 27 1983 90% 90%
13 1969 70% 30% 28 1990 90% 95%
14 1987 70% 35% 29 1961 100% 95%
15 1981 70% 40% 30 1962 100% 100%

42. Sin embargo, después alrededor de la décimotercero
selección, los pronósticos no proporcionan la
dirección útil para identificar más del años “secos”.
Rank Year Correct Incorrect Rank Year Correct Incorrect
1 1984 10% 0% 16 1989 70% 45%
2 1963 10% 5% 17 1978 70% 50%
3 1966 10% 10% 18 1980 70% 55%
4 1965 20% 10% 19 1979 70% 60%
5 1968 20% 15% 20 1985 70% 65%
6 1975 30% 15% 21 1982 70% 70%
7 1971 40% 15% 22 1974 70% 75%
8 1967 40% 20% 23 1964 70% 80%
9 1977 40% 25% 24 1986 70% 85%
10 1972 50% 25% 25 1973 80% 85%
11 1988 60% 25% 26 1970 80% 90%
12 1976 60% 30% 27 1983 90% 90%
13 1969 70% 30% 28 1990 90% 95%
14 1987 70% 35% 29 1961 100% 95%
15 1981 70% 40% 30 1962 100% 100%

43. Podemos dibujar la conclusión siguiente del gráfico de
ROC:
Cuándo el pronóstico sugiere que las condiciones
vayan a ser secas nosotros puedan ser
razonablemente confidentes que “secos” las
condiciones ocurrirán.Sin embargo, cuando el
pronóstico sugiere que las condiciones vayan a ser
normales o mojadas no podemos hacer declaración
útil sobre la probabilidad de condiciones “secas”.

44. La correlación entre haber observado y la
precipitación del pronóstico es 0,044. De acuerdo con
la correlación, no haríamos caso normalmente de
estos pronósticos, pero el gráfico de ROC sugiere que
puedan ser útiles en el pronóstico condiciones
“secas”.
¿El gráfico de ROC indica que los pronósticos son
mejores que conjeturas, pero por cuánto?

45. Podemos utilizar un fórmula especial, conocido como
la ecuación hipergeométrica, para calcular la ocasión
alguien que conjetura el mismo número de años
“secos” como pronosticamos correctamente.
number of dry years number of non-dry years
number of correct warnings number of incorrect warnings
chance
number of years
number of warnings
  
 ÷ ÷
  =
 
 ÷
 
Esta ecuación está disponible como función en
paquetes tales como MS sobresale
(HYPGEOMDIST).

46. Utilizar esta ecuación para calcular cómo es bueno son los
pronósticos, debemos primero elegimos a que los años
vamos a tratar como pronósticos de condiciones
“secas”.Publiquemos una advertencia de condiciones
“secas” cuando el pronóstico es menos de 1,0.Los años
realmente “secos”están marcados en azul marino.
Year Forecast Year Forecast Year Forecast
1961 1.279 1971 0.872 1981 1.023
1962 1.346 1972 0.886 1982 1.060
1963 0.729 1973 1.134 1983 1.221
1964 1.084 1974 1.071 1984 0.530
1965 0.821 1975 0.850 1985 1.042
1966 0.796 1976 0.933 1986 1.120
1967 0.882 1977 0.884 1987 1.002
1968 0.844 1978 1.025 1988 0.928
1969 0.972 1979 1.039 1989 1.025
1970 1.216 1980 1.032 1990 1.223

47. Ahora podemos definir los términos individuales de
la ecuación:
número de años secos = 10
número de años no-secos = 20
número de años = 30
número de advertencias correctas = 7
número de advertencias incorrectas = 6
número de advertencias = 13
number of dry years number of non-dry years
number of correct warnings number of incorrect warnings
chance
number of years
number of warnings
  
 ÷ ÷
  =
 
 ÷
 

48. El resultado nos dice que solamente cerca de 3,9% de
la gente que tenía 13 tentativas de conjeturar los 10
años “secos” conseguirían 7 de los años correctos.
Pero el resultado solamente nos dice las ocasiones
alguien que consigue exactamente el mismo número
correcto conjeturando que conseguimos con los
pronósticos. Alguna gente podría conseguir más de 7
correctos conjeturando.

49. Porque alguna de la gente que está conjeturando
puramente puede tener más de 7 años de correcto,
debemos contar éstos también. Necesitamos tan
calcular las ocasiones alguien que hace así como,
o mejoramos que, nuestros pronósticos apenas
conjeturando.
Las ocasiones de conseguir 8, 9, o 10 conjeturando
son cerca de 0,58%, 0,02%, y 0,0004%
respectivamente. Adición de éstos, de las
ocasiones de 7 que conjeturan o más del los años
“secos” son cerca de 4,5%.

50. Por supuesto, conseguiríamos una diversa
respuesta si utilizamos un diverso criterio para
decidir cuando publicar una advertencia. Usted
debe ser cuidadoso de los muchos problemas en la
ejecución de tales pruebas de la significación.
Sin embargo, el gráfico de ROC sugiere que estos
pronósticos contengan una cierta información útil, a
pesar de una correlación de cerca de cero.
Como medida sumaria del gráfico, el área debajo
de la curva de ROC se calcula con frecuencia…

51. El área debajo de la
línea que conjetura es
0,5, y así que un área
mayor de 0,5 sugiere
que los pronósticos
sean buenos. El área
debajo del gráfico
para nuestros
pronósticos es 0,61.
¿Qué este medio?

52. El área debajo del gráfico nos dice la probabilidad
esa el pronóstico para un año “seco” es más que el
pronóstico para un año “non-seco”.
Si nos dieron un pronóstico para uno año “seco” y
para uno año “non-seco”, identificaríamos el año
“seco” correctamente el 61% del tiempo.
En la práctica, esta información no es muy
provechosa al usuario. Sin embargo, el gráfico en
su totalidad debe ser muy informativo al
previsionista.

53. Feedback
Para supervisar la utilidad de este curso, y llevar a cabo revisiones
y mejoras, podían usted remitir por favor cualquier comentario o
sugerencias.
Dr Simon J. Mason
International Research Institute for Climate Prediction
Columbia University
61 Route 9 W
Palisades, NY 10964-8000
USA
E-mail: simon@iri.columbia.edu

54. Lecturas recomendadas
• Murphy, A. H., 1993: What is a good forecast? An essay on the
nature of goodness in weather forecasting. Weather and
Forecasting, 8, 281–293.
• Wilks, D. S., 1995: Statistical Methods in the Atmospheric
Sciences, Academic Press, San Diego. Chapter 7, Forecast
verification, pp 233–283.
• Mason, S. J., and N. E. Graham, 1999: Conditional probabilities,
relative operating characteristics, and relative operating levels.
Weather Forecasting, 14, 713–725.
• Mason, S. J., and N. E. Graham, 2002: Areas beneath the relative
operating characteristics (ROC), and levels (ROL) curves:
statistical significance and interpretation. Quarterly Journal of the
Royal Meteorological Society, 128, 2145–2166.