2. AGENDA
• Análise 1D
• Normalidade (Gaussiana) x Obliquidade (Power
Law)
• Centralidade e Dispersão
• Validação da média com bootstrapping
3. SUMARIZAÇÃO 1D
• Consideraremos nesta aula a sumarização
estatística de variáveis isoladas (1d)
• Utilizaremos como exemplo a base de dados
conhecida como "Iris flower data set” ou “Fisher's
Iris data set”
4. SUMARIZAÇÃO 1D
• Esta base apresenta uma amostra com dados de
150 flores de três espécies diferentes de Iris (Iris
setosa, Iris virginica e Iris versicolor)
• Cada flor é representada por cinco valores:
comprimento e largura da sépalas, comprimento
e largura das pétalas (em centímetros) e espécie
5. HISTOGRAMA
• Focaremos inicialmente apenas uma das medidas:
largura das sépalas
• Histogramas são a ferramenta mais adequada para
“darmos uma olhada” na distribuição de uma
variável
7. UM POUCO DE R NÃO FAZ
MAL!
sw=iris$Sepal.Width
hist(sw)
8. UM POUCO DE R NÃO FAZ
MAL!
sw=iris$Sepal.Width
hist(sw,breaks=20)
9. NORMALIDADE (GAUSSIANA)
• Dados que variam em
virtude pequenos efeitos
aleatórios
• largura/comprimento das
pétalas de uma iris
• altura/peso de uma
pessoa
10. OBLIQUIDADE (POWER LAW)
• Dados que variam em virtude do esforço humano
• População de um Estado
• Renda (Lei de Pareto)
• Distribuição de palavras em um texto longo (Lei de
Zipf)
• Citações em artigos científicos
• Popularidade de um site na web
• Votos em uma campanha eleitoral
13. POWER LAW: MECANISMO
• Uma primeira vitória torna mais provável uma
segunda vitória, enquanto que uma derrota torna
mais fácil uma segunda derrota
• Anexação preferencial (popularidade na web): a
probabilidade de alguém clicar em um link é
proporcional a popularidade da página
14. CENTRALIDADE E DISPERSÃO
• Considere os seguintes valores para uma determinada
variável:
19.0 29.4 23.9 18.4 25.7 12.1 23.9 27.2
• Além de um histograma, estes dados também podem
ser resumidos utilizando apenas dois valores: centro +
dispersão, que podem ser obtidos de diversas
maneiras
15. CENTRALIDADE E DISPERSÃO
19.0 29.4 23.9 18.4 25.7 12.1 23.9 27.2
Centralidade Dispersão
Métrica Valor
Semi-amplitude 20.75
Média 22.45
Médiana 23.9
Métrica Valor
Amplitude 17.3
Desvio Padrão 5.2567
17. CENTRALIDADE E DISPERSÃO
!
19.0 29.4 23.9 18.4 25.7 12.1 23.9 27.2
• Centralidade
• Mediana: ordene os valores de X em ordem crescente
• Se n é par, a mediana é a média dos dois valores
centrais
• Se n é impar, a mediana é o próprio valor central
19. PERCENTIL P
• Definição: Valor de xi no conjunto ordenado de valores de x que
separa a série na proporção de p/(1-p)
• Por exemplo, considere x =(12.1 18.4 19.0 23.9 23.9 25.7 27.2 29.4)
• 19.0 separata os dados em (12.1,18.4) e (19.0 23.9 23.9 25.7 27.2
29.4), p = 2/6 => 33%
• Portanto, 19.0 é percentil 0.33
• A mediana é o percentil 0.50
• )
20. CENTRALIDADE E DISPERSÃO
Medida de Centralidade Comentário
Média Intuitiva
Sensível a remoção/adição de outliers
Mediana Estável em relação a remoção/adição
de outliers
Semi-Amplitude
Não depende da forma da distribuição
Sensível a mudanças nos valores
extremos
21. VALIDAÇÃO
• Considere o comprimento
das sépalas de uma Iris
• Não parece seguir uma
distribuição normal
• Média: 5.8433
• Desvio padrão: 0.8253
hist(iris$Sepal.Length,breaks=20)
22. VALIDAÇÃO
• Queremos especular sobre limites plausíveis para a média do
comprimentos das sépalas de um conjunto qualquer de Iris.
• O que você sugere ?
• Média +- dp ?
• Média +- 2*dp ?
• Média +- 3*dp ?
• Algo mais ? Média: 5.8433 Desvio padrão: 0.8253
23. VALIDAÇÃO ESTATÍSTICA
• Uma forma de prosseguir seria utilizar uma abordagem estatística
clássica
• Assumir que x é uma amostra selecionada aleatoriamente de uma
população normalmente distribuída com m=5.8433 e dp=0.8253
• Sendo assim, x também tem uma distribuição normal
• Portanto, com 95% de confiança, a média está no intervalo m
+- 1.96*(dp/sqrt(n)), [5.7108, 5.9759]
24. VALIDAÇÃO COM
BOOTSTRAPPING
• Uma outra abordagem é utilizar poder
computacional para validar a média
• Bootstrapping
• Múltiplas amostragens da população (com
substituições)
• Calcular os índices para cada uma das amostras
25. VALIDAÇÃO COM
BOOTSTRAPPING
• N = 4, M = 3,
• N = número de entidades
• M = número de amostras
sample(N,M,
replace=T)
!
sample(4,3,replace=T)
!
[1]
2
3
1
[2]
1
1
3
[3]
2
3
4
[4]
4
1
1
29. VALIDAÇÃO COM
BOOTSTRAPING
• Método pivotal (95% confiança)
• Assume que as 5000 médias seguem uma
distribuição normal.
mean(rs.mean)
[1]
5.843325
sqrt(var(rs.mean))
[1]
0.0669005
Intervalo = m +- 1.96 *dp
[5.7122, 5.9744]
30. VALIDAÇÃO COM
BOOTSTRAPING
• Método não-pivotal (95% de confiança)
• Pega como limite os percentis em 2.5% e 97.5%
• 1% de 5000 é 50, 2.5% é 125 e 97.5% é 4875
smean=sort(rs.mean)
smean[125]
[1]
5.714667
smean[4875]
[1]
5.979333
Intervalo [p2.5, p97.5]
[5.7145, 5.9793]
31. ONDE ESTÁ A MÉDIA?
• Hipótese de distribuição normal: [5.7108, 5.9759]
• Bootstrapping pivotal: [5.7122, 5.9744]
• Bootstrapping não-pivotal: [5.7145, 5.9793]
• Como 95% de confiança!