1. O documento discute o uso de big data e computação de alto desempenho pelo ONS para armazenar e analisar grandes volumes de dados do Sistema de Medição Sincronizada de Fasores. 2. Atualmente, o ONS armazena 120 TB de dados do SMSF por ano e espera armazenar 312 TB em 2022, o que cria desafios para análise e armazenamento. 3. O projeto piloto propõe usar Hadoop, HDFS e AWS S3 para armazenar e processar distribuídamente os

1. 1
Utilização de Big Data para
Computação de Alto Desempenho
Sérgio Mafra
Líder Inovação TI
“Scotty, We Need More Power”

2. O ONS

3. 3
Escopo de atuação do ONS
O Operador Nacional do Sistema Elétrico (ONS) é o órgão
responsável pela coordenação e controle da operação das
instalações de geração e transmissão de energia elétrica no
Sistema Interligado Nacional (SIN), sob a fiscalização e
regulação da Agência Nacional de Energia Elétrica (Aneel).
Para o exercício de suas atribuições legais e o cumprimento
de sua missão institucional, o ONS desenvolve uma série
de estudos e ações a serem exercidas sobre o sistema e
seus agentes para manejar o estoque de energia de forma a
garantir a segurança do suprimento contínuo em todo o país.

4. 4
Num. de empregados: 745
• 596 com grau
universitário
• 405 engenheiros
Norte
Isolado
Brasilia
CNOS
COSR-NCO
Recife
Núcleo N/NE
COSR-NE
Rio de Janeiro
Escritório
Central
COSR-SE
Florianópolis
Núcleo Sul
COSR-S
Instalações do ONS

5. 5
O SIN atende 98% do
consumo de eletricidade
do Brasil.
SIN - Sistema Elétrico Brasileiro
Sistemas
Isolados
Amazônia Legal
2% do Mercado
Predominantemente
Térmico
+ 300 localidades
isoladas-
Modelo predominantemente
hidroelétrico com grandes
reservatórios e
grandes interligações.

6. 6
SIN - Sistema Elétrico Brasileiro

7. 7
Área de atuação do ONS

8. O que é Big Data?

9. 9
Conceitos
Big
Data
Volume
Variedade
Velocidade

10. 10
Origem dos Dados
Transações
Interações
Observações
Big Data

11. 11
O que é “Big Data”?
Variedade e Complexidade dos Dados
ERP e CRM
Web
Big DataPB
TB
GB
MB
Geographic Information System (GIS)
Sensores
Modelos
Matemáticos
Meteorologia
Logs
Recomendações
Colaboração
Mobile Web
Business Intelligence
SAGER/SAAT
Medição Fasorial (SMF)

12. 12
O uso da informação está evoluindo...
Level of Business Impact
Why Did It
Happen?
What
Happened?
Data Mining
Reporting, Das
hboards
Transactional, Lagging Information
Reporting Centric
Predictability
Level of Business Impact
What Is Likely
to Happen?
Why Did It
Happen?
What
Happened?
Data Mining
Skill Impact
Reporting, Das
hboards
What Is
Happening?
Real-Time
Analytics
Transactional Unstructured
Reporting-Centric Pattern RecognitionPattern-Matching
Modeling by quants Modeling for the masses

13. 13
Processo de Big Data
Coleta
• Armazenar
• Limpeza de
Dados
• Distribuir
Processamento
• Selecionar
• Agregar
• Exportar
Análise
• Modelos
• Minerar Dados
• Análise de
Dados

14. Sistema de Medição
Sincronizada de Fasores
(SMSF)

15. 15
Sistema de Medição Sincronizada de
Fasores - SMSF
PDC

16. 16
Processo do SMSF
Coletar (PMU)
• Tensão
• Corrente
• Frequência
• Tempo (GPS)
Transmitir
(Telecom)
• UDP/IP
• C37.118
Concentrar (PDC)
• Concentrar dados
• Diferentes fontes
• Múltiplos formatosProtocolos

17. 17
Desafios
• SCADA possui resolução de ms (mili)
– Não serve para medir ângulos elétricos
– Medidas não são síncronas
• É necessário uma fonte temporal de alta precisão
– GPS fornece precisão de 14 ns (nano)
– 60 coletas por segundo de cada grandeza

18. 18
Benefícios
• Melhoria da qualidade dos dados observados para a
operação em Tempo Real e para o Planejamento
• Avaliação com maior precisão em situações de
distúrbios
• Recomposição mais rápida dos sistemas interligados
• Estimação de estado em zonas não cobertas

19. 19
Armazenamento Anual do SMSF
2013
• 8,5 TB
2015
• 70 TB
2018
• 120 TB
2022
• 312 TB
Big Data
Data
Coleta estimada para apenas 7
grandezas de medida
Volume total do Storage
do Data Center (RJ) em
2013

20. 20
Limitações do Modelo Atual
• Não é possível explorar os dados originais
• Mover grandes quantidades de dados para
DataWarehouses torna-se um problema acima de 2
terabytes
• Dados arquivados = apagar os dados
• Log de Aplicações
• Dados de Telemetria de qualquer natureza

21. Novas Soluções

22. 22
•Coletor de informações dos PMU
•Análise simplificada da situação
•Geração de arquivo histórico
•Integração com hadoop
Projeto Piloto

23. 23
•Sistema de Arquivos Distribuído
(HDFS) em conjunto com o S3
(AWS)
•Processamento Distribuído (Map
Reduce) em ambiente clusterizado
•Utilização de Hive para análise de
dados
Projeto Piloto

24. 24
Projeto Piloto
Histórico
1 Tb
Cluster Hadoop
OpenPDC
Coletor
Master
Nó 1
Nó 3
Nó N
Nó 2
HDFS
HDFS
HDFS
HDFS
S3
Armazenador
Glacier
Historiador
Glacier
Glacier
Glacier
Glacier
Análise
PMUs
Processamento

25. 25
Obrigado !!!
smafra@ons.org.br
@smafra
“Scotty, We STILL Need More Power”