Smart Grid Big Data e IoT

Procesamiento de
Big Data IoT en
Smart Grid
Ing. Eduardo Castro, PhD

Qué es Smart Grid
•Es una red eléctrica que utiliza la tecnología de
información y comunicación para recopilar datos y
actuar sobre la información acerca del
comportamiento de los proveedores y consumidores
de forma automatizada .
•Por lo tanto Smart Grid es una etiqueta genérica
para la aplicación de las habilidades informáticas ,
de inteligencia y de redes a los sistemas de
distribución de energía eléctrica existentes

Smart Grid
4
Consumer
TransformerPower Plant Grid
Smart BuildingSmart Generation
/ Consumption
Point
Consumed
Energy
Generated
Energy
Fuente

Componentes en el Smart Grid
•SMART METER
•PHASOR MEASUREMENT
•INFORMATION TRANSFER
•DISTRIBUTED GENERATION
5

Smart Meters
•En lugar de leer una vez al mes pasar a la lectura de
medidores inteligentes cada 5 minutos .
•Una mejor comprensión de la segmentación de
clientes , el comportamiento y cómo influye el uso
en los precios
•Reducir la generación de energía.
•Mejorar la eficiencia de la generación eléctrica y la
programación
7

Integración
• ¿Tiene hijos? ¿Deja solos en casa ?
• ¿A que hora trabajas?
• ¿Con qué frecuencia se lava la ropa?
• ¿Usted cocina sus comidas en el
microondas?
• ¿Alguna vez has pensado en accesorios inteligentes?
8

Aplicación de aministración de energía
9

Big Data
Big data es una colección de conjuntos de datos tan grande y
complejo que se vuelve difícil para trabajar con el uso de
herramientas de gestión de base de datos tradicionales. Las
dificultades incluyen la captura, almacenamiento, búsqueda,
intercambio, análisis y visualización

Principales fuentes de datos
•Redes sociales y medios de comunicación
• 700 millones de usuarios de Facebook, 250 millones de
usuarios de Twitter y 156 millones de blogs públicos
•Dispositivos móviles
• Más de 5 mil millones de teléfonos móviles en uso en todo
el mundo
•Transacciones en Internet
• miles de millones de compras en línea, operaciones de
bolsa y otras transacciones ocurren todos los días
•Dispositivos de red y sensores

¿Qué es Hadoop?
• Hadoop es un proyecto de código abierto, supervisado
por la Apache Software Foundation
• Originalmente basado en documentos publicados por
Google en 2003 y 2004
• Hadoop es un ecosistema, no un solo producto
• Hadoop trabaja en diversas organizaciones e incluye
Facebook, Yahoo!, Twitter, Cloudera, Hortonworks

Hadoop Distributed Architecture

Clúster Hadoop
Yahoo! Hadoop clúster, 2007.
Fuente:http://developer.yahoo.com. Imagen utilizada con permiso.

Clúster Hadoop
Buster Cluster, un proyecto de investigación Miles Osborne,
de la Universidad de Edimburgo, Facultad de Informática.
Imagen utilizada con permiso.
http://homepages.inf.ed.ac.uk/miles/

Cluster Hadoop
Nube
Rent-A-Hadoop-cluster, o bien:
"Superordenador de centavos"
Windows Azure HD Insight

Storm en Azure
Fácil de programar
Una plataforma de
procesamiento en tiempo
real distribuido
Tolerante a fallos
Se espera que que falle y
esta preparado para
recuperarse
Rápido
Velocidad de 1M +
mensajes por segundo
por nodo
Escalable
Miles de workers por
grupo
Seguro
Entrega de mensajes
garantizada
Exactamente una vez
Análisis de
Streaming de
datos

Spark en Azure
iter. 1 iter. 2 . . .
Entrada
Repartido
memoria
Entrada
consulta 1
pregunta 2
consulta 3
. . .
una vez
tratamiento
10-100× más rápido que la red y el disco

R Python en Azure
Azure Portal
Operaciones
Azure Equipo
ML Studio
Científico de
Datos
HDInsight
Almacenamiento
En Azure
Datos de
escritorio
Azure Portal y
Servicio API ML
Equipo de operaciones de
Azure
PowerBI/
Dashboards
Aplicaciones MóvilesAplicaciones Web
Servicio API ML Desarrollador

Integración de soluciones
• Integrado con Power BI, Azure Machine Learning y Azure Data Factory
App Service Azure SQL Database
Azure Machine Learning
R
Intelligent App
Hadoop
Azure SQL Data
Warehouse
Power BI

""
¿Qué es el Internet de las cosas?
La red de los objetos
físicos que contienen la
tecnología embebida para
comunicarse e interactuar
con sus estados internos o
el ambiente externo.
Fuente: Gartner

Internet de las cosas
Dispositivo de rastreo de
vehículos
Cámaras Contador De Potencia Medidor de carga
Detectores de humo de
incendios
Sensor de humedad Medidor de flujo Sensor de Ocupación Sensor De Temperatura
DISPOSITIVOS INTELIGENTES
Agregación | AnálisisLocal
Protocolo Multi-Wireless
Controlador de máquina
Seguimiento de
Vehículos
Smart Grid Equipamiento Quiosco Retail
Detección de
incendios
Cuidado De La Salud
Edificio Inteligente
Automatización
Publicidad Digital
Inicio Automatización
Inteligente
Automotor Al Por Menor Industrial
Cuidado De La
Salud
Seguridad y Vigilancia Energía Smart Home Smart Cities
Monitoreo
La recolección de datos y
alertas
El seguimiento de activos y
Geo-cercas
Preventivo mantenimiento
Facturación basada Uso
Acceso Remoto
Segura iniciar sesión en los
dispositivos y productos para
diagnosticar problemas
remotos
Mantenimiento remoto -
diagnosticar y reparar
problemas
Distribución de
Contenido
Automatizar la
implementación de software
de bienes
Distribuir archivos a los
dispositivos. El contenido
incluye archivos de activos
específicos, doc, anuncios
Microsoft Azure Intelligent Systems Service(s)
Gestión de la Configuración
Almacenar y acceder a
configuraciones de activos
Conformidad Administración
Telemática
App LOB personalizada
Herramientas Dash-
embarque
Grandes herramientas de
visualizaciónde datos Integracion Social Integración de la empresa
M2M pasarelaRED

Visión integral para que el negocio
centrado en el servicio

El enfoque de Microsoft a la IoT

Core Azure IoT Arquitectura
Conecte aplicaciones, servicios y dispositivos
Integrar otros elementos (Azure SQL, Almacenamiento, Sitios Web y Aplicaciones)
Protocolos (REST, AMQP, WS *) y API
Integración con actuales y 3rd
Gestión De Eventos
Reglas, Alarmas
Almacenamiento
Analítica
DispositivodeDatos
Capa de presentación
Service Bus / Evento Hubs

DocumentDB
Microsoft Azure IoT Nube Servicios
Productores Evento Ingestión TransformaciónAlmacenamiento
Externo Fuente de datos
Evento Hub (Service Bus)
Azure ML
HD Insight
Azure NRT
Presentación y acción
Service Cloud
Externo Fuente de datos
Base de datos SQL
Tabla / Blob Almacenamiento
Websites Azure
Servicios móviles
BI Poder
Service Cloud
Servicio Exterior
Conectividad del dispositivo

ConectividadMensajería
Desafíos de IoT con las capacidades de la
plataforma Azure
Direccionabilida
d
Short Haul / protocolos
de Larga Distancia, los
dispositivos no IP,
cortafuegos / NAT de
enrutamiento, en línea /
fuera de línea, la
itinerancia, la
orientación
Heterogeneidad
OS / firmware, energía /
red, protocolos
Seguridad
La federación de identidades, de
dispositivos y datos de autorización,
privacidad, integridad de los datos de
borde, la seguridad de transporte,
formato
Escala
Gran volumen
de dispositivos
por ejemplo y
rentable
Telemetría
Colección, filtrado,
enrutamiento,
rendimiento, Per-
mensaje QoS
Notificaciones
Programación y
Orientación
dispositivos de borde
Device grupos
dentro de grandes
poblaciones
Comando / Control
Correlación, Sesiones / lotes
Organizacional IP / Arquitectura, integración de proveedores, 3rd servicio fiesta y tecnología

Cubriendo el espectro Analytics
Descriptivo Diagnóstico PreceptivoProfético
Profesionales de TI
Modelado de datos, ETL, Data
Almacenamiento, Marts y
cubos de datos
Información del Trabajador
Self-Service y
Exploración con BI
Poder
Los científicos de datos
Advanced Analytics de
Microsoft y 3rd partes
BI Enablement Advanced Analytics
Gestión de datos empresariales
Que pasó? ¿Por qué ocurrió? Lo que sucederá? Qué tengo que hacer?

Streaming en Azure
HDInsight
Storm y Azure Stream Analytics

Almacenamiento
adaptadores
Corriente
tratamien
to
Gateways Nube
(APIs web)
Field
gateways
Aplicaciones
Búsqueda y consulta
Análisis de datos (Excel)
/ Cliente pesado Web
cuadros de mando
Dispositivos para
tomar medidas
RabbitMQ /
ActiveMQ
Web y Social
Dispositivos
Sensore
s

¿Qué es Apache Storm?
4
Fácil de programar
Una plataforma de
procesamiento en tiempo
real distribuido
Tolerante a fallos
Se espera que que falle y
esta preparado para
recuperarse
Rápido
Velocidad de 1M +
mensajes por segundo
por nodo
Escalable
Miles de workers por
grupo
Seguro
Entrega de mensajes
garantizada
Exactamente una vez
Análisis de
Streaming de
datos

UsodeStormenHDInsight-automovilesconectados
Gateways
Obtener
los datos
Almacen
ar en
blob
Obtener
datos de
referencia
Haga
aprendizaj
e
automátic
o
Almacena
r para
consultas
Servicio
de
Queuing
Dashboard en
vivo
Servicio de
Queuing

6
Gateways
Obtener
los datos
Almacen
ar en
blob
Obtener
datos de
referencia
Haga
aprendizaj
e
automátic
o
Almacena
r para
consultas
Servicio
de
Queuing
Dashboard en
vivo
Servicio de
Queuing
Hubs de eventos
Azure Blob HBase Azure ML DocumentDB
PowerBI
Evento
Hubs

Casos de uso de Storm
7
Entrada Operadores (Ejemplos) Lookup Salida
Lenguaje De
Programación
Automoviles
Coneccgados
Event hubs
Window based aggregation,
Join stream/split stream
HBase, ML DocumentDB C# hybrid, Java
ETL Event Hubs
Partitioning/
organize
N/A WASB Java
IoT Event Hubs Window based aggregation Hbase, ML DocumentDB, HBase Java
Detección
Fraude
ServiceBus
Queue
Filter ML Hbase C# hybrid
Análisis Sociales Twitter Groupby/trending topics N/A
Realtime dashboard
(BI)
Trident
Supervisión de
la red
Kafka Split (on success/ failure) ML SQL C# hybrid
Búsqueda de
Log
Storage
Queue/ Event
Hub
Parsing & index N/A Elastic Search Java
Dispositivos
Moviles
Eventhub Count HBase SignalR C# hybrid

Secuencia de tuplasUnidad central de
datos
Conjunto inmutable
de par clave / valor
Fuente de streams
Toma una fuente de
datos en streaming y
emite Tuplas
Introducción a Storm
8
Spout
{...}
Tuple
{...} {...} {...} {...} {...} {...}
Stream

Spout API
9
public interface Ispout extends Serializable {
void open(Map conf, TopologyContext context,
SpoutOutputCollector collector);
void close();
void activate();
void deactivate();
void nextTuple();
void ack(Object id);
void fail(Object id);
}
API del ciclo
de vida

Spout API
10
void close();
void activate();
void deactivate();
void nextTuple();
}
API Core

Spout API
11
void close();
void activate();
void deactivate();
void nextTuple();
}
API
Confiabilidad

Escribe a un
Almacén de datos
Leer desde un
Almacén de datos
Realizar cálculos
arbitrarios
(Opcional) Emitir los
flujos adicionales
Uso de Bolts
12
Las funciones básicas de un cálculo en streaming | Recibir tuplas y hacer cosas
Calcular

Topología de ejemplo
45
es mobile
es for
ja
es iphone
es mobile
ja
es iphone
mobile 4
1
iphone 5
Splitter Bolt
Ignore
word Bolt
Word
count Bolt
100
97
40
25
18
15
13
12
12
10
WEB
LINK
APP
NEWS
SOME
NEW
USE
DEVICES
GALAXY
NSA
WORD
Tweet countTwitter
tweets
2008-10-21 22:56:59 Here's to the
crazy ones, the misfits, the rebels,
the troublemakers, the round pegs
in the square holes... @stevejobs
[Lang] en…
2008-10-21 22:56:59 Here's to the
crazy ones, the misfits, the rebels,
the troublemakers, the round pegs
in the square holes...
@stevejobs
[Lang] en…

Científico de datos
Un científico de datos incorpora técnicas y teorías de
muchos campos, incluyendo las matemáticas, la estadística,
la ingeniería de datos, reconocimiento de patrones,
aprendizaje avanzado , visualización, modelado de la
incertidumbre, almacenamiento de datos y la computación
de alto rendimiento con el objetivo de extraer el significado
de datos.
Ciencia de datos: un término
utilizado indistintamente con
inteligencia de negocio o análitica
empresarial

Data wrangling
(munging), retrieval
+ storage
Data
mining &
machine
learning
Statistics
Big data

Experiencia Científico de Datos
Telecomunicaciones Servicios Financieros Cuidado De La Salud
Línea Fija y Móvil
Banca, Seguros,
Bienes Raíces
Productos
farmacéuticos,
Biotecnología
Industria
Aeroespacial,
Manufactura

¿Qué es el análisis predictivo?
• El análisis de datos con técnicas matemáticas de
estadística, minería de datos y aprendizaje
automático. Se utiliza para descubrir patrones
ocultos, que da una ventaja competitiva.

Qué es el análisis predictivo?
Predictive Analytics es el descubrimiento de información
predictiva, a veces oculta, de las bases de datos
utilizando atributos de datos relacionados y no
relacionados con la aplicación de algoritmos de análisis,
y la creación de modelos que generan resultados
predictivos.
Modelaje Predictivo es el proceso de creación de un
modelo para predecir mejor la probabilidad de un
resultado.

Escenarios comunes de clientes por análisis
predictivo

Aprendizaje automático = minería de
datos?

• La automatización de la automatización
• Utilizar computadoras para programar computadoras
• Escribir software es el cuello de botella
• Deje que los datos hagan el trabajo!
Qué es el aprendizaje autómático o Machine Learning

2
¿Por qué "Aprender"?
• El aprendizaje automático es la programación de
computadoras para optimizar un criterio de desempeño
usando datos como ejemplo o experiencia previa.
• El aprendizaje se utiliza cuando:
• Experiencia humana no existe (la navegación en Marte),
• Los seres humanos son incapaces de explicar su experiencia
(reconocimiento de voz)
• Solución cambios en el tiempo (el enrutamiento en una red
informática)
• Solución necesita ser adaptada a los casos particulares (biométrica
de usuario)

Cumpliendo con uno de los viejos sueños
del co-fundador de Microsoft, Bill Gates:
Computadoras que podemos ver, oír
y entender.
John Platt
Científico distinguido en
Microsoft Research
¿Qué es
Aprendizaje
Automático?
Sistemas informáticos de
predicción se vuelven más
inteligentes, con experiencia
"
"

3
De qué hablamos cuando hablamos de "Aprendizaje"
• Aprender modelos generales a partir de ejemplos de
datos particulares
• Los datos son baratos y abundantes (data warehouses,
data marts); el conocimiento es caro y escaso.
• Ejemplo para comercio minorista: las transacciones de los
clientes y la conducta del consumidor:
Las personas que compraron "Código Da Vinci" también compraron "Las cinco personas que conoces en
el cielo" (www.amazon.com)
• Construir un modelo que es una aproximación buena y
útil de los datos.

Computadora
Datos
Programa
Salida
Computadora
Datos
Salida
Programa
Programación tradicional vs machine learning

Analytics Vision
Utilizando los datos del pasado para predecir el futuro
Motores
recomenda-ción
Análisis
Publicidad
El pronóstico del
tiempo para la
planificación de
negocios
Análisis de redes
sociales
Legal
descubrimiento y
archivo de
documentos
Análisis de
precios
Fraude
detección
Mantequera
análisis
Supervisión de
equipos
Seguimiento y
servicios basados
en localización
Seguros
personalizada
El aprendizaje automático y
el análisis predictivo son
capacidades básicas que se
necesitan en toda la
empresa

¿Cómo construir un modelo predictivo?
Negocios
Perspectivas
1
2
34
5

¿Cuál es Azure ML?
•Plataforma de Aprendizaje Automático
•Parte de Microsoft Azure

Herramientas Azure ML
• Azure Portal
• Empieza aqui: una disposición ML Workspace
• Opcional: trabajo con SQL Azure
• Herramienta ML Estudio
• ML Estudio
• Conectar a datos y construir experimentos
• Publicar servicios web
• Azure Portal
• Gestionar o eliminar espacios de trabajo
• Opcionalmente, publicar servicios a Azure DataMarket

Los pasos del proceso Azure ML
1. Iterar hasta modelo sea válido:
1. Datos
1. Conectar
2. Transformar si es necesario
3. Seleccione características (columnas útiles)
2. Modelo
1. Inicialice
2. Ejecute
3. Puntuación (Predecir)
4. Evaluar Resultados (predicciones)
3. Válido?
2. Etapa y Publicar un servicio web

¿Cómo utilizo Azure Machine Learning?
Importar datos
Constuir un
modelo
Combinar el
Modelo con el
API

Una solución de Aprendizaje Automático – obtener resultados a
partir de los datos
Azure Portal
Operaciones
Azure Equipo
ML Studio
Científico de
Datos
HDInsight
Almacenamiento
En Azure
Datos de
escritorio
Azure Portal y
Servicio API ML
Equipo de operaciones de
Azure
PowerBI/
Dashboards
Servicio API ML Desarrollador

Una solución de Aprendizaje Automático - obtener resultados a partir de
los datos
Azure Portal
Operaciones
Azure Equipo
ML Estudio
Datos Científico
HDInsight
Almacenamiento
Azure
Datos de
escritorio
Azure Portal y
Servicio API ML
Operaciones
Azure Equipo
PowerBI/
Dashboards
Servicio API ML Revelador
ML Studio
y el científico de datos
• Acceso y preparación de
datos
• Crear, modelos de prueba
• Con un solo clic pasar a la
etapa de producción a través
de la API de Servicios
Servicio API Azure Portal y
ML
• Crear ML Studio Workplace
• Asignar cuenta de almacenamiento
(s)
• Monitor Consumo ML
• Ver alertas cuando el modelo es listo
• Publicar WebServices
API ML servicio y el desarrollador
• Modelos disponibles como una url que se puede invocar
Los usuarios pueden acceder
fácilmente a los resultados: desde
cualquier lugar,en cualquier dispositivo

Arquitectura de Referencia Dispositivos
https://msdn.microsoft.com/en-us/magazine/dn574801.aspx

Microsoft Azure Services con IoT
https://msopentech.com/blog/2014/12/10/connecthedots-io/

6
Gateways
Obtener los
datos
Almacenar
en blob
Obtener
datos de
referencia
Haga
aprendizaje
automático
Almacenar
para
consultas
Servicio de
Queuing
Dashboard en
vivo
Servicio de
Queuing
Hubs de eventos
Azure Blob HBase Azure ML DocumentDB
PowerBI
Evento
Hubs

Hola, Machine Learning Studio!

Machine Learning Studio
Experimentos: Los experimentos que se han creado, ejecutado, y
guardado como borradores. Estos incluyen un conjunto de experimentos
de ejemplo que se incluyen con el servicio que le ayudará en sus
proyectos.
Servicios Web Servicios: Una lista de los experimentos que se han
publicado como servicios web. Esta lista estará vacía hasta que publique
su primer
experimento.
Settings: Una colección de parámetros que puede utilizar para
configurar
su cuenta y recursos. Puede utilizar esta opción para invitar otros
usuarios compartir su espacio de trabajo en Azure Machine Learning.

Componentes de un experimento
• Un experimento consta de los componentes clave necesarios
para construir, probar y evaluar un modelo predictivo. En Azure
Machine Learning, un experimento contiene dos componentes
principales: los conjuntos de datos y módulos.
• Un conjunto de datos contiene datos que se han subido a
Machine Learning Studio. El conjunto de datos se utiliza al crear
un modelo predictivo. Machine Learning Studio también ofrece
varios conjuntos de datos de demostración para ayudarle a
reactivar la creación de sus primeros experimentos.
• Un módulo es un algoritmo que va a utilizar en la construcción
de su modelo predictivo.

Módulos
• Reader: Este módulo se utiliza para leer los datos de varias fuentes, incluyendo la
Web, base de datos SQL Azure, almacenamiento Blob Azure, o mesas Hive.
• Split: Este módulo se divide un conjunto de datos en dos partes. Normalmente se
utiliza para dividir un conjunto de datos de aprendizaje y prueba de datos
separadas.
• Elementary Statistics: Calcula estadísticas elementales como la media, la desviación
estándar, etc., de un determinado conjunto de datos.
• Regresión lineal: se puede utilizar para crear un modelo predictivo con un
algoritmo de regresión lineal.

Módulos
• Train Model: Este módulo entrena un algoritmo de clasificación o regresión
seleccionado con un conjunto de datos de entrenamiento dado.
• Evaluate Model: Este módulo se utiliza para evaluar el desempeño de un
modelo de clasificación o regresión entrenado.
• Cross Validate Model: Este módulo se utiliza para llevar a cabo validación
cruzada para evitar el exceso de ajuste. Por defecto, este módulo usa 10
veces la validación cruzada.
• Score Model: Puntúa un modelo de clasificación o regresión entrenado.

Pasos para la creación de un experimento
•Crear un modelo
• Paso 1: Obtener datos
• Paso 2: Preproceso de datos
• Paso 3: Definir las características
•Entrenar el modelo
• Paso 4: Seleccionar y aplicar un algoritmo de aprendizaje
• Pruebe el Modelo
•Paso 5: Predecir sobre nuevos datos

Evaluación del modelo
• Mean Absolute Error (MAE). El promedio de los errores
absolutos (un error es la diferencia entre el valor predicho y el
valor real)
• Root Mean Squared Error (RMSE). La raíz cuadrada del
promedio de errors al cuadrado
• Relative Absolute Error. El promedio de los valores absolutos
relativos a la diferencia absoluta entre los valores reales y el
promedio de todos los valores reales

• Relative Squared Error. El promedio de los errores cuadrados
relativos al cuadrado de la diferencia entre los valores reales y el
promedio de los todos los valores reales
• Coefficient of Determination. También conocido como R
cuadrado, es una métrica estadísitca que indica qué tan bien el
modelo predice los datos
• Un coeficiente cercano a 1.0 significa mejores predicciones. Un
1.0 significa que el modelo explica el 100% de los datos

Flujo en Azure Machine Learning

Errores comunes en el análisis predictivo

Smart Grid Big Data e IoT

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (16)

Similar a Smart Grid Big Data e IoT

Similar a Smart Grid Big Data e IoT (20)

Más de Eduardo Castro

Más de Eduardo Castro (20)

Último

Último (20)

Smart Grid Big Data e IoT