Intelligent Monitoring & Analytics
Adquirir
Analizar
Transformar
Informar
Actuar
Datos
Volúmen
de Datos
Información
Acción
Aprender
1
2
3
4
5
6
Aprendizaje
Predicción
Insight
Project
Monitoring Silos
DEM
APM
ITM
NPMD Network Performance Monitoring and Diagnostics
Information Technology Monitoring
Application Performance Monitoring
Digital Experience Monitoring: “Real time user monitoring
and analytics over Web and mobile application”
TS
DB
LDAP
DB
Insight :: Layers (4)
Guardian
ConfigurerNotifierActioner
SchedulerCollector
GrapherPortalTerminal
AnalyzerQuerier
SQL
DB
1. Visualization
2. Analysis
4. Collection
3. Storage
Persistent
Cache
In- Memory
Queues
TS
DB
LDAP
DB
SQL
DB
Web API
Insight :: Components (18)
SQL
DB
In- Memory
Queues
GuardianConfigurerNotifierActionerSchedulerCollectorGrapher
PortalTerminal
Analyzer
Persistent
Cache
<Component>
Querier
SQL
DB
Insight :: Components
Guardian
Configurer Notifier
ActionerSchedulerCollector Grapher
Portal
Terminal
Analyzer
Roadmap
Querier
Insight :: Components
SchedulerCollector<Component>
On
Cloud
On “Any”
Premise
<Component>
Diagrama de Redes (Heterogénea)
Acc
Agg/Dist
Edge
R1
R2
R3
Site A
Containers
Database
Containers
Database
Site B
Diagrama de Redes (Homogénea)
https://success.docker.com/article/networking
https://blog.nigelpoulton.com/demystifying-docker-overlay-networking/
Overlay
Insight :: Components
Configurers: mantienen en tiempo real la unicidad y sincronía de
la configuración global (compartida) y específica (individual) de los
componentes del sistema.
Collectors: recolectan de forma continua los datos a través de la
interacción directa con las interfaces de comunicación de los
objetos (fuentes de datos) de la ciber-infraestructura.
Schedulers: planifican y distribuyen la recolección activa de datos
de la ciber-infraestructura.
Insight :: Components
Analyzers: inspeccionan los datos recolectados e identifican
eventos, comportamientos, tendencias y causa raíz sobre
situaciones de riesgo asociadas a los objetos monitorizados de la
ciber-infraestructura.
Graphers: presentan gráficas estadísticas sobre la información
recolectada de los objetos de la ciber-infraestructura.
Guardians: mantienen las reglas de autenticación, autorización y
acceso de los usuarios registrados, basada en roles para
centralizar y controlar el uso de los componentes del sistema.
Queriers: ejecutan consultas hacia las bases de datos y las
devuelven en formato único legible por todos los componentes.
Insight :: Components
Notifiers: gestiona el envío de notificaciones a través de
interfaces de comunicación con sistemas y personas.
Actioners: ejecutan acciones puntuales definidas por los usuarios
o periódicas de acuerdo con instrucciones de los analizadores.
Portal: presenta una interfaz gráfica Web que permite interactuar
con los componentes del sistema (Usuario Final / Administrador).
Terminal: presenta una interfaz gráfica textual que permite
interactuar con los componentes del sistema (Administrador).
Insight :: Component Stack
Collector
Terminal
Analyzer
1
2
3
Insight :: Component Stack
Configurer
Notifier
Scheduler
Actioner
4
5
6
7
Insight :: Component Stack
Guardian
Grapher
Portal
8
10
11
9 Querier
Insight :: Database Stack
In- Memory
Queues
TS
DB
Time
Series
SQL
DB
14
13
12
SQL
DB
15
Insight :: Database Stack
SQL
DB16
LDAP
DB18
17 <Component>
Insight :: Containers
https://www.ericsson.com/research-blog/unikernels-meet-nfv/
Insight :: Containers
PaaS
IaaS
Insight :: LXC v. Docker
Insight :: Containers
Insight :: NetFlow Alternative
Replacement
Elastic Stack (X-Pack)
Insight :: Network Security &
Visibility Delivery Platform
https://www.youtube.com/
watch?v=MZr_V2L-RXk
https://www.youtube.com/
watch?v=sPRe6xsgXQg
https://www.elastic.co/
guide/en/logstash/current/
netflow-module.html
Cisco NetFlow, S/C/J/
O/Q-flow, IPFix Based
Layer 7, RTT, SrvRT,
Top*, L2/L3 Match
Agentless
Real Time
Flow Based
Flow Collector
Concentrator
Buffer Based
Packet Analyzer
Flow Forwarding
Insight :: Alternate Agent Stack
Community
Agents/Plugins
Enterprise Version “Features”
Commercial (USD) & Hardware++
ElasticStackTickStack
Insight :: Cloud Monitoring
Amazon CloudWatch Azure Monitor
Insight :: Cloud Monitoring
Amazon CloudWatch Amazon Lambda
Insight :: Cloud Monitoring
Azure Monitor
Azure
Functions
https://docs.microsoft.com/en-us/azure/monitoring-and-diagnostics/monitoring-action-groups-logic-app
https://docs.microsoft.com/en-us/azure/connectors/connectors-native-http
Azure
Logic App
Diagrama de Interfaces
CMDB
ERP /
Service Desk
System
Querier
Security Event
Information Mgmt
(SIEM)
*flow, IPFIX
Solution
Amazon
Lambda
Collector
Notifier
ActionerAzure
Functions
Amazon
CloudWatch
Azure
Monitor
Insight :: Colaboration
Configurer
Cache (RAM)
/config/store
(Modify) /config/load
(Start)
/config/get
/config/set
SQL
Portal Terminal
<Portal,Terminal>
:: Configurer
Insight :: Colaboration
Configurer
<Component>
Cache (RAM)
/config/store
(Modify)
/config/load
(Start)
/config/update
/config/get
File
Portal Terminal
<Component>
:: Configurer
/config/get
(Expired, Empty)
Insight :: Colaboration
<Component>
Cache (RAM)
Any
DB
<Component>
:: Querier
/query
Querier Any
QL
Cache (RAM)
<Component>
<Component>
:: Guardian
Guardian
LDAPSQL
Query
(Fail, Expire)
/auth/get
/authz/get
/auth/set
/authz/set
Portal Terminal
Insight :: Colaboration
Insight :: Colaboration
No
SQL
Scheduler
Collector
Time Series
Get
Data Push
Action
Save
Result
Scheduler
:: Collector
Queues
(Action)
Queues
(Results)
ObjectSend
Data
Insight :: Colaboration
Queues
(Notifier) Push
Event
<Notifier,Actioner>
:: Analyzer
Analyzer
Push
Task
Queues
(Actioner)
Notifier
Actioner
No
SQL
Time
Series
Analyze
Insight :: Colaboration
/graph
Portal Terminal
<Portal,Terminal>
:: Grapher
No
SQL
Time
Series
Grapher
Graph

Insight - Architecture Design

  • 1.
    Intelligent Monitoring &Analytics Adquirir Analizar Transformar Informar Actuar Datos Volúmen de Datos Información Acción Aprender 1 2 3 4 5 6 Aprendizaje Predicción Insight Project
  • 2.
    Monitoring Silos DEM APM ITM NPMD NetworkPerformance Monitoring and Diagnostics Information Technology Monitoring Application Performance Monitoring Digital Experience Monitoring: “Real time user monitoring and analytics over Web and mobile application”
  • 3.
    TS DB LDAP DB Insight :: Layers(4) Guardian ConfigurerNotifierActioner SchedulerCollector GrapherPortalTerminal AnalyzerQuerier SQL DB 1. Visualization 2. Analysis 4. Collection 3. Storage Persistent Cache In- Memory Queues
  • 4.
    TS DB LDAP DB SQL DB Web API Insight ::Components (18) SQL DB In- Memory Queues GuardianConfigurerNotifierActionerSchedulerCollectorGrapher PortalTerminal Analyzer Persistent Cache <Component> Querier SQL DB
  • 5.
    Insight :: Components Guardian ConfigurerNotifier ActionerSchedulerCollector Grapher Portal Terminal Analyzer Roadmap Querier
  • 6.
  • 7.
    Diagrama de Redes(Heterogénea) Acc Agg/Dist Edge R1 R2 R3 Site A Containers Database Containers Database Site B
  • 8.
    Diagrama de Redes(Homogénea) https://success.docker.com/article/networking https://blog.nigelpoulton.com/demystifying-docker-overlay-networking/ Overlay
  • 9.
    Insight :: Components Configurers:mantienen en tiempo real la unicidad y sincronía de la configuración global (compartida) y específica (individual) de los componentes del sistema. Collectors: recolectan de forma continua los datos a través de la interacción directa con las interfaces de comunicación de los objetos (fuentes de datos) de la ciber-infraestructura. Schedulers: planifican y distribuyen la recolección activa de datos de la ciber-infraestructura.
  • 10.
    Insight :: Components Analyzers:inspeccionan los datos recolectados e identifican eventos, comportamientos, tendencias y causa raíz sobre situaciones de riesgo asociadas a los objetos monitorizados de la ciber-infraestructura. Graphers: presentan gráficas estadísticas sobre la información recolectada de los objetos de la ciber-infraestructura. Guardians: mantienen las reglas de autenticación, autorización y acceso de los usuarios registrados, basada en roles para centralizar y controlar el uso de los componentes del sistema. Queriers: ejecutan consultas hacia las bases de datos y las devuelven en formato único legible por todos los componentes.
  • 11.
    Insight :: Components Notifiers:gestiona el envío de notificaciones a través de interfaces de comunicación con sistemas y personas. Actioners: ejecutan acciones puntuales definidas por los usuarios o periódicas de acuerdo con instrucciones de los analizadores. Portal: presenta una interfaz gráfica Web que permite interactuar con los componentes del sistema (Usuario Final / Administrador). Terminal: presenta una interfaz gráfica textual que permite interactuar con los componentes del sistema (Administrador).
  • 12.
    Insight :: ComponentStack Collector Terminal Analyzer 1 2 3
  • 13.
    Insight :: ComponentStack Configurer Notifier Scheduler Actioner 4 5 6 7
  • 14.
    Insight :: ComponentStack Guardian Grapher Portal 8 10 11 9 Querier
  • 15.
    Insight :: DatabaseStack In- Memory Queues TS DB Time Series SQL DB 14 13 12 SQL DB 15
  • 16.
    Insight :: DatabaseStack SQL DB16 LDAP DB18 17 <Component>
  • 17.
  • 18.
  • 19.
    Insight :: LXCv. Docker
  • 20.
  • 21.
    Insight :: NetFlowAlternative Replacement Elastic Stack (X-Pack)
  • 22.
    Insight :: NetworkSecurity & Visibility Delivery Platform https://www.youtube.com/ watch?v=MZr_V2L-RXk https://www.youtube.com/ watch?v=sPRe6xsgXQg https://www.elastic.co/ guide/en/logstash/current/ netflow-module.html Cisco NetFlow, S/C/J/ O/Q-flow, IPFix Based Layer 7, RTT, SrvRT, Top*, L2/L3 Match Agentless Real Time Flow Based Flow Collector Concentrator Buffer Based Packet Analyzer Flow Forwarding
  • 23.
    Insight :: AlternateAgent Stack Community Agents/Plugins Enterprise Version “Features” Commercial (USD) & Hardware++ ElasticStackTickStack
  • 24.
    Insight :: CloudMonitoring Amazon CloudWatch Azure Monitor
  • 25.
    Insight :: CloudMonitoring Amazon CloudWatch Amazon Lambda
  • 26.
    Insight :: CloudMonitoring Azure Monitor Azure Functions https://docs.microsoft.com/en-us/azure/monitoring-and-diagnostics/monitoring-action-groups-logic-app https://docs.microsoft.com/en-us/azure/connectors/connectors-native-http Azure Logic App
  • 27.
    Diagrama de Interfaces CMDB ERP/ Service Desk System Querier Security Event Information Mgmt (SIEM) *flow, IPFIX Solution Amazon Lambda Collector Notifier ActionerAzure Functions Amazon CloudWatch Azure Monitor
  • 28.
    Insight :: Colaboration Configurer Cache(RAM) /config/store (Modify) /config/load (Start) /config/get /config/set SQL Portal Terminal <Portal,Terminal> :: Configurer
  • 29.
    Insight :: Colaboration Configurer <Component> Cache(RAM) /config/store (Modify) /config/load (Start) /config/update /config/get File Portal Terminal <Component> :: Configurer /config/get (Expired, Empty)
  • 30.
    Insight :: Colaboration <Component> Cache(RAM) Any DB <Component> :: Querier /query Querier Any QL
  • 31.
    Cache (RAM) <Component> <Component> :: Guardian Guardian LDAPSQL Query (Fail,Expire) /auth/get /authz/get /auth/set /authz/set Portal Terminal Insight :: Colaboration
  • 32.
    Insight :: Colaboration No SQL Scheduler Collector TimeSeries Get Data Push Action Save Result Scheduler :: Collector Queues (Action) Queues (Results) ObjectSend Data
  • 33.
    Insight :: Colaboration Queues (Notifier)Push Event <Notifier,Actioner> :: Analyzer Analyzer Push Task Queues (Actioner) Notifier Actioner No SQL Time Series Analyze
  • 34.
    Insight :: Colaboration /graph PortalTerminal <Portal,Terminal> :: Grapher No SQL Time Series Grapher Graph