Marco teórico - Telefonía VoIP y StreamingSwanny Aquino
El presente documento ha sido pensado para la iniciación en el conocimiento de la TELEFONÍA, así como para recordatorio y actualización de personas que tengan conocimientos previos, también se tratarán temas de reciente aparición en la planta telefónica como la R.D.S.I (Red Digital de Servicios Integrados) o la CONMUTACIÓN DIGITAL.
Utilizar los diferentes modos de propagación de ondas de radio en el diseño de sistemas de comunicación por radio y describir el proceso asociado a las técnicas de múltiples antenas de transmisión y recepción.
Marco teórico - Telefonía VoIP y StreamingSwanny Aquino
El presente documento ha sido pensado para la iniciación en el conocimiento de la TELEFONÍA, así como para recordatorio y actualización de personas que tengan conocimientos previos, también se tratarán temas de reciente aparición en la planta telefónica como la R.D.S.I (Red Digital de Servicios Integrados) o la CONMUTACIÓN DIGITAL.
Utilizar los diferentes modos de propagación de ondas de radio en el diseño de sistemas de comunicación por radio y describir el proceso asociado a las técnicas de múltiples antenas de transmisión y recepción.
Big Data para analizar las redes socialesDatKnoSys
El principal objetivo es mostrar el análisis de cantidades elevadas de información que nos proporcionan las redes sociales gracias a sistemas Big Data. Haciendo frente a la complejidad de la variedad de orígenes, el gran volumen de las mismas y la velocidad de procesamiento que se necesita.
Se incidirá principalmente en los siguientes puntos clave: la recogida de datos, su procesamiento (con ejemplo de text mining para conseguir descifrar el sentimiento) y en la visualización final.
¿Sabías que cada minuto se mandan 13 millones de mensajes se suben 48 horas de vídeo a YouTube y se crean 571 nuevas páginas web? Internet es un generador de grandes cantidades de información y este contenido lo generan los usuarios, nuestros clientes, por eso hay que saber adaptarse a este nuevo socio económico y aprovechar el valor de la información que nos ofrece. Es importante implantar sistemas de Big Data que nos ayuden a almacenar, buscar, compartir, analizar y visualizar estas grandes cantidades de datos y con ello conseguir valor. No hay que olvidar que tan importante como es instalar un sistema big data, es definirlo conforme a nuestras necesidades.
Tutorial en Apache Spark - Clasificando tweets en realtimeSocialmetrix
Apache Spark [1] es un nuevo framework de procesamiento distribuido para big data, escrito en Scala con wrappers para Python, que viene generando mucha atención de la comunidad por su potencia, simplicidad de uso y velocidad de procesamiento. Ya siendo llamado como el remplazo de Apache Hadoop.
Socialmetrix desarrolla soluciones en este framework para generar reportes y dashboards de información a partir de los datos extraídos de redes sociales.
Los participantes de este tutorial van aprender a levantar información de Twitter usando Spark Streaming, Desarrollar algoritmos para calcular hashtags más frecuentes, usuarios más activos en batch processing aplicarlos en realtime a los nuevos tweets que lleguen a través del stream.
Big Data para analizar las redes socialesDatKnoSys
El principal objetivo es mostrar el análisis de cantidades elevadas de información que nos proporcionan las redes sociales gracias a sistemas Big Data. Haciendo frente a la complejidad de la variedad de orígenes, el gran volumen de las mismas y la velocidad de procesamiento que se necesita.
Se incidirá principalmente en los siguientes puntos clave: la recogida de datos, su procesamiento (con ejemplo de text mining para conseguir descifrar el sentimiento) y en la visualización final.
¿Sabías que cada minuto se mandan 13 millones de mensajes se suben 48 horas de vídeo a YouTube y se crean 571 nuevas páginas web? Internet es un generador de grandes cantidades de información y este contenido lo generan los usuarios, nuestros clientes, por eso hay que saber adaptarse a este nuevo socio económico y aprovechar el valor de la información que nos ofrece. Es importante implantar sistemas de Big Data que nos ayuden a almacenar, buscar, compartir, analizar y visualizar estas grandes cantidades de datos y con ello conseguir valor. No hay que olvidar que tan importante como es instalar un sistema big data, es definirlo conforme a nuestras necesidades.
Tutorial en Apache Spark - Clasificando tweets en realtimeSocialmetrix
Apache Spark [1] es un nuevo framework de procesamiento distribuido para big data, escrito en Scala con wrappers para Python, que viene generando mucha atención de la comunidad por su potencia, simplicidad de uso y velocidad de procesamiento. Ya siendo llamado como el remplazo de Apache Hadoop.
Socialmetrix desarrolla soluciones en este framework para generar reportes y dashboards de información a partir de los datos extraídos de redes sociales.
Los participantes de este tutorial van aprender a levantar información de Twitter usando Spark Streaming, Desarrollar algoritmos para calcular hashtags más frecuentes, usuarios más activos en batch processing aplicarlos en realtime a los nuevos tweets que lleguen a través del stream.
Introducción a Microsoft Azure SQL Data WarehouseJoseph Lopez
El nuevo Microsoft Azure SQL Data Warehouse (SQL DW) es un versátil servicio de almacén de datos que provee una solución Massively Parallel Processing (MPP) para "Big data" con verdaderas características de alta infraestructura empresarial. El servicio SQL DW está construido para la carga de datos en ejecución de unos cien gigabytes hasta petabytes de datos con características únicas como cálculo desagregado, permitiendo así que los clientes sean capaces de utilizar el servicio para satisfacer sus necesidades de almacenamiento. En la presente exposición les mostrare una mirada en profundidad de este nuevo servicio de Azure como la implementación, el escalamiento elástico (Grow, Shrink, y Pause), y las nubes de datos híbrida con integración de Hadoop a través Polybase permitiendo una verdadera experiencia de SQL a través de datos estructurados y no estructurados.
Proyecto de Investigación sobre ADO.NET:
Definición, Arquitectura, Dataset, Clases de ADO.NET, EJEMPLOS.
Si quieren informarse mas sobre ADO.NET, visita mi blog aquí les dejo un link:
http://bloggerlisevelinvasquez.blogspot.pe/2017/05/ano-del-buen-servicio-alciudadano.html
Esta charla forma parte de la gira de speaker online y el video de la podras encontrar en canal ventana de tecnologia en youtube
https://ivanmartinezm.wordpress.com/2017/09/03/5ta-fecha-gira-online-speaker-latinoamerica/
24 HOP edición Español - Patrones de escalalidad en microsoft azure sql datab...SpanishPASSVC
Esta es la charla que Eduardo Castro va a brindar el 4 de Diciembre en las 24 horas PASS en Español. Si no se ha registrado todavia esta a tiempo en el siguiente link: http://www.sqlpass.org/24hours/2014/spanish/Registro.aspx
Azure SQL Data Warehouse desde cada_anguloAdrian Miranda
Adjunto la presentación de la charla dada el 17 de mayo como parte del Capitulo Virtual de Pass en español. Pronto podrán ver el video en el canal de YouTube. También los invito a visitar el canal de BILATAM también en YouTube, donde pueden encontrar más videos sobre Azure, BI y bases de datos en general.
Presentación donde se habla sobre una implementación de DW on premises y en la nube, y también como Azure Data Factory nos ayuda en la integración de los datos.
En este segundo Meetup nos vamos a centrar en la integración de Mulesoft con BBDD relacionales del tipo Oracle, PostgreSQL, MySQL
1.- Cómo se integra Java con Bases de Datos relacionales
2.- Somo los integradores capaces de hacer de DBA? pide ayuda a alguien que sepa de BBDD
3.- Pool de conexiones, que es y para que nos sirve para mejorar el rendimiento
4.- ApiKit OData, generación automática de API´s a partir de una conexión de BD
5.- Historias para no dormir y casos extraños que nos encontramos en los clientes
Cloud Computing: las nuevas Capas de PersistenciaDavid J. Brenes
Uno de los primeros problemas con que debemos lidiar en la Web 2.0 es la recuperación de datos para el usuario. ¿Qué nuevas capas de persistencia han sido desarrolladas para hacer frente al reto?
En las transparencias se hace una muy leve introducción a Apache CouchDB y Amazon SimpleDB.
Estas transparencias están basadas en unas confeccionadas por mi para un curso sobre Cloud Computing.
Como crear Plataformas Big Data y ML basadas en open source: como almacenar y gestionar grandes volúmenes de información con origenes de datos abiertos turisticos y externos de todo tipo: Redes, Telefonía, apps, vuelos, hoteles, estadisticos....
Documento que explica como realizar la integración entre SAP (BW- HANA) y PowerBI para maximizar el potencial de análisis de los datos económicos y financieros de las compañías
Ipsos, empresa de investigación de mercados y opinión pública, divulgó su informe N°29 “Claves Ipsos” correspondiente al mes de abril, que encuestó a 800 personas con el fin de identificar las principales opiniones y comportamientos de las y los ciudadanos respecto de temas de interés para el país. En esta edición se abordó la a Carabineros de Chile, su evaluación, legitimidad en su actuar y el asesinato de tres funcionarios en Cañete. Además, se consultó sobre el Ejército y la opinión respecto de la marcha en Putre.
Diapositivas D.I.P.. sobre la importancia que tiene la interpol en HonduraspptxWalterOrdoez22
Es un conjunto de diapositivas creadas para la información sobre la importancia que tienen la interpol en honduras y los tratados entre ambas instituciones
Reporte homicidio doloso descripción
Reporte que contiene información de las víctimas de homicidio doloso registradas en el municipio de Irapuato Guanajuato durante el periodo señalado, comprende información cualitativa y cuantitativa que hace referencia a las características principales de cada uno de los homicidios.
La información proviene tanto de medios de comunicación digitales e impresos como de los boletines que la propia Fiscalía del Estado de Guanajuato emite de manera diaria a los medios de comunicación quienes publican estas incidencias en sus distintos canales.
Podemos observar cantidad de personas fallecidas, lugar donde se registraron los eventos, colonia y calle así como un comparativo con el mismo periodo pero del año anterior.
Edades y género de las víctimas es parte de la información que incluye el reporte.
1. Bases de Datos Analíticas-ColumnaresBases de Datos Analíticas-Columnares
2. Índice
o Características
o Monet DB
o Arquitectura
o Almacenamiento
o Distinciones
o Cluster
o HP Vertica
o Proyecciones
o Hybrid Data Store
o Optimizaciones
o Cluster
o Límites
12. Monet DB - Arquitectura
o Se enfoca más en la disponibilidad que en la
consistencia
o Muy Flexible a personalizaciones por parte del
usuario
13. Monet DB - Almacenamiento
o Binary Association Table (BAT)
o Datos para consultar por XQuery
o XML
o JSON
o Binario
o Capacidad de leer de un Stream de datos
o Se configura la fuente de datos, indicando la dirección en formato [protocolo]://
[servidor]:[puerto]
oid name
0000
0
monet
OID tipo
00000 db
OID year
11111 2000
OID plus
11111 15
14. Monet DB - Distinciones
o Rendimiento óptimo cuando el mayor volumen en el
manejo de datos puede hacerse en la memoria principal
o Debido a la eficiente generada por la técnica llamada
“Cache Locality”
o Se basa en la localización de los bloques de memoria de forma secuencial
para optimizar el acceso a ellos
15. Monet DB - Distinciones
o Radix-Cluster for Join, una innovación en algoritmos de
joins en Bases de Datos.
o Este algoritmos logra una Complejidad Computacional de
las consultas insuperable O(max (n,m)), mientras que en
otros sistemas como PostresSQL, MySQL o SQL Server que
toman O (n + m).
16. Monet DB - Distinciones
o Aprovecha las ventajas de la paralelización usando Map-
Reduce y Replicación.
o Amplio rango de alcance, sobre todo en temas académicos,
incluyendo librerías externas
o libxml
o geos
o raptor (software para predicción de la estructura de proteínas)
o Varios formatos pueden ser incluidos como formato de
vaults (cargas masivas).
17. Monet DB - Distinciones
o Monet Interpreted Language
o Puede ser extendido con nuevas funciones de evaluación
por parte de los usuarios
18. Monet DB – Cluster – Instalación
o Instalar MonetDB individualmente en cada nodo (monetdbd)
o monetdbd create /path/to/store/server
o Asignar propiedades a la BD para formar el Cluster (monetdb)
o monetdb –h [server] –P [password] create test_db
o monetdb set shared=/home/db/1 test_db
o monetdb –h [server] –P [password] start test_db
o Usar el cliente para las consultas (mclient)
o mclient –d “/home/db/1”
19. Monet DB - Cluster – Balanceo de Datos
o Balanceo de carga en Monet DB se logra usando un patrón para
conectarse al cluster.
o Este patrón deberá incluir todas las BD sobre las que se quiera
operar en la conexión
o mclient –d “/home/db/*”
o mclient usa un Round Robin en las peticiones, es decir,
selecciona el siguiente nodo en cada comando enviado al
servidor.
20. Monet DB - Cluster – Replicación
o Multiplex Funnel, especifica una conexión multiplexada a los
nodos del cluster que se especifiquen.
o monetdb create -m
[user]+password@[db_or_tag_name],
[user]+password@[db_or_tag_name]
[multiplex_funnel_name]
o Usado como técnica de replicación
o Recomendado para sentencias de lectura de datos solamente.
22. HP Vertica - Proyecciones
o Una tabla puede tener varias proyecciones,
cada una ordenada por un atributo diferente
o Cada proyección tiene una copia de los datos
o Este concepto optimiza las consultas sobre un
atributo ordenado
23. HP Vertica - Hybrid Data Store
o Write Optimized Store (WOS)
o Una estructura de datos almacenada en memoria para operaciones de inserción y
actualizado
o Los datos aquí están sin comprimir ni ordenar para lograr eficiencia en el proceso
o Read Optimized Store (ROS)
o Contiene los datos estables de la Base de Datos
o Los datos están comprimidos y ordenados
24. HP Vertica - Hybrid Data Store
o Tuple Mover
o Mueve los datos desde el WOS hacia el ROS
o Opera en secciones completas del WOS, realiza las operaciones de inserción usando
operaciones batch
o Storage Container
o En cada nodo hay varios Storage Container por proyección, haciendo el papel de
versiones
o Es el equivalente al Tuple Mover a nivel de Nodo. Una vez que el Tuple Mover a
insertado los datos hacia un nodo, este componente se encarga de actualizar los
antiguos datos con los nuevos
25. HP Vertica - Hybrid Data Store (Análisis)
o Este mecanismo es ideal para Bases de Datos
analíticas, porque se enfoca en las consultas
eficientes, el control de concurrencia y la
inserción/actualización en grandes volúmenes
o Para aplicaciones que requieran una sincronización
estricta entre la inserción y la lectura de datos, el
Hybrid Data Store no es ideal
26. HP Vertica - Optimizaciones
o Vertica no necesita descomprimir los datos de una
columna para realizar operaciones de agregación
o Las proyecciones pueden tener columnas de una
relación de llave primaria – llave foránea, estas
proyecciones son llamadas pre-join projections
o Pre-join projections, ofrecen una gran ventaja en
cuanto a rendimiento en operaciones de INNER JOIN
27. HP Vertica - Optimizaciones
o k-safety para garantizar la integridad de datos antes
fallos de nodos, se basa en tener k copias de los
datos
o Cada réplica está ordenada por un atributo
diferente, lo cual optimiza el tiempo de las consultas
o Usa las ‘Buddy Projections’ : proyecciones que se
diferencian solo en el atributo por el cual están
ordenados los datos.
o Uso en replicación y particionamiento
28. HP Vertica - Clúster - Introducción
o Clúster a nivel de servidor: es la disponibilidad de
nodos físicos a los que pueden expandirse las BD.
o Se pueden definir todos los nodos durante la instalación
o Incremento de nodos sin necesidad de reinstalar
o Clúster a nivel de BD: De los nodos físicos disponible,
podemos elegir en cuáles se distribuirá cada BD
o Se puede definir durante la creación de la BD
o Incrementar nodos después de creada, con balanceo
automático.
29. HP Vertica - Clúster - Replicación
o La Replicación es la posibilidad de tener múltiples
copias de cada proyección distribuidas por el clúster.
o Si más de la mitad de los nodos de un clúster no
están disponibles, Vertica automáticamente se
apaga.
o En HP Vertica hay 3 posibles valores de K (0,1,2)
30. HP Vertica - Clúster - Replicación
o Ejemplo K = 1
o Nodos críticos
K-level Nodes
0 1+
1 3+
2 5+
K 2K+1
31. HP Vertica - Clúster - Replicación
o Ejemplo creación de tabla con K-safety
CREATE TABLE location(..., state VARCHAR NOT
NULL, ...) KSAFE [2]
o Ejemplo creación de proyección con K-safety
CREATE PROJECTION projection-name AS SELECT …
FROM table [ KSAFE [ 1 ] ]
32. HP Vertica – Clúster - Replicación
o Monitorizar K-safety
o SELECT current_fault_tolerance FROM system;
o SELECT * FROM v_monitor.critical_nodes;
33. HP Vertica - Clúster - Segmentación
o La segmentación permite que cada proyección pueda
distribuir sus datos por los nodos del clúster basado
en un atributo.
o La segmentación por hash debe cumplir con los
siguientes requisitos:
o Datos suficientemente únicos a lo largo de la columna
o Distribución aceptablemente aleatoria o asimétrica en cada
elemento nuevo insertado
34. HP Vertica – Clúster - Segmentación
o Tipos de Segmentación
o Modular Hash Segmentation es una forma de segmentación
recomendable para atributos con un patrón regular, i.e los tipos de
datos secuenciales
o Simple Hash Segmentation es la forma de segmentación
recomendada para atributos con un patrón irregular, como los UUID
de Java
35. HP Vertica - Clúster - Segmentación
o Ejemplo de tabla con segmentación
CREATE TABLE tw_search (..., tw_account_name VARCHAR
NOT NULL, ...)
SEGMENTED BY HASH(tw_Created_YearMonth) ALL NODES
OFFSET 0;
o El parámetro offset significa el nodo a partir del cual se quiere
segmentar
36. HP Vertica – Clúster - Segmentación
o Ejemplo de proyección con segmentación
CREATE PROJECTION tweetsAnioMes (tw_Text,
tw_Created_YearMonth) AS
(select tw_Text, tw_Created_YearMonth FROM tw_search
ORDER BY 2)
SEGMENTED BY HASH(tw_Created_YearMonth) ALL NODES
OFFSET 2;
o El parámetro offset significa el nodo a partir del cual se quiere
segmentar
37. HP Vertica - Clúster - Balanceo de Carga
o IPVS (Internet Protocol Virtual Server). Es una
característica del kernel de linux que permite que un
host pueda hacer de Gateway, para eso usa IP
virtuales e instala paquetes de software adicionales.
o Native Conection Load Balancing. Es una
característica implementada en el servidor de HP
Vertica y las librerías cliente. Se basa en la asignación
de conexiones a los clientes por parte del servidor.
38. HP Vertica - Clúster - Balanceo de Carga - Nativa
o Opciones de Native Conection Load Balancing
o NONE. Deshabilitado por defecto.
o ROUNDROBIN. Selecciona el siguiente nodo del anillo de nodos
en cada conexión.
o RANDOM. Selecciona aleatoriamente un nodo.
o SELECT SET_LOAD_BALANCE_POLICY('ROUNDROBIN');
o SELECT LOAD_BALANCE_POLICY FROM V_CATALOG.DATABASES;
o SELECT NODE_NAME FROM V_MONITOR.CURRENT_SESSION;
39. HP Vertica - Clúster - Balanceo de Carga - Nativa
o Es necesario poner un parámetro en la conexión para
que las peticiones sean de tipo load balance.
o ConnectionLoadBalance = 1
o Si usamos como cliente el SQuirrel, se configura
fácilmente mediante la interfaz.
40. HP Vertica - Clúster – Balanceo de Carga - IPVS
o Dos nodos directores (generalmente tienen datos)
o Master Director, se encarga del enrutamiento de las peticiones
o Slave Director, se comunica con el Master Director y asume su rol
en caso de fallo
o N nodos de datos (128 máximo recomendado)
o IP privadas para la conexión entre nodos
o IP reales de cara a los clientes del clúster
41. HP Vertica - Clúster – Balanceo de carga - Análisis
o Nativa
o Sencilla de Instalar
o Eficiente
o Mayores Requisitos de Conectividad con los clientes
o IPVS
o Compleja de Instalar
o Consumidora de Recursos
o Menores requisitos de conectividad con los clientes
42. HP Vertica - Límites
o Capacidad de la BD: (Máximo Tamaño de Fichero * Nodos *
Discos Duros)
o Número de filas por tabla: 2^64 filas en cada Nodo
o Capacidad de una fila: 32,768,000 bytes
o Número de nodos: 128 (Recomendable)
o Conexiones concurrentes por nodo: 50 por defecto, limitado
por la plataforma (típicamente 1024)