INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
Crecimiento Horizontal
en PostgreSQL
El Grupo EQ SOFT
● 15 años de experiencia desarrollando soluciones tecnológicas
para diferentes sectores productivos.
● Core-business desarrollo de software, desde hace 4 años
invertimos fuertemente en generación de productos de IoT,
Robótica, Inteligencia Artificial y otras tecnologías
emergentes.
● Desarrollamos nuestra propia tecnología, basada en
productos y estándares abiertos, aseguramos a nuestros
clientes un periodo de vida de sus soluciones de largo plazo.
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
INFORMACIÓNRESERVADA-EQSOFT
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
Soluciones de
SmartCities,
Centros de
Esparcimiento y
Cultura, etc.
Agricultura,
Acuicultura
y Ganadería
Inteligente
Monitoreo y
Asistencia en líneas
de producción y
plantas en general.
Soluciones aplicadas
a Minería e industrias
extractivas similares.
Monitoreo y
Gestión de
flotas y
equipos de
trabajo/man
tenimiento. LOGOS
OCR
LOGOS
Sentiment
LOGOS
Pictures
LOGOS
Biblios
LOGOS
Sounds
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Por qué PostgreSQL? http://www.postgresql.org
● Es la 4ta RDBMS más utilizada en el mundo, el
único con tendencia al crecimiento durante todo
el 2017.
● Continua evolución y liberación de releases
estables: rama 10 2017-Oct, 10.1 2017-Nov.
● Totalmente documentado, no solo a nivel usuario
sino de desarrollador de los componentes del
engine.
● 4 a 5 años de actualizaciones por rama.
● Desde hace muchos años posee funcionalidades
específicas para manipular grandes cantidades de
datos.
https://db-engines.com/en/ranking/relation
al+dbms
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
La necesidades es crecer, crecer y seguir creciendo
● Cada vez se genera mayores volúmenes de
información.
● Cada vez los datos son menos estructurados, más
pesados (video, audio, fotos, etc.)
● Los servicios atienden a cada vez más usuarios,
internos y externos a nuestras instituciones.
● El nuevo horario de atención de los servicios es
ahora de Lunes a Domingo desde las 00:00:00
hasta las 23:59:59.
https://itsvit.com/blog/what-does-big-
data-mean-for-your-business/
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
Crecimiento Vertical
● Fácil de administrar.
● No requiere mayor
intervención técnica.
● PostgreSQL incluye
diversas técnicas para
crecer en
manipulación de
datos en un mismo
hardware.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
Crecimiento Vertical
● Con el fin de tener un
sistema redundante se
implementan diversos
tipos de Replicación de
Datos (Master-Slave)
dentro de PostgreSQL.
● Adicionalmente existen
otros productos (de
otros proyectos) para
dar soporte en esta
necesidad.
PgPool
Administra pool de conexiones
concurrentes persistentes.
Posee capacidades de
replicación y alta
disponibilidades.
PostgreSQL incluye
herramientas de replicación
Asíncrona y Síncrona
(two-phase-commit) que
permiten mantener la
información espejada entre 2
servidores.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
Limitaciones del Crecimiento Vertical
● No existe autorecuperación
(resincronización de servidores automática)
en caso de caídas.
● Si Gran cantidad de procesamiento es
requerido esto podría ser un gran problema
o ser demasiado costo (por limitaciones de
hardware).
● “Podría” no ser compatible con algunos
proveedores de servicios IaaS
(Infraestructura como servicio - en la nube).
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
Crecimiento Horizontal
● Mayores
requerimientos
técnicos para su
implementación.
● Se implementa con
productos que se
integran a PostgreSQL.
● Ofrece un
escalamiento ilimitado.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Basado en PostgreSQL.
○ Soporta todos sus objetos y tipos de
datos.
○ Implementa Pl/PgSql
● Estalamento a manipulación de
PetaBytes de datos.
● Pensado para analítica avanzada de
datos gracias a su capacidad de
paralelizar consultas en múltiples
servidores.
● Incorpora sus propias herramientas
de monitoreo y recuperación.
https://greenplum.org/
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Básicamente GreenPlum muestra una interfase
que utiliza múltiples servidores PostgreSQL por
debajo para responder a las solicitudes de I/O de
datos.
● El acceso a los datos se hace a través del Master
Host, la comunicación con el es a través de las
librerias estándar de PostgreSql (libpq y los
clientes odbc, jdbc ó .Net).
● Los Segment Host no requieren tener iguales
características de hardware.
○ Límite: 1000 segmentos
○ Se aconseja una infraestructura de red de
alta velocidad (mejor si es de 10Gbps)
○ Ante caídas y recuperación de segmentos la
sincronización de datos es automática.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Límites de almacenamiento sumamente altos.
● La configuración de límite de conexiones es
similar a la de PostgreSQL (default 205 Master y
750 Segments)
● Preparado para “espejar” el Master Host y tener
un sistema de redundancia.
● Integrable y compatible con varios servicios IaaS y
PaaS.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Basado en PostgreSQL.
○ Implementaciones basadas en
PostgreSQL 9.5 (estable), 9.6 (en alpha)
y 10 (en alpha).
● Escalable a decenas de Terabytes.
● Orientado a aplicaciones de BI y Big
Data.
● Incorpora sus propias herramientas
de monitoreo y recuperación.
https://www.postgres-xl.org/
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Básicamente Postgres-XL es un PostgreSQL
modificado.
● Implementa 3 componentes:
○ “Coordinadores” administran la
comunicación con las aplicaciones.
○ “GTM” (Global Transaction Manager)
encargado de la consistencia y visibilidad de
los datos.
○ “Data Nodes” almacenan los datos.
● El acceso a los datos se hace a través de los
“Coordinadores”, la comunicación con el es a
través de las librerias estándar de PostgreSql
(libpq y los clientes odbc, jdbc ó .Net).
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Crecimiento vertical o crecimiento horizontal?
● Comunicaciones a nivel TCP, más lento que
GreenPlum (GreenPlum es a nivel UDP).
● Mejor soporte de Querys (sintaxis).
● Incorpora herramientas de monitoreo, pero la
resincronización de los servidores no es
transparente.
● El GTM puede ser duplicado para tener un
sistema de alta disponibilidad.
● Implementa un componente (no indispensable)
llamado GTM-Proxy para optimizar el
intercambio de paquetes en la red, acelerando el
proceso de sincronización.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
¿Hay más soluciones?
https://www.cockroachlabs.com
● Versiones Community (Apache License) y
Enterprise.
● Alta disponibilidad, replicación y sincronización
transparente.
● No es un PostgreSQL, pero implementa su
protocolo de comunicación, lo que hace que
todo desarrollo que use PostgreSQL se
comunique transparentemente (observar lógica
del lado del servidor)
https://www.citusdata.com
● Versiones Community (Apache License) y
Enterprise.
● Alta disponibilidad, replicación y
sincronización.
● Integrado con varios servicios IaaS.
● Es una extensión de PostgreSQL.
INFORMACIÓNRESERVADA-EQSOFT
Ernesto Quiñones Azcárate - COO
ernesto@eqsoft.net
Crecimiento Horizontal
en PostgreSQL
¡GRACIAS!

PostgreSql: Soluciones de crecimiento horizontal

  • 1.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net Crecimiento Horizontal en PostgreSQL
  • 2.
    El Grupo EQSOFT ● 15 años de experiencia desarrollando soluciones tecnológicas para diferentes sectores productivos. ● Core-business desarrollo de software, desde hace 4 años invertimos fuertemente en generación de productos de IoT, Robótica, Inteligencia Artificial y otras tecnologías emergentes. ● Desarrollamos nuestra propia tecnología, basada en productos y estándares abiertos, aseguramos a nuestros clientes un periodo de vida de sus soluciones de largo plazo. Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net INFORMACIÓNRESERVADA-EQSOFT
  • 3.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net Soluciones de SmartCities, Centros de Esparcimiento y Cultura, etc. Agricultura, Acuicultura y Ganadería Inteligente Monitoreo y Asistencia en líneas de producción y plantas en general. Soluciones aplicadas a Minería e industrias extractivas similares. Monitoreo y Gestión de flotas y equipos de trabajo/man tenimiento. LOGOS OCR LOGOS Sentiment LOGOS Pictures LOGOS Biblios LOGOS Sounds
  • 4.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Por qué PostgreSQL? http://www.postgresql.org ● Es la 4ta RDBMS más utilizada en el mundo, el único con tendencia al crecimiento durante todo el 2017. ● Continua evolución y liberación de releases estables: rama 10 2017-Oct, 10.1 2017-Nov. ● Totalmente documentado, no solo a nivel usuario sino de desarrollador de los componentes del engine. ● 4 a 5 años de actualizaciones por rama. ● Desde hace muchos años posee funcionalidades específicas para manipular grandes cantidades de datos. https://db-engines.com/en/ranking/relation al+dbms
  • 5.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net La necesidades es crecer, crecer y seguir creciendo ● Cada vez se genera mayores volúmenes de información. ● Cada vez los datos son menos estructurados, más pesados (video, audio, fotos, etc.) ● Los servicios atienden a cada vez más usuarios, internos y externos a nuestras instituciones. ● El nuevo horario de atención de los servicios es ahora de Lunes a Domingo desde las 00:00:00 hasta las 23:59:59. https://itsvit.com/blog/what-does-big- data-mean-for-your-business/
  • 6.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Vertical ● Fácil de administrar. ● No requiere mayor intervención técnica. ● PostgreSQL incluye diversas técnicas para crecer en manipulación de datos en un mismo hardware.
  • 7.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Vertical ● Con el fin de tener un sistema redundante se implementan diversos tipos de Replicación de Datos (Master-Slave) dentro de PostgreSQL. ● Adicionalmente existen otros productos (de otros proyectos) para dar soporte en esta necesidad. PgPool Administra pool de conexiones concurrentes persistentes. Posee capacidades de replicación y alta disponibilidades. PostgreSQL incluye herramientas de replicación Asíncrona y Síncrona (two-phase-commit) que permiten mantener la información espejada entre 2 servidores.
  • 8.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Limitaciones del Crecimiento Vertical ● No existe autorecuperación (resincronización de servidores automática) en caso de caídas. ● Si Gran cantidad de procesamiento es requerido esto podría ser un gran problema o ser demasiado costo (por limitaciones de hardware). ● “Podría” no ser compatible con algunos proveedores de servicios IaaS (Infraestructura como servicio - en la nube).
  • 9.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Horizontal ● Mayores requerimientos técnicos para su implementación. ● Se implementa con productos que se integran a PostgreSQL. ● Ofrece un escalamiento ilimitado.
  • 10.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Basado en PostgreSQL. ○ Soporta todos sus objetos y tipos de datos. ○ Implementa Pl/PgSql ● Estalamento a manipulación de PetaBytes de datos. ● Pensado para analítica avanzada de datos gracias a su capacidad de paralelizar consultas en múltiples servidores. ● Incorpora sus propias herramientas de monitoreo y recuperación. https://greenplum.org/
  • 11.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Básicamente GreenPlum muestra una interfase que utiliza múltiples servidores PostgreSQL por debajo para responder a las solicitudes de I/O de datos. ● El acceso a los datos se hace a través del Master Host, la comunicación con el es a través de las librerias estándar de PostgreSql (libpq y los clientes odbc, jdbc ó .Net). ● Los Segment Host no requieren tener iguales características de hardware. ○ Límite: 1000 segmentos ○ Se aconseja una infraestructura de red de alta velocidad (mejor si es de 10Gbps) ○ Ante caídas y recuperación de segmentos la sincronización de datos es automática.
  • 12.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Límites de almacenamiento sumamente altos. ● La configuración de límite de conexiones es similar a la de PostgreSQL (default 205 Master y 750 Segments) ● Preparado para “espejar” el Master Host y tener un sistema de redundancia. ● Integrable y compatible con varios servicios IaaS y PaaS.
  • 13.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Basado en PostgreSQL. ○ Implementaciones basadas en PostgreSQL 9.5 (estable), 9.6 (en alpha) y 10 (en alpha). ● Escalable a decenas de Terabytes. ● Orientado a aplicaciones de BI y Big Data. ● Incorpora sus propias herramientas de monitoreo y recuperación. https://www.postgres-xl.org/
  • 14.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Básicamente Postgres-XL es un PostgreSQL modificado. ● Implementa 3 componentes: ○ “Coordinadores” administran la comunicación con las aplicaciones. ○ “GTM” (Global Transaction Manager) encargado de la consistencia y visibilidad de los datos. ○ “Data Nodes” almacenan los datos. ● El acceso a los datos se hace a través de los “Coordinadores”, la comunicación con el es a través de las librerias estándar de PostgreSql (libpq y los clientes odbc, jdbc ó .Net).
  • 15.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Comunicaciones a nivel TCP, más lento que GreenPlum (GreenPlum es a nivel UDP). ● Mejor soporte de Querys (sintaxis). ● Incorpora herramientas de monitoreo, pero la resincronización de los servidores no es transparente. ● El GTM puede ser duplicado para tener un sistema de alta disponibilidad. ● Implementa un componente (no indispensable) llamado GTM-Proxy para optimizar el intercambio de paquetes en la red, acelerando el proceso de sincronización.
  • 16.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net ¿Hay más soluciones? https://www.cockroachlabs.com ● Versiones Community (Apache License) y Enterprise. ● Alta disponibilidad, replicación y sincronización transparente. ● No es un PostgreSQL, pero implementa su protocolo de comunicación, lo que hace que todo desarrollo que use PostgreSQL se comunique transparentemente (observar lógica del lado del servidor) https://www.citusdata.com ● Versiones Community (Apache License) y Enterprise. ● Alta disponibilidad, replicación y sincronización. ● Integrado con varios servicios IaaS. ● Es una extensión de PostgreSQL.
  • 17.
    INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate- COO ernesto@eqsoft.net Crecimiento Horizontal en PostgreSQL ¡GRACIAS!