Managing replication of PostgreSQL (Simon Riggs)

The demand for managing a large amount of data in a scalable yet reliable and cost-effective way has became more and more relevant in this day and age. Ceph, a software-defined storage, provides an original solution for this problem and guarantees a resilient and self-healing way for managing large amount of data up to the Exabyte level. In this session I will talk about a new feature introduced in oVirt 3.6 which provides the ability to integrate with Red Hat Ceph storage using Cinder, a storage service used mainly for OpenStack. This integration reveals new opportunities and tools for storage management in a scalable and virtualized way and also opens the door for interesting future integrations with other storage providers. In this session I will describe how oVirt, an open source virtualization management platform, has extended and elevated its storage virtualization management capabilities by integrating with Cinder, a storage service, to manage resources from the Ceph Storage. oVirt 3.6 revolutionize the way it manages virtualized storage to be much more scalable and flexible, and opens the door for future integrations with well known storage providers such as NetApp, EMC, HP and more.

Technology

Managing
PostgreSQL
Replication

© 2ndQuadrant Limited 2010

Who Am I?
• Simon Riggs
• Major Developer on PostgreSQL project
• CTO, 2ndQuadrant

© 2ndQuadrant Limited 2010

Replication Use Cases
• High Availability • Protection
• Total Cost of
• Scalability Ownership
• Exploiting success

© 2ndQuadrant Limited 2010

Replication Mechanisms
• Trigger-based replication
– User space solution
• Log-based replication
– Integrated development

© 2ndQuadrant Limited 2010

Log Shipping Developments
• 8.0 – Point in Time Recovery, Full WAL info
• 8.2 – Restartable Recovery, Log Switching,
Streaming API
• 8.3 – Full Page Optimization, pg_standby
• 8.4 – BgWriter during Recovery
• 9.0 – Streaming Replication
Hot Standby

© 2ndQuadrant Limited 2010

Streaming Replication (9.0)
• Efficient real-time “log shipping”
• Master → Slave replication using full security
• Multiple concurrent slaves
• Robust bi-modal design

© 2ndQuadrant Limited 2010

WAL Receiver

© 2ndQuadrant Limited 2010

Hot Standby
• Read-only access while “in recovery”
• Equivalent of Oracle 11g Active Data Guard
• Load balanced read scalability
• Query off-load from main write node
• Multiple highly available standby nodes

© 2ndQuadrant Limited 2010

Capabilities
• High Performance
• Integrated
• Ease of Use
• Query Access
• Relay
• Selectivity
• Query Farm

© 2ndQuadrant Limited 2010

Capabilities with Tools
• High Performance
• Integrated
• Ease of Use
• Query Access
• Relay
• Selectivity
• Query Farm

© 2ndQuadrant Limited 2010

Repmgr
• Simplify standby management
• Monitor replication delays
• Provide feedback mechanisms

© 2ndQuadrant Limited 2010

Future: Sync Replication (9.1)
• User-controlled robustness
• High performance design
• Simplicity
• Additional flexibility through registration

© 2ndQuadrant Limited 2010

Future: Loose Coupling
• Allows distributed database
• High Availability and Disaster Recovery
• No shared resources – better scalability
• “Cellular” approach

© 2ndQuadrant Limited 2010

PostgreSQL Books

• http://www.2ndQuadrant.com/books/

© 2ndQuadrant Limited 2010

What's hot

Managing ceph through_oVirt_using_Cinder

Maor Lipchuk

Database experiences designing cassandra schema for keystone

Kubernetes for Enterprise DevOps

Jim Bugwadia

Demistifying open stack storage

OpenNebula TechDay Boston 2015 - Hyperconvergence and OpenNebula

OpenNebula Project

Guts & OpenStack migration

State of Linux Containers in OpenStack

At the moment MySQL 8 and MariaDB 10.4 are the latest versions of the corresponding database management systems. Each of these DBMSs has a unique set of features, unavailable in its analogue (MariaDB features might be unavailable in MySQL, and vice versa). In this presentation, we’ll cover these new features and provide recommendations re: which application will work best on which DBMS. Attendees will be able to identify what focus areas that either MySQL or MariaDB targeted. This talk also gives a great overview of what are the benefits of using one over another.

OpenStack Contribution Workflow

Sean McGinnis

SUSE Enterprise Storage

SUSE

Windows Azure Pack: Containerized SQL Server Resource provider

Valio Bonev

Setting up a MySQL Docker Container

Victor S. Recio

OpenStack Boston Summit: Kuryr project updates

Antoni Segura Puimedon

Introduction to OpenStack Cinder

Sean McGinnis

Carbon 5 : A Preview

Sameera Jayasoma

Mysql 8 vs Mariadb 10.4 Webinar 2020 Feb

Alkin Tezuysal

Multiple Sites and Disaster Recovery with Ceph Audience: Intermediate Topic: Storage Abstract: Ceph is the leading storage solution for OpenStack. As OpenStack deployments become more mission critical and widely deployed, multiple site requirements are increasing as is the need to ensure disaster recovery and business continuity. Learn about the new capabilities in Ceph that assist customers with meeting these requirements for block and object uses. Speaker Bio: Andrew Hatfield, Red Hat Andrew has over 20 years experience in the IT industry across APAC, specialising in Databases, Directory Systems, Groupware, Virtualisation and Storage for Enterprise and Government organisations. When not helping customers slash costs and increase agility by moving to the software-defined storage future, he’s enjoying the subtle tones of Islay Whisky and shredding pow pow on the world’s best snowboard resorts. OpenStack Australia Day Government - Canberra 2016 https://events.aptira.com/openstack-australia-day-canberra-2016/

Multiple Sites and Disaster Recovery with Ceph: Andrew Hatfield, Red Hat

OpenStack

Building Services with WSO2 Microservices framework for Java and WSO2 AS

Kasun Gajasinghe

IT organizations require a disaster recovery strategy addressing outages with loss of storage, or extended loss of availability at the primary site. Applications need to rapidly migrate to the secondary site and transition with little or no impact to their availability.This talk will cover the various architectural options and levels of maturity in OpenStack services for building multi-site configurations using the Mitaka release. We’ll present the latest capabilities for Volume, Image and Object Storage with Ceph as the backend storage solution, and look at the future developments the OpenStack and Ceph communities are driving to improve and simplify the relevant use cases. Slides from OpenStack Austin Summit 2016 session: http://alturl.com/hpesz

Protecting the Galaxy - Multi-Region Disaster Recovery with OpenStack and Ceph

Sean Cohen

Open stack solidfire-mavenspire-meetup

Gene Dubensky

OpenStack Tokyo Meeup - Gluster Storage Day

Dan Radez

What's hot (20)

Managing ceph through_oVirt_using_Cinder

Database experiences designing cassandra schema for keystone

Kubernetes for Enterprise DevOps

Demistifying open stack storage

OpenNebula TechDay Boston 2015 - Hyperconvergence and OpenNebula

Guts & OpenStack migration

State of Linux Containers in OpenStack

OpenStack Contribution Workflow

SUSE Enterprise Storage

Windows Azure Pack: Containerized SQL Server Resource provider

Setting up a MySQL Docker Container

OpenStack Boston Summit: Kuryr project updates

Introduction to OpenStack Cinder

Carbon 5 : A Preview

Mysql 8 vs Mariadb 10.4 Webinar 2020 Feb

Multiple Sites and Disaster Recovery with Ceph: Andrew Hatfield, Red Hat

Building Services with WSO2 Microservices framework for Java and WSO2 AS

Protecting the Galaxy - Multi-Region Disaster Recovery with OpenStack and Ceph

Open stack solidfire-mavenspire-meetup

OpenStack Tokyo Meeup - Gluster Storage Day

Viewers also liked

Big Data and PostgreSQL

Migration From Oracle to PostgreSQL

Lessons PostgreSQL learned from commercial databases, and didn’t

PostgreSQL WAL for DBAs

Use Case: PostGIS and Agribotics

How to teach an elephant to rock'n'roll

Why we love pgpool-II and why we hate it!

Query Parallelism in PostgreSQL: What's coming next?

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/2858.html Аудитория Одноклассников превышает 73 миллиона человек в России, СНГ и странах дальнего зарубежья. При этом ОК.ru - первая социальная сеть по просмотрам видео в рунете и крупнейшая сервисная платформа. Качественный и количественный рост DDoS-атак за последние годы превращает их в одну из первоочередных проблем для крупнейших интернет-ресурсов. В зависимости от вектора атаки “узким” местом становится та или иная часть инфраструктуры. В частности, при SYN-flood первый удар приходится на систему балансировки трафика. От ее производительности зависит успех в противостоянии атаке. ...

Viewers also liked (8)

Big Data and PostgreSQL

Migration From Oracle to PostgreSQL

Lessons PostgreSQL learned from commercial databases, and didn’t

PostgreSQL WAL for DBAs

Use Case: PostGIS and Agribotics

How to teach an elephant to rock'n'roll

Why we love pgpool-II and why we hate it!

Query Parallelism in PostgreSQL: What's coming next?

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/3008.html Никогда не было и вот снова случилось! Компания Google в результате перенаправления трафика сделала недостпуными в Японии несколько тысяч различных сервисов, большинство из которых никак не связано с самой компанией Google. Однако, подобные инциденты происходят с завидной регулярностью, вот только не всегда попадают в большие СМИ. У таких инцидентов могут быть разные причины, начиная от ошибок сетевых инженеров и заканчивая государственным регулированием. ...

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2925.html Облака и виртуализация – современные тренды развития IT-технологий. Операторы связи строят свои TelcoClouds на стандартах NFV (Network Functions Virtualization) и SDN (Software-Defined Networking). В докладе начнем с основ виртуализации, далее разберемся, для чего используются NFV и SDN, потом полетим к облакам и вернемся на землю для решения практических задач! ...

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/3045.html Как мы заставили Druid работать в Одноклассниках. «Druid is a high-performance, column-oriented, distributed data store» http://druid.io. Мы расскажем о том, как, внедрив Druid, мы справились с ситуацией, когда MSSQL-based система статистики на 50 терабайт стала: - медленной: средняя скорость ответа была в разы меньше требуемой (и увеличилась в 20 раз); - нестабильной: в час пик статистика отставала до получаса (теперь ничего не отстает); - дорогой: изменилась политика лицензирования Microsoft, расходы на лицензии могли составить миллионы долларов. ...

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2905.html Прошло более года с того момента, как Microsoft выпустила первую версию своего нового фреймворка для разработки web-приложений ASP.NET Core, и с каждым днем он находит все больше поклонников. ASP.NET Core базируется на платформе .NET Core, кроссплатформенной версии платформы .NET c открытым исходным кодом. Теперь у С#-разработчиков появилась возможность использовать Mac в качестве среды разработки, и запускать приложения на Linux или внутри Docker-контейнеров. ...

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2913.html Изначально будут раскрыты базовые причины, которые заставили появиться такой части механизма СУБД, как кэш результатов, и почему в ряде СУБД он есть или отсутствует. Будут рассмотрены различные варианты кэширования результатов как sql-запросов, так и результатов хранимой в БД бизнес-логики. Произведено сравнение способов кэширования (программируемые вручную кэши, стандартный функционал) и даны рекомендации, когда и в каких случаях данные способы оптимальны, а порой опасны. ...

100500 способов кэширования в Oracle Database или как достичь максимальной ск...

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2947.html Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных. ...

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3005.html Когда мы говорим о нагруженных системах и базах данных с большим числом параллельных коннектов, особый интерес представляет практика эксплуатации и сопровождения таких проектов. В том числе инструменты и механизмы СУБД, которые могут быть использованы DBA и DevOps-инженерами для решения задач мониторинга жизнедеятельности базы данных и ранней диагностики возможных проблем. ...

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...