Présentation effectuée à Open Source Expérience 2022 par Christophe Villeneuve et Sébastien de MariaDB sur "MariaDB : une base de données NewSQL". Cette présentation a pour but de montrer que la base de données Mariadb propose des nouvelles fonctionnalités et avancés importantes pour devenir un coeur

1. Une base de
données NewSQL
Open Source Expérience – le 9 novembre 2022
Christophe Villeneuve & Sébastien

2. ●
Séb
– Ingénieur solutions
●
Christophe Villeneuve

3. Aujourd’hui
●
SQL + NoSQL = NewSQL
●
Que fait-on avec MariaDB ?
●
Le futur du présent

4. ●
SQL + NoSQL = NewSQL
●
Que fait-on avec MariaDB ?
●
Le futur du présent

5. SQL
●
SQL = Base de données relationnelles
●
Appelé SGBDR (système de gestion de base de données relationnelle)
●
Basé sur un modèle relationnel :
– S’appuie sur la théorie des ensembles et des relations pour décrire les données dans la base de données
●
Norme SQL décrivant le langage d'interrogation et le comportement des bases de données relationnelles.
●
Chaque base de données (avec ces différences) :
– Langage
– Comportement
– Méthode d'accès aux données.
●
Schéma fixe :
– Chaque ligne a les mêmes colonnes définies à l'aide des mêmes types de données que toutes les autres lignes de la table.
– Chaque ligne de la table possède une clé qui l'identifie de manière unique.
●
Les systèmes de bases de données SQL sont caractérisés par leur support ACID
– ACID (atomicité, cohérence, isolation et durabilité) pour les transactions
– Cohérence des données est strictement maintenue lorsque plusieurs processus accèdent et modifient les mêmes données.

6. NoSQL
●
NoSQL = Base de données non relationnelle
●
Pas de règles strictes
●
Populaire au début du 21e siècle
●
Englobe
– Structure de données différents
– Concepts, approches, des langages de requête, etc.
– Solution à un problème précis
– Selon l'application,
●
Prévoir des développements spécifiques du côté de l'application
●
Devient coûteux ou pratiquement impossible à maintenir à partir d'un certain point.
●
Évolution horizontale
– Ajoutez des machines supplémentaires et répartissez la charge entre elles.

7. NewSQL (1/2)
●
Catégorie de systèmes de gestion de bases de données relationnelles
●
Visent à fournir
– Les garanties ACID des bases de données relationnelles
– Evolution horizontale des bases de données NoSQL.
●
Plusieurs catégories :
– Des systèmes entièrement nouveaux, souvent construits à partir de zéro
– Déploiement distribué
– Techniques similaires à celles utilisées par les bases de données NoSQL.
●
Moteurs de stockage (storage engine) SQL optimisés pour l'évolutivité horizontale
●
Complémentaire aux moteurs de stockage par défaut des bases de données relationnelles
●
Positionnement
– Couche Middleware
●
Possible d’offrir de garanties ACID

8. NewSQL (2/2)
●
Existe depuis 2011 (Document 451 Research)
●
Caractéristiques
– Prévu comme un système de base de données relationnel et SQL avec une architecture distribuée et tolérante aux
pannes.
– Possible de mixer
●
La capacité de stockage en mémoire
●
Les services de bases de données en cluster avec la possibilité d'être déployés dans le cloud.
●
Intérêt
– Traiter de grandes quantités de données (big data) tout en maintenant la cohérence transactionnelle
●
Approche :
– Grande évolutivité avec une cohérence ACID
– Consiste à répartir les données de manière transparente entre plusieurs nœuds à l'aide d'un algorithme de consensus.
– Déploient des moteurs SQL améliorés pour le stockage et l'optimisation des données.

9. Pour faire simple

10. Synthèse
Feature SQL NoSQL NewSQL
Propriété
Relationnelle
Oui
Modélisation relationnelle
Non
Modèle différent
Oui
ACID Oui,
les propriétés ACID sont
fondamentales pour leur
application
Non
prévoit plutôt un soutien CAP
Oui,
les propriétés ACID sont prises
en compte
SQL Prise en charge de SQL Pas de support pour l'ancien SQL Oui, un support approprié et
même des fonctionnalités
améliorées pour l'ancien SQL
Traitement
Transactionnel
(OTP)
Inefficace pour les bases de
données OLTP
Il supporte de telles bases de
données, mais ce n'est pas le mieux
adapté.
Prend entièrement en charge les
bases de données OLTP et est
très efficace
Scaling / Extensibilité Mise à l'échelle verticale Mise à l'échelle horizontale
uniquement
Mise à l'échelle verticale +
horizontale
Traitement des
requetes
Peut gérer facilement des
requêtes simples et échoue
lorsqu'elles deviennent complexes
Mieux que SQL pour le traitement des
requêtes complexes
Très efficace dans le traitement
des requêtes complexes et des
requêtes plus petites
Bases de données
distribuées
Non Oui Oui

11. ●
SQL + NoSQL = NewSQL
●
Que fait-on avec MariaDB ?
●
Le futur du présent

12. Histoire de MariaDB
●
L'origine
●
Fondé par
– Michael Monty Widenius
– David Axmark
●
Dates importantes
– 1983 - 1ères idées
– Fondé en 1995
– 2007 Préparation pour
Nasdaq
– 2008 Rachat par Sun
– 2009 Sun racheté par
Oracle

13. Un projet mature
●
Communauté d’amis
●
100 % Open source
●
Plateforme innovation
●
Modèle de gouvernance
– Free Software Foundation
– pour le projet GNU
●
2008 Création de Monty
Program
●
2010 MariaDB 5
●
2012 MariaDB 10
●
2013 Fondation
●
2013 NewSQL (NoSQL + SQL)
●
2015 MaxScale
●
…

14. https://mariadb.com/kb/en/storage-engines/
No SQL
- MongoDB
- Cassandra
- …
DBA
- InnoDB
- MyISAM
- XtraDB
Alias / Migration
- Connect
- SQL_mode
Autre
- Memory
- Merge
- OQGraph
- S3
- TokuDB
- SphinxSE
- …
Front
- MaxScale
- JSON
Big Data
- Colonnes
Dynamiques
- RocksDB
Développeur
- PCRE
- Microseconds
- Colonnes Virtuelles
- Sequence engine
- …

15. Gestion par colonnes
●
Les bases de données à larges colonnes
– Stockent les données dans des tableaux
●
contenant un grand nombre de colonnes
●
Schéma flexible
– Système de stockage en colonnes
– Utile pour le Big Data
– Compatibilité : Data Types Storage
Engines
Version mini
BLOB X 10
ColumnStore X 10.5
RocksDB X 10.3

16. Ex : MariaDB ColumnStore
●
Axée sur la rangée
– Les Lignes stockées séquentiellement dans un fichier
●
Orienté en colonne
– Chaque colonne est stockée dans un fichier séparé

17. Ex : Blob : Colonnes dynamiques
create table newsql(
id int
auto_increment
primary key,
nom varchar(40),
type enum
('animal',
'ordinateur'),
prix int,
nosql blob);
COLUMN_CREATE(
column_nr,
value [as type],
[
column_nr,
value [as type]
],
...)

18. Graph
●
Les bases de données graphiques
– stockent les données sous forme de graphiques
●
pour mettre en évidence les connexions entre les
différents éléments de données
●
Compatibilité
Data Types Storage
Engines
Version mini
OQGRAPH X 10

19. Ex graph
CREATE TABLE oq2_backing (
origid INT UNSIGNED NOT NULL,
destid INT UNSIGNED NOT NULL,
weight DOUBLE NOT NULL,
PRIMARY KEY (origid, destid),
KEY (destid)
);
INSERT INTO oq2_backing(origid, destid, weight)
VALUES (1,2,1), (2,3,1), (3,4,3), (4,5,1), (2,6,10), (5,6,2);
SELECT * FROM oq_graph WHERE latch='breadth_first' AND origid=1 AND destid=6;
+----------+--------+--------+--------+------+--------+
| latch | origid | destid | weight | seq | linkid |
+----------+--------+--------+--------+------+--------+
| dijkstras| 1 | 6 | NULL | 0 | 1 |
| dijkstras| 1 | 6 | 1 | 1 | 2 |
| dijkstras| 1 | 6 | 1 | 2 | 6 |
+----------+--------+--------+--------+------+--------+
CREATE TABLE oq2_graph (
latch VARCHAR(32) NULL,
origid BIGINT UNSIGNED NULL,
destid BIGINT UNSIGNED NULL,
weight DOUBLE NULL,
seq BIGINT UNSIGNED NULL,
linkid BIGINT UNSIGNED NULL,
KEY (latch, origid, destid) USING HASH,
KEY (latch, destid, origid) USING HASH
)
ENGINE=OQGRAPH
data_table='oq2_backing' origid='origid' destid='destid' weight='weight';

20. JSON
●
Les bases de données clés-valeurs
– stockent des paires de clés uniques et de valeurs
associées.
– https://mariadb.com/kb/en/json-functions/
●
Compatibilité
Data Types Storage
Engines
Version mini
JSON X 10.2
JSON_VALID X 10.4

21. Ex : JSON
create table demo2(
id int auto_increment primary key,
nom varchar(40),
type enum ('animal', 'ordinateur'),
prix int,
attr JSON,
CHECK (JSON_VALID(attr))
);

22. Documents
●
Les bases de données de documents
– stockent les données
●
dans des structures de type document encodées
dans des formats tels que JSON et XML.
– https://mariadb.com/kb/en/json_table/
●
Compatibilité Data Types Storage
Engines
Version mini
JSON X 10.6

23. Ex : Documents
set @json='
[
{"name":"Laptop", "color":"black", "price":"1000"},
{"name":"Jeans", "color":"blue"}
]';
select * from json_table(@json, '$[*]'
columns(
name varchar(10) path '$.name',
color varchar(10) path '$.color',
price decimal(8,2) path '$.price' )
) as jt;
+--------+-------+---------+
| name | color | price |
+--------+-------+---------+
| Laptop | black | 1000.00 |
| Jeans | blue | NULL |
+--------+-------+---------+

24. ●
SQL + NoSQL = NewSQL
●
Que fait-on avec MariaDB ?
●
Le futur du présent

25. SQL Distribué
●
C’est constituée :
– plusieurs instances de base de données interopérables
– Chacune stocke et interroge non pas la totalité
●
Transactions distribuées entre bases de données cloud
●
Répondre à un besoin :
– Besoin de lectures et d'écritures très rapides
– Nécessité de prendre en charge un grand nombre de requêtes simultanées
– Nécessité de supporter un grand nombre d'écritures
– Nécessité de stocker un grand nombre de données
●
Docker https://hub.docker.com/r/mariadb/xpand-single
●
Compatibilité : Data Types Storage
Engines
Version mini
Xpand X entreprise

26. Interopérabilité
●
SQL / NoSQL
●
En alias / Layout
●
Migration en 0 clics
●
Compatibilité
Variables
Modes
Storage
Engines
Version mini
Connect X 10.1
Sql_mode X 10.2
Maxscale

27. Migration en 0 clic

28. Connect
●
ETL : Extract Transform Load
●
Lecture / Ecriture / MAJ
– TXT, DBF, INI, XML
– MS Access, MS Excel, TBL (similaire à MERGE)
– ODBC, MySQL,SQLite, Oracle, DB2, WMI...
●
Locale ou distant
●
Custom possible
●
Accès en parallèle sur multitables

29. NoSQL Document protocol
●
Le module nosqlprotocol permet d'utiliser un serveur ou un cluster
MariaDB
– comme backend d'une application utilisant une bibliothèque client MongoDB®.
●
En interne, tous les documents sont stockés
dans une table contenant deux colonnes :
– une colonne id pour l'identifiant de l'objet
– une colonne doc pour le document lui-même.
MariaDB
MaxScale
App
id doc

30. Nous retrouver
●
Slack https://r.mariadb.com/join-community-slack
●
Twitter https://twitter.com/lemug_fr
●
Linkedin https://www.linkedin.com/groups/1627237/
●
Développeurs : https://mariadb.com/developers/
●
Github : https://github.com/mariadb-corporation
●
https://mariadb.com
●
https://mariadb.org

31. Merci