1.
Cloudinfrastack
● Privátní cloud služby, konzultace, devops
● Spravujeme 1200+ serverů v 6 produkčních
Openstack clusterech a 8 Ceph storage s
kapacitou 1.3PB
● 100% Opensource technologie
● Openstack, Ceph, KVM, Xen, Docker,
Kubernetes, Puppet, Ansible, Foreman, Sensu,
Graphite, Grafana, Elk stack.

2.
Openstack
● Opensource IAAS Cloud computing platforma
● Enterprise API k hardware
● Globálně adoptován jako standard
organizacemi všech velikostí

3.
Core služby

4.
Volitelné služby

5.
Newton: Nova Compute
● Get me network – automatické přiřazení sítě
● Mutable config – změna konfigurace nova bez
nutnosti restartu
● Nova-compute-lxd – production ready, výkon ve
specifických aplikacích (bigdata) až o 40%
vyšší než KVM

6.
Newton: Neutron Networking
● Neutron+Kuryr – unifikovaná síť pro kontejnery
a VM
● VLAN in VM – podpora 802.11q pro VNF
● Upgrade bez downtime

7.
Newton: Storage
● Cinder: Delete volumes with snapshots –
kaskádový výmaz disků včetně dependencí
● Cinder: Backup na více instancích
● Cinder: Rolling upgrades – update na Newton
bez downtime
● Glare: úložiště artefaktů
● Swift: enkrypce objektů

8.
Newton: Kontejnery
● Magnum: Swarm, Kubernetes, Mesos
● Magnum: Kuberenetes na Baremetal
● Kuryr: Neutron network v kontejnerech
● Kolla: Kubernetes

9.
Newton: Další projekty
● Ironic: multi tenant síť bez sdílení
● Heat: podpora dns rozlišení
● Ceilometer: Rest API

10.
Ceph: Unifikovaná storage
● Ceph standardem pro deployment openstacku
(2016: Ceph 60%, LVM 30%)
● CephFS multi node MDS ready pro produkci
(výborná integrace v Manila pro sdílené
souborové systémy ala NFS)
● Unifikované řešení pro bloková zařízení,
objektovou storage a síťový filesystém

11.
Ceph: Výkon
● Bluestore: nový formát úložiště dat, až o 60%
rychlejší, 1Q 2017 production ready
● Jewel release: lineární scale up IOPS pro SSD
a NVME deploymenty
● Nejvyšší výkon: Fujitsu demostrovalo 800000
random 4k IOPS na all flash Ceph storage a
patche jdou do open source

12.
Ceph: Zkušenosti v Cloudinfrastack
● Aktuálně 8 produkčních clusterů, 1.3 PB, 49 dedicated
serverů, 406 OSD blokových zařízení
● SSD/NVME využito na bloková zařízení VM, HDD na
síťový filesystém / objektovou storage
● Výkon blokových zařízení dostatečný na 95% aplikací,
maximum na VM > 12000 random 4K IOPS
● Pro vysoce zatížené databáse použita local LVM s
SSD/NVME RAID-10, > 250000 random 4K IOPS
● Průměrně jednou do týdne problém s HW (OSD), vysoká
resilience proti selhání

13.
Ceph: Deployment v Cloudinfrastack:
Filesystem/Object storage
● Dedikovaný baremetal (1 node/2U)
● 2x 10G Ethernet
● 16 VCPU, 64G RAM
● 12x 4TB HDD
● 2x 240G SSD Journal
● 48TB Storage

14.
Ceph: Deployment v Cloudinfrastack:
Block storage
● Dedikovaný baremetal (2 nodes/1U)
● 2X 10G Ethernet
● 32 VCPU, 128G RAM
● 5X 2TB SSD
● 1x NVME Journal
● 10TB Storage

15.
HA, vysoká dostupnost
● Openstack nemá na rozdíl od VMWARE DRS
nativní HA scheduler
● Nova compute HA je nutné zajistit na aplikační
úrovni, případně přes HA řešení typu
Corosync/Keepalived
● Neutron networking podporuje HA DVR, flat
network je však kombinací jistoty a výkonu pro
10G produkční řešení

16.
Orchestrace a automatizace
● Pro konfigurační management Puppet,
orchestrace aplikací Ansible
● Foreman automatizuje deployment jednotlivých
VM či souborů VM, které se automaticky dle
předem zvolené role po vysazení nakonfigurují
● Heat pro složitější deploymenty celých prostředí
● Aplikační deployment řídí CI v Jenkins, klasické
aplikace deploy pomocí Puppet/Ansible,
kontejnery pomocí Docker/Kubernetes

17.
Kontejnery na Openstacku
● Magnum je ready to use řešení, ovšem black
box
● Docker na baremetal není příliš praktický v
hybridních environmentech
● Kompromisem inhouse deployment
Kubernetes/Docker ve VM, který umožňuje fine
tuning, monitoring a kontrolu nad celým
řešením

18.
Openstack na kontejnerech
● Klasický deployment openstack control plane
ve VM zabírá mnoho prostředků (až 16 VCPU a
32G RAM), umožňuje však segmentaci a dobré
HA
● Kontejnerizace v docker šetří prostředky, ale
řízení, scaling up a HA je problematické
● Ideální řešení je Kubernetes, zajišťuje plné
řízení, rolling updates a HA

19.
Deployment Openstacku v
Cloudinfrastack: Nyní
● Base OS Ubuntu 14.04 LTS
● Openstack stable z Ubuntu Cloud archives + patches
● Foreman řídí konfigurace v Puppet
● Openstack instalace a konfigurace pomocí puppet-
openstack modulů
● Kontrolní plane: KVM VM v HA pomocí Corosync

20.
Deployment Openstacku v
Cloudinfrastack: WIP
● Base OS Ubuntu 16.04 LTS
● Openstack z upstream git, CI build Docker
kontejneru v Jenkins
● Foreman řídí konfigurace v Puppet
● Openstack konfigurace pomocí puppet-
openstack modulů a Kubernetes configmaps
● Kontrolní plane: Kubernetes kontejnery ve
VM/Baremetal

21.
Deployment Openstacku v
Cloudinfrastack: Hardware
● Dedikovaný baremetal (2 nodes/1U)
● E5 Xeon v3
● 32 VCPU
● 128G RAM
● 4x 10G Ethernet
● 2x 2TB SSD for local storage

22.
Monitoring
● Alerting: Sensu hlavní monitoring, Flapjack pro
segmentaci alertů, Pagerduty pro callin. Záložní
monitoring Icinga
● Grafy: Collectd pro posílání counterů, Graphite
pro ukládání a agregaci, Grafana pro vizualizaci
● Logy: Rsyslog pro posílání logů, Logstash pro
parsing, Elasticsearch pro ukládání a Kibana
pro vizualizaci a hledání

23.
Praktické zkušenosti s Openstack
● Openstack plně nahradil legacy systémy baremetal
hypervisorů s Xen a KVM
● Baremetal není dead, pro load balancery, výkonné
databáze a media streaming na 10Gbps má místo v
hybridním cloudu
● Oddělené instance openstacku pro vývoj a produkci z
hlediska bezpečnosti a výkonu
● Produkční deploymenty Openstacku konzervativní (flat
network, pinned disk, manuální distribuce VM do AZ a
na jednotlivé hypervisory)

24.
2017: Cloudinfrastack Todo
● Openstack je API k hardware, má smysl I pro 3 baremetal
nodes – deployment kontejnerizovaných microcloudů a
zabití posledních legacy hypervisorů
● Kubernetes se stává API k aplikacím v kontejnerech, je
třeba převést legacy aplikace do plnně kontejnerizovaných
a automaticky škálovatelných deploymentů pro úsporu
času operations
● Bigdata deploymenty na Openstack (Hadoop clustery
zatím na baremetal)

25.
Questions ?
● Zdenek Janda
● Twitter: @ZdenekJanda @cloudevelops
● Email: zdenek.janda@cloudevelops.com