Kubernetes and CNCF Meetup Quebec City, 09 Fevrier 2023

2. Traffic variable
- Black friday, Cyber-monday
- Clients load-tests
- Événements (ex: ré-indexation)
- Variations régulières

3. L’autoscaling, ça a l’air compliqué
- Ya trop de magie
- Peu fiable
- Dangereux pour le porte-monnaie

4. Vertical vs Horizontal scaling

5. Cluster Autoscaler
- Worker groups and ASGs
- Memory, Compute, GPU
- Multi-AZ or dedicated
- “Vertical autoscaling” using priority
expanders
- Bin-packing => scaledown

6. Over-provisioning
Une node prends ~5 à 10 minutes à démarrer
Réserve des instances EC2 avant d’en avoir besoin

7. Karpenter (AWS)
+
Configuration assez facile
Aucun AutoScalingGroups
Boot rapide: 2 minutes
-
A tendance à créer les plus petites instances
Consolidation encore jeune
Pas aussi mature que notre configuration de worker-groups

8. Horizontal Pod Autoscaler
- Permissions on replica count of Deployments
- Scale on various metrics
- Comon: cpu, memory of the pods themselves
- External: (prom-adapter)
- Number of elements in a queue
- Query latency
- Performance of another component
- Proportional Autoscaler
- Essentially an HPA on node count

9. Trouver la bonne taille

10. Resources management
- CPU
- Compressible
- Throttling

11. Resources management
- Memory
- Requests = Limits
- QoS tiers
- OS OOM-Killer
- CGroup v2 (alpha in 1.22)
- Ram reclaim

13. Vertical Pod Autoscaler

14. What’s next?

15. Thank you!
15
15

16. 1
6
Samuel Bégin
sbegin@coveo.com