En Shopify tenemos frecuentemente ráfagas masivas (2-5x) de tráfico que presionan nuestra infraestructura incluyendo nuestros clusters de Kafka. Hemos logrado hacer nuestros clusters más resilientes a estas oleadas regionales de tráfico redirigiendo porciones de tráfico a clusters más desocupados durante incidentes. En esta charla voy mostrarles nuestra infraestructura de Kafka que corre en Kubernetes sobre la plataforma de Google Cloud. Después voy a explicar nuestra solución para hacer failovers usando DNS y librerías de clientes personalizadas. Finalmente vamos a revisar escenarios reales donde este sistema nos salvó de cortes mayores.

1. Manejando el tráfico de Kafka
Vanessa Vuibert Valdez
Senior Production Engineer

2. Infraestructura de Kafka en Shopify

5. Traffic Manager para Kafka

6. Casos de manejo de trafico
● Failovers
● Compartir trafico entre clusters
● Hacer cambios progresivamente
● Tráfico regional 😔

9. Capas de prioridad: fallo de zonas
1: E1 E2 E3 (0%) C1 C2 C3(33%)
2: C1 C2
3: E1 E2 E3
4: C3
● K8S cluster: E=este C=central

10. Client wrappers: DNS check
● Resolución de DNS periódica
● Trafico compartido: no hay flip flop
● Error de conexión: reconexión inmediata

12. 🔥 Incidentes 🔥

13. 😣 Sawmill: Certificate Authority

14. 🎉 Jeffree Star & Shane Dawson 💄

15. 🎉 Jeffree Star & Shane Dawson 💄

16. 🎉 Jeffree Star & Shane Dawson 💄

17. 💩 Google outage

18. Gracias!
vvuibert
vvuibert
V3_XD