Este documento describe los cambios realizados en la arquitectura de conmutación de CATNIX. Se actualizaron los conmutadores debido al final de vida de los equipos anteriores y para ampliar la capacidad con puertos de 10 y 100 Gbps. La nueva arquitectura utiliza conmutadores Arista que consolidan routing y switching, y adoptan una arquitectura EVPN/VXLAN que distribuye la carga de manera uniforme entre nodos y permite escalabilidad. La migración se realizó en fases sin afectar a la latencia de la red
1. Cambio de arquitectura en CATNIX
Maria Isabel Gandía Carriedo
CSUC/CATNIX
27º Foro ESNOG
Matadero Medialab, Madrid, 16-11-2021
2. ¿Por qué cambiar de conmutadores?
Peering:
• Estaban llegando al final de su vida útil (EoL 22-06-2022).
• Ampliar número de puertos 100 Gbps y 10 Gbps.
• Renovar la tecnología de los puertos 100 Gbps.
Servicios:
• Escalabilidad: puertos, capacidades, capacidad de conmutación.
• Consolidar routing y switching en un solo equipo.
Preparar el entorno para su crecimiento y el uso de nuevas tecnologías.
2x10 Gbps
3x10 Gbps 10 Gbps
Arista
7280SE
Arista
7280SE
2x10 Gbps
Arista
7280SE
Cisco
C3650-48TQ
Cisco
ASR1001-X
bitNAP
Campus Nord Equinix
3. Para todos los equipos:
• Arquitectura VOQ, deep buffers.
• Sin sobresubscripción.
Peering:
• Modelo asimétrico: un chasis 7504R (placas a 10 y 100 Gbps) y dos 7280SR.
Servicios:
• 7020SR consolida servicios L2/L3.
Arquitectura con EVPN/VXLAN.
Nuevos equipos: Arista con Open3S
4x10 Gbps 100 Gbps
2x100 Gbps
Arista
7280SR
Arista
7280SR
Arista
7504R
Arista
7020SR
bitNAP
Campus Nord Equinix
4. Evolución de la plataforma de peering
2016-2021 2021-2026
Modelo Arista 7280SE Arista 7504R
Arista 7280SR
Capacidad de
conmutación
1.44 Tbps 38 Tbps
2,16 Tbps
Sobresubscripción No No
Deep Buffers Sí Sí (12 GB / 4 GB)
Puertos 10 Gbps 72 576
72
Puertos 100 Gbps 2 144
6
7. Solución más robusta y escalable:
• Sin riesgo de bucles involuntarios al desaparecer spanning-tree entre nodos.
• VxLAN permite multiplicar la capacidad de creación de VLANs.
• Permite aumentar el número de nodos y los enlaces entre ellos de forma
transparente.
Distribución uniforme de la carga entre nodos:
• ECMP permite distribuir la carga uniformemente.
• BFD permite redistribuir la carga en milisegundos.
Arquitectura probada en otros IX.
Gestión sencilla, basada en standards.
No ha afectado a la latencia.
¿Por qué pasamos a EVPN/VXLAN con ECMP y BFD?
4x10 Gbps 100 Gbps
Arista
7280SR
Arista
7280SR
Arista
7504R
bitNAP
Campus Nord Equinix
ECMP
BFD
ECMP
BFD
8. Otras funcionalidades
Debajo hay un linux (bash):
• Útil para hacer troubleshooting.
• En conexión directa con el CLI (por ejemplo: /usr/bin/Cli -c “show interfaces
description | include CATNIX“).
• Útil para guardar y ejecutar scripts.
Se pueden crear alias para la ejecución de scripts o comandos.
Se pueden ejecutar scripts o comandos basados en algún evento.
https://www.arista.com/en/um-eos/eos-command-line-interface-cli
Los equipos guardan automáticamente un show tech cada hora
(https://eos.arista.com/how-to-store-and-view-previous-contents-of-
show-tech-support/).
Una arquitectura bastante común en los IXPs es la de tener una red ethernet de nivel 2 “plana”. Un solo dominio de broadcast.
Los puertos pueden funcionar a su velocidad nominal.
Fuentes y ventiladores redundantes que se pueden cambiar en caliente.
Bajo consumo eléctrico.
Campus Nord 45, some for services
Equinix 48 and we need more
bitNAP 11
Probamos los enlaces entre conmutadores a nivel local, probamos la configuración de EVPN, VXLAN, ECMP y BFD y pudimos hacer pruebas de redundancia.
Se hicieron pruebas de failover con fuego real el día 19.
Customer traffic is switched locally on the node but routed when flowing between different nodes
Equipos de peering con enlaces de nivel 3 entre ellos, levantando adyacencias de routing dinámico.
Se elimina spanning-tree entre nodos. Con
Solución Underlay L3. BGP EVPN en el plano de control y VXLAN (overlay) en el plano de datos.
Equipos de peering con enlaces de nivel 3 entre ellos, levantando adyacencias de routing dinámico.
Se elimina spanning-tree entre nodos. Se elimina el riesgo de crear bucles involuntarios entre equipos. Permite extender el dominio de broadcast de nivel 2 sobre IP (UDP).
BGP EVPN permite múltiples encapsulaciones. En nuestro caso VXLAN en el plano de datos entre los nodos. EVPN es una adress-family dentro del BGP.
ECMP permite usar todos los caminos disponibles. La misma prioridad en todos los caminos.
Standards-based Overlay (VXLAN) with standards-based control plane (BGP). BGP es un protocolo robusto escalable, conocido.
Nos permite simplificar las operaciones mediante la automatización y estar preparados para nuevos retos.
El objetivo de los puntos neutros es conectar de redes de forma limpia y eficiente.