Más contenido relacionado
La actualidad más candente (20)
Similar a 美团点评技术沙龙14:美团四层负载均衡 (20)
美团点评技术沙龙14:美团四层负载均衡
- 7. 转发模式对⽐比
模式 优点 缺点
DR(三⾓角传输) 1. 应⽤用直接将应答发给客户端,
性能好
1. 必须在⼀一个⼆二层
2. 应⽤用服务器需要配置VIP
NAT(DNAT) 1. 应⽤用服务器⽆无需做配置 1. 负载均衡必须以⺴⽹网关形式存在
TUNNEL 1. 和DR⼀一样,应⽤用直接将应答发
给客户端,性能好。
1. 对应⽤用服务器要求⾼高,需要⽀支
持tunnel
2. 应⽤用服务器需要配置vip
FULLNAT
(SNAT+DNAT)
1. 应⽤用服务器⽆无需做配置
2. 对⺴⽹网络环境要求⽐比较低
1. 丢失client ip
- 8. 转发模式 - FULLNAT
Client
10.87.5.45
Realserver
10.64.14.4
DNAT+SNAT SNAT+DNAT
SRC:10.87.5.45
DST:103.37.152.22
SRC:10.32.14.4
DST:10.64.14.4
VIP:103.37.152.22
LOCALIP:10.32.14.4
DST:10.32.14.4
SRC:10.64.14.4
DST:10.87.5.45
SRC:103.37.152.22
- 14. 问题所在
1. 中断
3. 锁
4. 上下⽂文切换
2. 过⻓长的协议栈路径
1. PMD驱动
2. kernel bypass
3. ⽆无锁的设计
4. CPU绑定、隔离
- 15. PMD驱动、kernel bypass -> DPDK
KNI VF_IO IGB_UIO
kernel
EAL
MALLOC
MBUF
MEMPOOL
RING
TIMER
Core Lib Platform
IVSHMEM
POWER
KNI
METER
SCHEDULE
QOS
ETHDEV
E1000 IGB
IXGBE I40E
VMXNET3 VIRTIO
XENTVIRT
Packet Access
userspace
Classify
LPM
ACL
User Space Application
- 17. ⽆无锁的设计 - 地址转换的问题
session table
CPU0
[queue 0]
CPU1
[queue 1]
session table
CPU2
[queue 2]
session table
CPU3
[queue 3]
session table
RSS
REQUEST:(cip0, cport0, vip0, vport0)
新建
FULLNAT
RESPONSE:(dip0, dport0, lip0, lport0)
查找
锁
- 18. ⽆无锁的设计 - 地址转换的问题
session table
CPU0
[queue 0]
CPU1
[queue 1]
session table
CPU2
[queue 2]
session table
CPU3
[queue 3]
session table
RSS
REQUEST:(cip0, cport0, vip0, vport0)
新建
FULLNAT
RESPONSE:(dip0, dport0, lip0, lport0)
查找
flow director
RULE: (sip=0, sport=0, dip=lip0, dport=0, queue=0)
- 22. ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
机器下线导致的问题
⼤大量连接失败
- 23. ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
session同步
每台机器都有全量的
session
- 25. 故障恢复与扩容
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
ecmp_normal_hash
mgw0 mgw1 mgw2 mgw3
ip0:port0 ip1:port1 ip2:port2 ip3:port3
控制交换机切回流量
批量session同步同步旧session,同时通过增量同步接收新session