F5 솔루션(LTM/GTM) 등을 활용한 Active Active Data Center 구성 방안과 각 장애 상황별 극복 시나리오

1. F5 다이나믹 데이터센터
신은수 차장
솔루션 컨설턴트
e.shin@f5.com

2. © F5 Networks, Inc 2
F5 를 통한 네트워크 인프라 설계 사상
Active-Active – 각 데이터센터는 Active-Active로 구성되어야하며 각 데이터센터에서 발생할 수 있는 장애 상황에 대하여 가장 효율적인
방법으로 대처할 수 있어야 한다.
네트워크 구조 간소화 – 각 데이터센터에 설치되는 네트워크/보안 장비의 구성은 최대한 간소화 되어야하며 불필요한 트래픽 처리 부하를
제거하여야 한다.
보안성 강화 – 각 데이터센터는 과거 및 현재에 발생되고 있고 향후에 예상되는 다양한 공격 및 위협에 대하여 능동적으로 대응할 수 있어야 한다.
가시성 강화 – 각 데이터센터의 구성요소는 중앙에서 손쉽게 모니터링 및 제어 가능하여야 하며 각 장비의 상태에 대한 긴급 작업 시
연관 서비스에 대한 영향을 최소화 하여야 한다.
확장성 강화 – 각 데이터센터의 구성요소는 서비스별로 확장이 필요할 경우 최대한 빠르고 편리하게 확장할 수 있는 방안을 제공하여야 하며
필요시 확장된 서비스에 대한 축소도 자유로워야 한다.
효율성 강화 – 각 데이터센터의 구성 요소는 각 장비의 용도와 용량에 맞게 구성되어야하며 트래픽 대비 해당 장비의 처리량을 극대화하여
장비별 효율성을 최대화하여야 한다.

3. © F5 Networks, Inc 3
데이터센터 기본 인프라 구성
1차 서비스존
캐시 서버 DNS보안
GSLB
트래픽 분석
2차 서비스존
IPS
어플리케이션
DDoS
DDoS 차단
Anti 파밍 웹보안
Network 공격
어플리케이션 공격
MPS
IPS
방화벽
방화벽
방화벽
방화벽
L3
L3
SLB L7
SLB L7
보안 L7
보안 L7

4. © F5 Networks, Inc 4
데이터센터 기본 인프라 구성 – 관리 네트워크
IPS
Network 공격
어플리케이션 공격
IPS
Network 공격
어플리케이션 공격
매지니먼트 네트워크
IPS
방화벽
방화벽
L3
L3
SLB L7
SLB L7
보안 L7
보안 L7
IPS
IPS
방화벽
방화벽
L3
L3
SLB L7
SLB L7
보안 L7
보안 L7

5. © F5 Networks, Inc 5
데이터센터 기본 인프라 구성 – 1차 서비스존
캐시 서버 DNS보안
GSLB
트래픽 분석
DDoS 차단
Network 공격
어플리케이션 공격
DDoS 차단
캐시 서버
DNS보안
GSLB
트래픽 분석
일반 트래픽
캐시 가능 웹 트래픽
DNS 트래픽
미러링 트래픽
§ 네트워크 DDoS 트래픽 차단이 주 목적
§ F5장비에서 모든 트래픽을 DDoS로
우회시켜 공격 트래픽을 1차 필터링
§ 장애 시 혹은 평시 데이터 이용 패턴 분석
§ F5장비에서 미러링 기능 혹은 Clone
기능을 활용하여 모든 트래픽을 트래픽
분석 시스템으로 복사
§ 웹서비스의 체감 속도 개선
§ F5장비에서 HTTP 컨텐츠 분석 후 캐시
가능한 컨텐츠(이미지, 문서파일)만
캐시서버로 전달
§ DNS 서비스 및 GSLB
§ F5장비에서 TCP/UDP DNS 트래픽만
DNS 서비스로 전달
1차 서비스존

6. © F5 Networks, Inc 6
데이터센터 기본 인프라 구성 – 2차 서비스존
일반 트래픽
웹 트래픽
JS 인젝션
복호화 트래픽
§ 내부로 유입되는 악성코드 탐지 및 APT 차단
§ F5장비에서 모든 트래픽을 MPS 장비로 복사하여
전달. HTTPS 트래픽의 경우 복호화된 트래픽만
복사하여 전달
§ 어플리케이션 레벨에서 발생되는 DDoS 공격 차단
§ F5장비에서 2차 서비스존으로 유입되는 모든
트래픽을 어플리케이션 DDoS 장비로 전달
§ 웹사이트 위변조 및 파밍, 이상거래 탐지
§ F5장비에서 웹사이트 위변조, 파밍, 이상
거래, ActiveX 우회 등의 이상 징후를
탐지하기 위한 자바 스크립트를 삽입
§ 웹어플리케이션에 대한 해킹 공격 차단
§ F5장비에서 웹 트래픽만 웹방화벽으로 전달
IPS
IPS
방화벽
방화벽
보안 L7
보안 L7
어플리케이션
DDoS
Anti 파밍 웹방화벽
MPS
MPS
어플리케이션
DDoS
Anti 파밍
웹방화벽
2차 서비스존

7. © F5 Networks, Inc 7
데이터센터 기본 인프라 구성 – 어플리케이션
어플리케이션
§ VMware vCenter 오케스트레이션
§ 서비스에 대한 가용성 확인 후 추가 리소스 필요시 F5 –
VMware 간의 자동 연동을 통하여 VM Guest 추가 및
자동 SLB 할당
§ 서비스에 대한 가용성 확인 후 가용 자원이 남는 경우 F5
– VMware 간의 자동 연동을 통하여 VM Guest
Shutdown 및 자동 SLB 제거
IPS
IPS
L3
L3
SLB L7
SLB L7
vSphere

8. © F5 Networks, Inc 8
Active-Active Dynamic 데이터센터
데이터센터 #2
사용자
데이터센터 #1
사용자
Application
Web Service
Database
Application
Web Service
Database
L2 Extension
RAC Interconnect
VPLEX Interconnect
WAN 최적화
WAN 우회경로 보장
A S
A
A
A
A A
A
S
S
S
A S
A
A
A
A A
A
S
S
S

9. 최적의 데이터센터 선택

10. © F5 Networks, Inc 10
Active-Active Dynamic 데이터센터
글로벌 서버 부하분산 및 DNS 보호
1 § DNS 서비스를 제공하는
GTM을 통해 각 데이터 센터에
위치한 GSLB 장비의 상태
모니터링하고 사용자의 DNS
요청에 대하여 최적의
데이터센터를 선택하기 위해 각
데이터센터와 사용자 간의
메트릭을 수집 후 공유.
§ 어플리케이션 서비스를
이용하는 사용자를 위한 최적의
데이터센터를 선택하여 서비스
체험 속도를 개선.
2
3
사용자에게 최적의 데이터 센터 선택
- 토폴로지 기반 부하 분산
- 데이터센터간 정보 공유
- 어플리케이션 부하 상태 기반
- 부하 분산
안정적인 DNS 서비스 제공
- 대용량 DNS 처리 성능
- DNS 방화벽 기능 제공
- (DNSSEC지원)
- IPv6 완벽 지원
사용자에게 최적의 데이터 센터 선택
- 토폴로지 기반 부하 분산
- 데이터센터가 정보 공유
- 어플리케이션 부하 상태 모니터링
DNS
Authoritative DNS
Caching Resolver
Transparent Caching
DNS Firewall
DNS DDoS Protection
Protocol Validation
High Performance DNSSEC
DNSSEC Validation
Intelligent GSLB
데이터센터 #2
데이터센터 #1
App 서버.
DNS DNS
Internet
BIG-IP BIG-IP
Data
Center
Data
Center
BIG-IP BIG-IP
App 서버.
최적의 데이터센터 선택
장비간 서비스상태 공유
DNS
DNSSEC
DNS
DNSSEC

11. Hybrid 데이터센터
사용자를 최적의 클라우드나 데이터센터로 유도
• 어플리케이션의 상태를 끊임없이 모니터링
• 비지니스 로직을 기반으로 가용한 어플리케이션쪽으로 트래픽 유도
• IP 기반 위치 인식 및 IP 차단
데이터센터
LDNS
DMZ
클라우드 환경
클라우드DMZ
BIG-IP BIG-IP
Cloud
Hosted
Apps
BIG-IP
Global Traffic Manager
BIG-IP
Local Traffic Manager
Internet

12. © F5 Networks, Inc 12
서버
1
서버
2
서버
3
LTM Cluster
GTM
서버
1
서버
2
서버
3
LTM Cluster
GTM
iQuery
Health Check (HTTP GET)
iQuery
Health Check (HTTP GET)
iQuery
A
B
C
1. 각 L7스위치는 안정적인 서비스 제공을
위하여 서비스 상태를 모니터링
- Response Time
- Concurrent Connection
- HTTP Response Code
2. GSLB장비에서는 각 데이터센터의
서비스 상태를 체크하기 위하여
L7스위치에 질의
3. 각 GSLB 장비는 수집된 데이터센터
상태 정보를 서로 공유
A
B
C
지능적인 상태체크 및 장애극복
각데이터센터에는 GSLB 솔루션과 L7스위치로
서비스를 구성
1 x GTM /사이트
2 x LTM (Active-Standby Cluster) / 사이트
GTM 장비는 GSLB 기능을 위하여 서비스
도메인에 대한 DNS 응답을 담당하게 되며 LTM
은 L7 스위치로서 어플리케이션의 상태 체크 및
데이터센터내의 트래픽 부하분산을 담당
데이터센터 #2
데이터센터 #1

13. © F5 Networks, Inc 13
서버
1
서버
2
서버
3
LTM Cluster
GTM
서버
1
서버
2
서버
3
LTM Cluster
GTM
LAN/WAN
A
B
사용자가 app.domain.com. 에 대한
DNS 질의를 하면 A 레코드 대신
CNAME 으로 app.gtm.domain.com
으로 접속을 유도
gtm.domain.com i은 GMT 에서
서비스를 제공하고 있는 도메인 이며
LDNS 는 GTM 에서 app.gtm.domain.com
에 대한 응답을 받게 됨.
GTM 은 LDNS 와 각 데이터센터에서
서비스 중인 IP 간의 관계에서 최적의 IP
를 선택하여 DNS 응답을 전송
LTM 에서는 유입된 트래픽에 대한
유효성 여부를 검사한 후 정상적인
요청에 대해서만 웹서버로 부하 부산 수행
A
B
어플리케이션 접속 플로우
app.domain.com CNAME app.gtm.domain.com
10.10.10.10
10.10.10.222
1.1.1.1 1.1.1.2 1.1.1.3
20.20.20.20
20.20.20.222
2.2.2.1 2.2.2.2 2.2.2.3
app.gtm.domain.com A 10.10.10.10
http://app.domain.com/ -> 10.10.10.10.
C
D
E
LDNS
(202.123.123.123)
C
D
E
C
Query A app.domain.com
Query A app.gtm.domain.com
app.gtm.domain.com A 10.10.10.10.
데이터센터 #2
데이터센터 #1

14. © F5 Networks, Inc 14
서버
1
서버
2
서버
3
LTM Cluster
GTM
데이터센터 #2
서버
1
서버
2
서버
3
LTM Cluster
GTM
데이터센터 #1
LAN/WAN
특정 데이터센터의 모든 서버가 이용
불가능한 경우 LTM 에서 서비스의 상태를
Unavailable 이나 Offline 의 상태로 변경.
GTM 에서 데이터센터의 서비스가 가용하지
않음을 인식하고 서비스 상태를 Offlilne
으로 변경
이 정보는 각 데이터센터의 GTM 간에
자동적으로 공유
사용자가 app.domain.com에 대하여 DNS
Query 를 전달하면 데이터 센터 2의 IP를
응답
이후 모든 요청은 데이터센터 #2로 유입되며
사용자에게는 모든 동작 절차가
장애 극복 시나리오 – 서버 Failure
10.10.10.10
10.10.10.222
1.1.1.1 1.1.1.2 1.1.1.3
20.20.20.20
20.20.20.222
2.2.2.1 2.2.2.2 2.2.2.3
LDNS
(202.123.123.123)
E
D
Query A app.domain.com
Query A app.gtm.domain.com
app.gtm.domain.com A 20.20.20.20.
Health Check Fails
A
A
Detect Service Down
B
Update DC Status
C
B
C
D
app.gtm.domain.com A 20.20.20.20
E

15. © F5 Networks, Inc 15
서버
1
서버
2
서버
3
LTM Cluster
GTM
서버
1
서버
2
서버
3
LTM Cluster
GTM
LAN/WAN
단일 LTM 장애 : 이중화 구성되어 있는
Standby LTM 이 상태를 Active 로 전환하여
서비스를 지속하며 서비스 장애 최소화.
LTM 간의 세션은 항시 미러링되어 공유되고
있으므로 Failover 로 인한 세션 단절은
없으며 세션 단절로 발생될 수 있는 서비스
장애도 최소화
단일 GTM 장애 : 한 대의 GTM에 장애가
발생하면 사용자의 LDNS 는 자동적으로
두번째 GTM으로 DNS Query 를 전달하게
되어 서비스 장애는 없음.
DNS query 의 타임아웃은 기본적으로 약
5초 정도 소요되며 약 50%정도의 사용자는
약간의 지연을 느낄 수 있음.
한번 DNS 응답을 받고난 이후에는 지연
없음
남아있는 GTM 에서 데이터센터 #1의
서비스를 모니터링하여 사용자 트래픽을
데이터센터 #1으로 유도
장애극복 시나리오 – LTM Failure
10.10.10.10
10.10.10.222
1.1.1.1 1.1.1.2 1.1.1.3
20.20.20.20
20.20.20.222
2.2.2.1 2.2.2.2 2.2.2.3
LDNS
(202.123.123.123)
D
C
Query A app.domain.com
Query A app.gtm.domain.com
app.gtm.domain.com A 10.10.10.10.
A
Stateful Failover
B
One LTM Down Zero Impact
A
One GTM Down Automatic Failover
B
Takeover the service
C D
데이터센터 #2
데이터센터 #1

16. © F5 Networks, Inc 16
Active-Active Dynamic 데이터센터
사용자
데이터센터 #1
Application
Web Service
Database
어플리케이션 기반 보안 강화
1 § 데이터센터로 유입되는 트래픽 중 비정상
트래픽이나 공격 트래픽에 대한 모니터링
및 차단 기능을 수행하여 데이터 센터
내부로 유입되는 불필요한 트래픽을 제거.
2
3
네트워크 기반 공격 방어
- 대용량의 볼륨 공격 차단
- FPGA 를 활용한 하드웨어 기반 차단
- 방화벽 및 서비스 망 부하 최소화
SSL 가속 및 SSL 기반 공격 방어
- 고성능 전용 SSL 가속 칩셋 적용
- SSL 레이어에서 발생되는 공격 차단
- 복호화 트래픽을 전달하여 IPS기능 보전
방화벽, DNS 및 캐시 서버 부하분산
- 캐시 서버에 대한 URI 기반 부하분산
- Round Robin 기반 방화벽 부하분산
- DNS 서버 부하 분산
고성능 FPGA 탑재
고성능 SSL 가속 칩셋 탑재
하드웨어 기반 공격 차단
공격
트래픽
DDoS 차단

17. © F5 Networks, Inc 17
Active-Active Dynamic 데이터센터
데이터베이스 최적화 및 L2 확장
1 § 스토리지 복제 및 데이터베이스의
Active-Active 사용환경을 위한
WAN 구간 가속 및 L2 터널링을
지원.
§ 데이터베이스의 요청 구문 타입에
따른 부하 분산 가능
§ Oracle RAC+VPLEX 의 조합
§ Oracle Golden Gate 솔루션 가속
2
3
데이터베이스 상태 체크
- 각 데이터베이스의 정확한 상태체크
- 단순 포트 정보가 아닌 사용자 정보
입력후 DB Query 시도 후 모니터링
데이터베이스 쿼리 타입별 LB
- 데이터베이스로 유입되는 Query 분석
- DB Query Type 별 부하분산 가능
- DB Active-Standby, Active-Active가능
L2 확장 프로토콜 지원
- Active-Active 솔루션 적용을 위한
L2확장 프로토콜 지원
- VXLAN, NVGRE, EtherIP 등 지원
- REST API 를 통한 Orchestration
L2 Extension
RAC Interconnect
VPLEX Interconnect
WAN 최적화
VPLEX
Witness
스토리지 스토리지
데이터
베이스
데이터
베이스
VXLAN
NVGRE
SELECT XXX FROM tbl_a;
INSERT XXX INTO tbl_a;
데이터센터 #1 데이터센터 #2

18. © F5 Networks, Inc 18
Active-Active Dynamic 데이터센터
사용자 사용자
L2 Extension
RAC Interconnect
VPLEX Interconnect
WAN 최적화
WAN 우회경로 보장
각 티어별 우회경로 보장
1 § 각 데이터센터의 특정 티어에서
모든 서버 혹은 어플리케이션에
대하여 장애가 발생한 경우
우회경로를 통하여 서비스 보장
§ 암호화 및 가속 기능, 쿠키 기반
트래픽 분산 등의 기법에 의한
Active-Active 데이터센터에 대한
가용율 최대화
2
3
서비스 체크 및 데이터센터간 링크
- 각 데이터센터간 링크를 통하여 각 티어
에서 장애 발생 시 트래픽 우회 경로 보장
- 필요 시 L2터널링 제공
데이터센터간 트래픽 가속
- WAN 구간 프로토콜 최적화
- 트래픽 De-duplication
- 트래픽 압축
WAN 구간 암호화 및 L2터널링 지원
- IPSec 지원
- SSL 을 통한 암호화 지원
- VXLAN, NVGRE, EtherIP 등 지원
서버 장애 시
트래픽 우회
DB 구문 별
트래픽 우회

19. © F5 Networks, Inc 19
Active-Active Dynamic 데이터센터
데이터센터 #2
사용자
데이터센터 #1
사용자
Application
Web Service
Database
Application
Web Service
Database
L2 Extension
RAC Interconnect
VPLEX Interconnect
WAN 최적화
WAN 우회경로 보장
x x x x x x