2014.4.30 프라이머 개발자 모임 서버 장애 예방 및 대응 방법 공유

1. 서버 장애 예방 및 대응 방법 공유
!
2014.4.30 프라이머 개발자 모임
!
애드투페이퍼
이경찬
!
http://add2paper.github.io/
http://leekchan.com

2. 1) 애드투페이퍼 서비스 간단 소개
!
!

3. 애드투페이퍼는?
!
전국 73개 대학교
985대 제휴 PC
대학생 회원 30만명
누적 무료프린팅 2000만장

4. 애드투페이퍼는?
!
전국 73개 대학교
985개 제휴 PC
대학생 회원 30만명
누적 무료프린팅 2000만장

5. 2013년 1월 모바일앱 출시
!
매일 아침 8:30분 전체 회원에게 2장 충전 알림 푸시 발송
2014년 4월 29일 기준 23,094,992 장 충전 발생

6. Stack Overview…
!
1. 로드밸런서
2. 어플리케이션 서버 3대
(4vCore 4GB | Ubuntu 11.04 | Gunicorn, Django, Supervisor)
3. DB 2대
(4vCore 4GB | CentOS 5.4 | MySQL Master-Slave Replication 구성)
4. 캐시 + 워커 서버 1대
(4vCore 8GB | Ubuntu 11.04 | Memcached, Celery, Redis, Supervisor)
!
!
“매일 아침 8:30에 전체 회원 대상 푸시를 발송하기 때문에 해당 시간에
동시에 다수의 사용자가 접속 —> AP 3대 사용”

7. AP
LB
AP AP
MySQL - Master MySQL - Slave
Cache + Worker

8. 2) 모니터링 방법 소개
!
!

9. !
서버 상태 모니터링 - Newrelic
!
- 서비스 초반에는 Datadog를 사용했지만, 현재는 Newrelic으로 지속적으로 교체중.
!
!

10. !
어플리케이션 모니터링 - Newrelic
!
- 웹서비스 응답 속도 모니터링 및 Transaction 단위 퍼포먼스 측정 가능
!
!

11. Newrelic 서비스 사용 시연
!
!

12. !
Celery, Cron 등 Log 모니터링 및 자동 Alert - Logentries
!
- Celery, Cron 등에서 생상되는 Log를 실시간으로 Archiving 하다가 특정 패턴의 문자열
이 발견되면 이메일로 Alert을 준다.
- Celery, Cron 이상시 즉시 원인 분석 및 대응 가능.
!
!

13. Logentries 서비스 사용 시연
!
!

14. !
웹서비스 상태 모니터링 및 자동 Alert - Pingdom
!
- 지정한 IP, Domain, DNS Record 등을 실시간으로 모니터링 해준다.
- IP, Domain, DNS 를 모두 모니터링 하면 장애 상황에서 즉시 원인 파악이 가능하다.
!
!

15. Pingdom 서비스 사용 시연
!
!

16. 3) 장애 유형 및 대응 방법 공유
!
!

17. !
상황 1. MySQL Master 장애
!
- 예방법이 있을까?
- 예방이 안된 상태에서 장애가 났다면
어떻게 대응하는게 좋을까?
!
AP
LB
AP AP
MySQL - Master MySQL - Slave
Cache + Worker

18. !
예방법 - MySQL Master 이중화
!
# 예시 : Galera Cluster for Mysql
!
!
!
!
!
!
!
!
!
- 모든 MySQL Node에 write - read 가능.
- MySQL node들 앞단에 LB를 놓으면 어플리케이션에서는 LB만 바라보면 된다.
!

19. !
MySQL Master 이중화를 하지 못했는데, 장애가 난다면…
!
“MySQL Slave를 Master로 승격시키고 Slave를 새로 붙이는 것이 가장 쉽고 빠르다.”
!
# 절차
1. MySQL Slave 서버 접속 후 STOP SLAVE; 쿼리 실행 후 Master로 사용.
(바로 서비스 재개 가능)
2. 서비스 중에 MySQL Slave를 Online으로 붙일 수 있다. (Percona XtraBackup 사용)
http://www.percona.com/doc/percona-xtrabackup/2.1/howtos/
setting_up_replication.html
!
!
!

20. !
상황 2. 갑자기 외부 서비스 연동이 제대로 동작하지 않는다.
(Facebook API, 문자 서비스 API 등)
!
- 해당 서비스에 장애가 생긴 것일까?
-> 해당 서비스 장애가 빈번하다면 백업 API를 사용하여 대비한다. (문자 발송 API 등)
-> 애드투페이퍼 서비스에서는 문자 발송 업체를 2곳 사용중이다. 첫번째 발송 업체의 API
를 먼저 호출하고 (Timeout 1초), Timeout이 나거나 실패 응답이 왔을시에는 백업 발송
업체의 API를 호출. -> 기존에는 회원가입 인증 문자 관련 전화 CS가 종종 있었지만 이중
화후 발생하지 않음.
!
- 해당 서비스에 이상이 없는데 갑자기 코드가 동작하지 않는다면?
-> DNS 서버를 체크하자!
-> DNS 서버를 따로 지정해놓지 않은 경우 갑자기 Host를 찾지 못하는 경우가 생긴다.

21. !
상황 3. 갑자기 MySQL 서버가 응답하지 않는다.
!
- 로그 서버 등 대량의 데이터를 저장하는 서버에서 binlog 저장 주기가 길 경우 하드디스크가
binlog로 꽉 차서 MySQL이 정상동작 하지 않는 상황이 생길 수 있다.
- Newrelic 등 모니터링 서비스를 이용하여 상시 모니터링 하고 자동으로 Alert을 받을 수
있도록 설정하는 것이 좋다.
- 모니터링 서비스가 없는 상태에서 장애가 발생한 서버에 접속했을 때는 “df -h” 명령을 먼저
사용하여 디스크 용량 상태를 먼저 확인하는 것이 유용하다.

22. !
상황 4. 서비스가 갑자기 접속이 되지 않는다.
!
- 앞서 공유한 pingdom 등의 웹서비스 모니터링 서비스를 이용하여 모니터링 할 경우,
웹서버, DNS 서버 등 여러 장애 포인트 중 어떤 부분이 문제인지 빠르게 확인할 수 있다.
!
- 국내 유명 DNS 서비스들도 가끔 DDoS 로 인해 응답 불능 상태에 빠지는 경우가 있다.
-> 되도록이면 AWS Route 53 등 안정적인 DNS 서비스를 사용하는 것을 권장.
!
- 국내 DNS 서비스의 경우에는 DDoS 방어 등을 목적으로 해외 트래픽을 차단하는 경우가
있어 해외 대상 서비스를 하는 경우 국내 DNS를 사용하면 해외에서 접속이 되지 않는 경우
가 생길 수 있다.

23. !
상황 5. MySQL Slave 서버의 Replication이 멈췄을때.
!
# 절차
1. Slave 서버에서 “SHOW SLAVE STATUS;” 쿼리를 실행하여 Last_Error를 확인한다.

24. !
2-1. 만약 무시해도 되는 오류라면 “STOP SLAVE;” 쿼리 실행 후 “SET GLOBAL
SQL_SLAVE_SKIP_COUNTER = 1;” 쿼리를 통해 skip할 쿼리 개수를 지정후
“START SLAVE;” 쿼리를 통해 replication을 재시작 한다.
!
2-2. 무시할 수 없는 오류라면 앞서 언급한 XtraBackup을 통해 Slave를 다시 생성한다.
!
!

25. !
상황 6. 반드시 데이터 분석용 쿼리는 Slave 서버에만 보내도록 한다.
!
- 실수로 작성한 쿼리가 Master에서 실행될 경우 심각한 장애를 초래할 수 있다.
!
- 직접 MySQL 접속 권한을 주는 대신 “내부 관리자용 웹 어플리케이션”에서 쿼리를 실행
하도록 하면 코드 상에서 사전 검증이 가능하다.
- 모든 쿼리는 Transaction 상에서 동작하도록 하고, 실행 완료 후 반드시 Rollback 한다.
- 쿼리 안에 DDL이 포함되어 있으면 실행을 거부한다.
- 유저 정보 table 등 개인 정보 유출 우려가 있는 table명이 쿼리 상에 포함되어 있으면
실행을 거부한다.
- 반드시 Timeout을 지정하여 실수로 실행한 쿼리가 무한정 실행되는 것을 방지한다.
!

26. 감사합니다.
!
!