Ndc17 DevOps? DevOps개발자? 북미에서의 6년

Nexon America
김태현
DevOps? DevOps개발자? –
북미에서의 6년

1부DevOps란무엇인가?
2부DevOps엔지니어가
되는길
3부좋은DevOps를위한길
발표자 소개
김태현 (taekwonv@gmail.com)
•1998년에 머신비전 프로그래머로 회사 생활 시작.
•벤처, 네이버, SK컴즈 거치며 어플개발.
•2009년에 게임서버개발에 뛰어든 후 2010년에 미국행.
•현재 넥슨아메리카 DevOps & Tech 팀을 맡고 있음.

되는길
이 발표는..
• 게임 운영사 입장에서의 DevOps 에 대한 내용입니다.
• DevOps 가 무엇인지 이해하는데 중점을 둡니다.
• 미국에서의 6년간 경험을 기반으로한 내용입니다.
• 앞으로 DevOps 로 진출할 엔지니어에게 도움을 주고자
합니다.

되는길
1부 DevOps란 무엇인가?
- DevOps 가 만들어지던 과정
- DevOps의 역할과 해석
2부 DevOps 엔지니어가 되는길
- DevOps 엔지니어로 거듭남
- DevOps 엔지니어의 수요와 대우 (미국)
- DevOps에게 필요한 기술들
3부 좋은 DevOps를 위한 길
- DevOps 기술의 특징
- DevOps에서의 경험 공유
- 참고를 위한 앞으로의 계획
발표순서

되는길
1부 DevOps란 무엇인가?
2부 DevOps 엔지니어가 되는길
3부 좋은 DevOps를 위한 길

되는길
개발을 했으면…
누군가는 운영을 해야한다.
“어머님,
낳는다고 다가
아닙니다.
키우는건
누가해요 ㅠㅠ”
이미지 출처 http://www.modubest.com/bbs/board.php?bo_table=b_modu_2&wr_id=270

되는길
개발자가 운영하면 좋겠지만
내가 이럴려고 게임 만들었나…
개발자는 오픈 후에 새로운 문제들을 만나게 됩니다.
이미지 출처 https://www.quora.com/Whats-a-healthy-programmers-lifestyle
컨텐츠업데이트
버그수정
안정성이슈
확장성이슈
운영이슈
보안이슈

되는길
약은 약사에게, 운영은 누구에게?
개발자가 게임 운영까지 하기에는 할일이 너무 많습니다.
그래서 개발자가 아닌 누군가가 게임 운영을 맡게 됩니다.
보통 와 가 기술쪽을 담당합니다.
시스템 엔지니어
시스템 엔지니어
네트웍 엔지니어
네트웍 엔지니어

되는길
개발 vs 운영 숙명적 충돌
개발은 빨리 수정해서
서비스에 적용하기를
원하고
운영은 최대한 안정적인
서비스를 위해 변경을 적게하려
한다.

되는길
개발과 운영 입장 알아보기
전 겜 개발자. 유저에게
멋진 게임을 보여줄래요~
전 운영쪽 엔지니어.
안정적인 서비스를 책임지죠~

되는길
새로운 기능이 추가
되었습니다. 정말 멋진
기능이고 유저가
좋아할겁니다.
안정성이 먼저 입니다. 새
기능이 문제 없는지 충분히
검증 안되면 서비스
못나갑니다.
https://coloringinpages.com/page.php?a=Dog%20Coloring%20in%20Pages&b=dog-coloring-in-pages-6.gif
이미지 출처 http://freecoloringpageforkids.com

되는길
엄청 중요한 패치입니다.
최대한 빨리 적용해서
고쳐야 합니다.
그러게 왜 버그를 만들어요.
지금 패치하려면 스케줄 다
꼬입니다. 내일 점검까지
기다려주세요.

되는길
이번 업데이트에 새로운
모듈을 써서 성능을
개선했습니다. 이것 저것
깔아주세요.
그거 깔아서 서비스에
문제되면 어쩌려구요. 다른
게임도 안쓰는 것 같은데
쓰던거 쓰세요.

되는길
어후! 답답한 운영.
복지부동에다 새로운
기술의 중요성을 몰라! 그렇게 기술에 자신 있으면
버그나 좀 줄이시지!
장애대응 님이 하실거임?

되는길
팍…
이미지 출처 http://down.humoruniv.org/hwiparambbs/data//comment/2016/06//pdswait_4028872_1467134166.60052.jpg

되는길
갑툭튀, 클라우드의 등장
서버를 만들기가 쉬워지자
SW 엔지니어도 서버를 관리하기 시작합니다.
이미지 출처http://www.guruadvisor.net/en/cloud/600-cloud-and-privacy-reflections-from-a-legal-standpoint

되는길
운영판에 SW엔지니어들이 들어옴
SW엔지니어들이 운영에서 활약.
가치를 인정받기 시작.
이 사람들을 뭐라 해야하나?

되는길
SW 개발자가 바라본 운영의 문제점
1. 트러블슛을 하기가 엄청 귀찮다. (늘 비슷한 문제)
2. 배포가 너무 올래 걸리고 실수가 많다. (점검때마다
밤을 세야하나?)
3. 많은 서버들의 설정을 관리하기가 버겁다.
(프로그래머는 반복을 참을 수 없는 종족)

되는길
서버를트러블 슛의 악몽
맨날 그놈인게 문제.
시간만 엄청 쓴다.
실력차에 따라 해결
시간 차이가 크다.
이미지 출처 https://namu.wiki/w/%EA%B7%B8%EB%86%88%EC%9D%B4%EB%8B%A4
죽은 서버, 단서도
증거도 없지만

되는길
서버 설정 관리의 악몽
또 다른 설정이
같은 서버인데
이미지 출처 http://i.huffpost.com/gadgets/slideshows/348377/slide_348377_3708172_free.jpg
서버 한대
설정하나가 되는날
지구는 멸망할지도…

되는길
배포의 악몽
이미지 출처 http://www.inven.co.kr/webzine/news/?news=151911
서버 업데이트를
위해 밤을 세야
하는가?
업데이트 실수
발생 가능성이
높은 배포방식을
바꿀 길은?

되는길
프로그래밍으로 해결해보자
프로그래머 : 같은 작업의 반복을 참을 수 없도록 진회한 종족
이미지 출처http://www.improgrammer.net/evolution-of-a-programmer/

되는길
툴을 만들고 사용
프로그래머들은 필요한 툴을 직접 개발하기 시작합니다.
python –c “import os;
os.system(‘rm –rf /’)”
Ok?
이미지 출처 http://www.comingsoon.net/movies/news/116956-10-new-images-from-dawn-of-the-planet-of-the-apes-revealed#/slide/1

되는길
트러블슛을 위한 모니터링 개발
모니터링이 단순 값만 보여주는 것이 아닙니다.
모니터링이 문제의 정확한 증상을 보여주도록 지속 개발해야합니다.
필요에 따라 모니터링이 자동으로 문제 해결 (Trigger-Action)

되는길
배포를 위한 시스템 개발
이미지 출처 http://blog.ninapaley.com/2009/12/28/the-cult-of-originality/
배포는 단순 복사
작업일 뿐
개발자를 떠나
유저로 가는
과정이 배포

되는길
설정관리를 위해 CM Tool 도입
Puppet, Chef, Ansible 이런 애들의 공통점은?
imperative 에서 declaretive 로의 서버관리의 관점을 전환하는 것.
“있으라”“해라”

되는길
하지만 반복되는 지옥
스크립트와 툴을 만들었지만 이젠 그 툴을 쓰는 반복이 계속되는 지옥이 됩니다.

되는길
툴 개발, 그리고 툴 사용자
도구란 처음에는 필요한 사람에 의해 만들어집니다.
그 다음 다른 사람들도 그 도구를 사용하게 됩니다.
이미지 출처 http://www.freeimages.com/premium/home-repair-and-tools-icons-1852505

되는길
운영은 민감
•키보드 보다 마우스로
•입력이 아니라 선택으로
•진행 과정을 표현해야
•결과는 Success 아니면 Failure 로
충분히 쉽고 명쾌해야 잘 쓸 수 있습니다.

되는길
하지만 UI 만들 시간이 부족
Rundeck 은 개발한 스크립트나 툴을 다른 사용자가 쉽게 쓸 수 있는 UI를
빠르게 개발할 수 있는
버튼과 설명만 나오는 UI 제공합니다. 버튼 누르면 서버에서 명령을 실행할
수 있습니다.
효자 툴.

되는길
이제 우리는 뒷단 개발만
운영툴의 사용자는 업무를 하는 소수의 사람들 입니다.
운영과 관련한 개발은 UI 개발에 공을 들이기 보다 뒷단
개발에 더 많은 시간을 쓰게 됩니다.

되는길
DevOps가 문제를 해결하는 방법
이것은 DevOps의
핵심 전략!
Images Designed by Freepik from www.flaticon.com
자동화 Automation
코드화 Code
간소화 Simplify

되는길
지금까지 몇 가지 역할
언급되었을까요?
프로그래머
개발자
SW엔지니어운영자

되는길
이런 역할을 DevOps 라고 부르기
시작했습니다.
처음에는 저도 SW개발자라고만 생각했습니다.
그래서 제 역할과 맞지 않다고 생각하며 정체성의 고민이 많았습니다.
하지만 이 역할이 매우 가치 있는 일을 한다는 것을 깨닫았고
이런 역할을 하는 DevOps 엔지니어가 주변에 많다는 것을
알게되었습니다.

되는길
BA
C D
여기까지 본 DevOps의 역할
1. 개발된 것을 실제 환경에 돌린다.
2. 운영에 필요한 시스템을 개발한다.
3. 돌리면서 생기는 문제를 해결한다.
4. 문제가 덜 생기도록 시스템을 개발한다.
GE (Game Engineering)
Dev
Ops
SRE
1
24
3

되는길
DevOps 는 쉽게 말해 운영과 개발
서비스 운영에 필요한 기반 시스템을 운영합니다.
그리고 운영에 필요한 시스템의 개발을 수행합니다.
운영과 개발을
동시에 하다보니
얼굴이…
이게 누군지 알면
아재입니다.

되는길
…이면서 개발과 운영의 중간자
개발 운영
개발과 운영의 관점차이에서
오는 문제를 엔지니어링의
힘으로 극복하는 역할

되는길
DevOps 의 다른 해석들
DevOps 는 문화다.
DevOps 는 개념이다.
DevOps 는 절차와 기법이다.
DevOps 는 방법론이다.
DevOps 는 조직이다 아니다.
DevOps 는 역할이다 아니다.
…
중요한 건
DevOps
엔지니어들을 뽑는
기업이 엄청
많습니다. ^^

되는길
저는 어떻게 DevOps 엔지니어가 되었을까요?

되는길
What is your job?
그 때는 DevOps 라는 말이 지금처럼 유행하지 않았다.
미국에 온 뒤 지인들이 “너 뭐해?“ 라고 물어보면 딱히
어떻게 설명해야할지 몰랐다.
잡 타이틀은 SW엔지니어인데, 개발자라고도 불리는데
개발보다는 다른 일들이 더 많은 것 같았다.

되는길
당시 넥슨 아메리카는 어떤
회사였나?
북미에서 좋은 성적을 내며 성장중이던 미국회사.
일찌감치 가상서버환경을 돌리기 시작.
하드웨어 담당 IT조직 외 가상환경에서 게임서버의
운영,배포,관리를 하는 엔지니어링 조직이 형성됨.
그 조직이 DevOps 조직으로 발전

되는길
무엇에 도전해야 했나?
• 숱한 장애와의 싸움 (24/7)
• 수동으로 하는 일들
• 하던대로 해줬으면 하는 저항
• 운영개발을 왜 해야하는지 이해 부족
• 더딘 속도 (하지만 이는 장점이기도)

되는길
정신을 차려보니 어느세 하얀 간달프
정도는 아니고… ^^
언어 4~5가지, 십여가지 시스템, 수십가지 툴들을 사용하게 되었습니다.

되는길
언제 부턴가 DevOps 인기 절정
저도 사실 DevOps
했어요.
닥ㅊ

되는길
팩트체크
실제 DevOps 엔지니어의 대우를 알아보겠습니다.

되는길
두둥…

되는길
캘리포니아 LA 지역 DevOps 샐러리

되는길
캘리포이나 산호세 지역

되는길
Sr. DevOps engineer

되는길
Sr. SW Engineer

되는길
다른 사이트 검색 결과
하지만 미국
물가는 감안해야
합니다.

되는길
왜?
이제 모든 회사가 IT 회사.
처음에는 회사들이 제품을 개발하고 솔루션을 도입해서 시스템을 구축.
하지만 빠른 비지니스 요구에 맞춰서 IT시스템들을 관리하고 변화에 적응해
나가는 데에 엄청난 비용이 든다는 사실을 알게 됨.
이를 타계할 방법이 필요했고 데브옵스가 더 나은 방법을 제시.
기존 SW 회사에서도 요구사항 변화에 따른 SW개발의 변화 부담을
DevOps 로 해소하고자 함.
More needs, less qualified

되는길
JD에서 요구하는 인기 기술들
Linux Windows
Puppet, Chef, Ansible Saltstack
Bash, Python, Perl, Ruby Go C#
AWS Vmware Openstatck Azure
MySQL MongoDB Cassandra, Hadoop
Jenkins Bamboo
Git SVN
TCP/IP, DNS SSH/TLS
Nagios Zabbix Cacti

되는길
우리팀이 쓰는 주요 도구들
운영툴 : Rundeck, Puppet, Foreman, Laszlo, Gitlab, AWS
언어 : Python >>> go > c#, node.js
트러블슛 툴 : wireshark, sysinternals, netstat, traceroute,
dig, performance profiler

되는길
일반 SW개발자에서 DevOps로
• Git, Jenkins 등의 CI, CD를 익힌다.
• PC에서 완성된 시스템을 돌리며 테스트한다.
• Vagrant 같은 툴을 이용해 Provisioning 에 익숙해진다.
• Linux에 익숙해진다.
• AWS를 많이 사용해본다. (네트웍에 대해서도 배울 수 있다.)

되는길
시스템 엔지니어에서 DevOps로
• 프로그래밍언어, 특히 Python 에 익숙해진다.
• 반복작업의 경우 툴을 쓰기 보다 스크립트를 자주 작성한다.
• CMS, CI, CD 등의 시스템을 직접 써보고 익숙해진다.

되는길
DevOps 기술 맵

되는길
DevOps 엔지니어로 지원시
DevOps는 회사마다 역할이 조금씩 다릅니다.
역할을 검증받기 보단 역량을 검증받는 쪽으로 준비하는게
좋을 듯.

되는길
DevOps 기술들의 특징
Docker, Vagrant, Mesos, Kubernetes, Puppet, Ansible, MQ, AWS SQS,
AWS Lambda, Provisioning, Cloning, ELK, MongoDB, DynamoDB Consul,
Jenkins, Git, Rundeck, Zabbix, Prometheus, Splunk…
이것들이 던지는 하나의 메세지
“Heterogeneous”

되는길
Heterogeneous 기술의 가치
• Decoupling (유연함이 가치)
• Microservice Architecture 의 가치와 유사
• 통일과 단결 보다 창의와 다양성을 더 중시하는 북미문화에서 유리

되는길
클라우드는 DevOps의 토양
클라우드 기반 기술들에 대한 열린 자세
SW엔지니어링을 프로그래밍이란 틀에서 해방

되는길
DevOps의 핵심 자세
“Enjoy automating tasks, rather than repeating them.”
“똑같은 작업을 반복하지 않고 자동화 하는 것을 즐긴다.”

되는길
DevOps 엔지니어가 되어가며 배운 세가지 교훈
1. 하는 것이 아는 것을 이긴다.
2. 동작하는것이 완벽함보다 낫다.
3. 요구를 들어주는것이 아니라 Align한다는 생각이 도움.

되는길
데브옵스 조직을 만들면서 얻은 경험들
• SRE 위주로만 가면 엔지니어 사기 저하
• 개선작업을 하기 위한 시간 확보가 중요
• 장애대응과 개발의 균형 유지는 인터럽트를 줄이고 계획을 늘이는 방식 고려
• SRE 담당, GE 담당 분리시 상호 이해도 저하
• Game별 담당을 정하고 SRE와 GE 둘다 담당시 집중도 상승 vs 경직문제
• 타 팀과의 커뮤니케이션의 어려움
• 문제를 고쳐주는 팀을 향한 두 가지 시선
• 고쳐줘서 고마워요 vs 문제 안나게 똑 바로 좀 일하세요
• 요청자와 수행자의 가치충돌
• 진행상황 업데이트 좀 자주 해주세요 vs 자꾸 방해하지 마세요
• 커뮤니케이션 전담시 커뮤니케이션 엔트로피 증가

되는길
미국이기에 달랐던 업무 문화의 대표적 차이점
• 상대방의 입장이 있어도 할 말은 하는 문화.
• 요구하기 전에는 들어주지 않는 문화. 요구하면 의외로 잘 들어주는 문화.
• 표현하지 못하면 모르는 것으로 간주되기 십상.
• 북미식 예의를 지켜주는 것.
?
이미지 출처 http://www.iconsdb.com/black-icons/puzzle-icon.html

되는길
게임 퍼블리셔 DevOps로 일하며 느낀점
• DevOps 도입으로 이익을 볼 수 있는 환경.
• DevOps에 많은 기여를 할 수 있는 환경.
• 인력 부족, 상대적 블루오션.
• 게임 퍼블리셔의 DevOps화는 가속화 될 것
• 개발사의 DevOps와 운영사의 DevOps가 생기고 랑데뷰 할 것

되는길
• 더 빠른 배포
파이프라인 제공
• 게임개발 집중을
위한 게임 외
시스템 지원
넥아 DevOps 의 계획
DevOps
• 신규게임 라이브
기술분석 강화
• 편리하고 유용한
운영 메뉴 지속
개발개발자 운영자

되는길
게임업계 DevOps 의 역할이 점차 커질 듯
• 빠른 게임 배포와 업데이트를 가능하게 하는 핵심
기술/인력
• 클라우드 기반 탄력적 인프라 운용을 주도하는 기술/인력
• 성공적 게임 라이브를 위한 개발자의 기술 파트너
• 성공적 게임 운영을 위한 운영자의 기술 파트너

되는길
We are hiring!
1. DevOps Engineer
• Middle level
• SW / System 엔지니어링 경험자
2. Tech Lead
• Western 게임 개발 기술 파트너 역할
• 게임개발경력 필요
http://www.nexon.net/corporate/careers/

Ndc17 DevOps? DevOps개발자? 북미에서의 6년

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Ndc17 DevOps? DevOps개발자? 북미에서의 6년

Similar a Ndc17 DevOps? DevOps개발자? 북미에서의 6년 (20)

Último

Último (8)

Ndc17 DevOps? DevOps개발자? 북미에서의 6년

Notas del editor