인공지능 & 머신러닝 101

2. 1
Part1세미나리뷰
Artificial Intelligence (AI) 정의
– JohnMcCarthy (1956,father ofAI)
• “Thescienceandengineeringofmakingintelligent machines” 논문에 AI 용어기술
• “학습과기타다른지능의특징을기계가시뮬레이션할수있을것이다.’고선언
– PatrickHenryWinston
• “컴퓨터가지능을가질수있도록하는아이디어를연구하는학문(thestudyofideasthat
enablecomputers tobeintelligent)”
– Charniak&McDermott (1985)
• “계산 모델을 이용하여 정신적 기반을 연구하는 학문 (the study of mental faculties
through theuseofcomputationalmodels)”
– 사람의지적행동을컴퓨터가모방할수있도록하는과학분야
– 인공적인장치들이가지는지능 등정의다양
John McCarthy
Patrick Henry Winston

3. 2
Artificial Intelligence 의 역사
Part1세미나리뷰
1950년 앨런 튜링 ‘기계가 생각할 수 있는가?’라는
도발적 질문을 던진 ‘컴퓨팅 기계와 지능’ 논문
- 이후 지능을 갖는 기계에 대한 기초적 사유를 제시
- ‘튜링 테스트’라는 이미테이션 게임은 이후 지능을
가진 개체를 판단하는 가장 기초적인 기준으로 제시
1956년 존 매카시, 마빈 민스키, 나다니엘 로체스터,
클로드 샤논 등 당시 최고의 정보과학자들이 다트머스
학회 모여 AI 창시
- 인공지능으로 명명한 연구분야가 시작
1974년 1st AI Winter
1987년 2nd AI Winter
2012년 구글, 딥 러닝 프로젝트 ‘브레인’ (앤드류 응)
- 1만 6000개의 컴퓨터 프로세서, 10억 개 이상의
연결을 갖는 뉴럴 네트워크를 이용한 자율학습
방식의 딥러닝 기술을 적용해 유튜브 안에 있는
1000만 개의 이미지 중에서 고양이를 인식
출처: Karl Tate, History of A.I, 2014.8.25 재편집

4. 3
Part1세미나리뷰
AI의 역사는 컴퓨터 발명이래 70년 간의 신기술 부침의 역사
출처: 김진형, 기계학습의 원리, 능력과 한계, 2016.3.29

5. 4
Part1세미나리뷰
강인공지능 (Strong AI, True AI, AGI (범용인공지능))
– 어떤 문제를 실제로 사고하고 해결할 수 있는 컴퓨터 기반의 인공적인 지능을 만들어
내는것에관한연구
– 즉,인공지능의강한형태는,지각력이있고,스스로를인식하는것
– 이론적으로두가지형태
• 인간의사고와같이컴퓨터프로그램이행동하고사고하는인간형인공지능
• 인간과다른형태의지각과사고추론을발전시키는컴퓨터프로그램인비인간형인공지능
약인공지능 (Weak AI, ANI)
– 어떤 문제를 실제로 사고하거나 해결할 수는 없는 컴퓨터 기반의 인공적인 지능을 만
들어내는것에관한연구
– 이와같은시스템은진짜지능이나지성을갖추고 있지는못하지만,어떤면에서보면
지능적인행동을보일것
– 주로 미리 정의된 규칙의 모음을 이용해서 지능을 흉내내는 컴퓨터 프로그램을 개발
하는것에 촛점

6. 5
Part1세미나리뷰
인공 지능 (AI) 의 범주 (접근 방식): Russell and Norvig’s Four Approaches
– (1)사람처럼생각하는시스템:인간과똑같이사고한다고가정
• GPS(General Problem Solver):Newell, Simon, 인지과학(Cognitive Science):컴퓨터모델,인간 심리 실험,자기 관찰
(Introspection) 등
– (2)사람처럼행동하는시스템:인간의기능을수행하면지능이있는것
• Turing Test: 영 Alan Turing (1950), 로봇 공학 (Robotics), Cog: MIT의 humanoid robot (인간형 로봇), 벤티드 (차폐 치
료를위해개발된교감능력과감성보유한휴머노이드로봇)등
– (3)이성적으로생각하는시스템:사고과정을수리적으로표현
• 추론,논리,삼단논법(Syllogism)
– (4)이성적으로행동하는시스템:주어진확률정도에따라목표달성
• Agent: 목표를성취하기위해행동,추론을포함,뜨거운물체에서손을갑자기떼는것(생각이아니라행동)
Thinking
(1) Systems that think humans
(인지과학적 접근):
사람처럼 생각하는 시스템
(3) Systems that think rationally
(사고의 법칙적 접근):
이성적/합리적으로 생각하는 시스템
Behavior
(2) Systems that act like humans
(튜링 테스트적 접근):
사람처럼 행동하는 시스템
(4) Systems that act rationally
(합리적 Agent적 접근):
이성적/합리적 으로 행동하는 시스템
Ideal Rational

7. 6
Part1세미나리뷰
AI의 분류 (구성)
이론인공지능
탐색
지식표현(KR)
계획
불확실성
학습
추론인공지능
퍼지이론
전문가시스템(ES)
신경회로망(NN)
감각인공지능
시각
자연어처리(NLP)
AI
최근경향
에이전트(Agent)
출처: - (우측) Ajit Nazre & Rahul Garg, A Deep Dive in the Venture Landscape of AI, 2015.8.31

8. 7
Part1세미나리뷰
인공지능 기술에 대한 낙관론과 우려 공존
– 낙관론: 인공지능 기술의 진보는 생각처럼 쉽게 이뤄지지
않았다.앞으로도그럴것이다.
• 모라벡의 역설 (Hans Moravec’s Paradox), ‘어려운 일은 쉽
고, 쉬운 일은 어렵다(Hard problems are easy and easy
problemsarehard)’→인간과는다른컴퓨터의능력을표현
– 비관론:TechnicalSingularity (기술적특이점)가머지않음
• 레이 커즈웨일 (Ray Kurzweil), ‘인간의 기술과 문명이 고도로
발전을거듭하다보면인공지능이나기타정보처리/생산설비
의 발전과 기술적 개념의 고도화 등으로 인해, 인간이 스스로
가만들어낸기술을이해하거나따라잡지못하는시점
• 인간이기술의발전을이해할수있는한계점
출처: the escapist,‘Why you'll be immortal if you're still alive in 2040!’, 2010.10.1

9. 8
들어가며...
로봇의 반격 !??! 알까Go !??!
출처: (좌측) http://giphy.com/gifs/3o7TKuJGvIYEiKKLcI, (우측) https://vimeo.com/184980648

10. 9
기계학습(ML)
Machine Learning의 개념
– 학습의정의
• 주어진환경에서반복경험을통해발생되는어떤주체의행동변화
– 기계학습의정의
• 인간의자문을받아어떤영역에대한개념을배우는프로그램
• 새로운지식을습득하면서새로운상황의문제를풀수있는프로그램
• 환경과의상호작용에기반한경험적데이터로부터스스로성능을향상시키는시스템을연구하는과학과기술
• 새로운 지식을 저장해서, 이후에똑같은 상황에서는 먼저 행하였던계산을 반복하지않고, 단순히 저장된결과를 검색하여 사용 (기초적인
학습과정)
• 학습과정모델링:기계학습의주요주제
– 특징
• 새로운지식의습득과새로운정보의추론이중요
• 새로운정보를통해자신의경험에서얻어진지식을수정할수있고 보다정확한지식으로개선해나아갈수있어야함
• 과거의경험을통해문제해결능력을향상시키는시스템이어야함

11. 10
기계학습(ML)
기계학습 메커니즘
– 풀이된문제에대하여문제의해를기억하는방법을사용
– 간단한기계학습모델
• 문제풀이를입력패턴(X1,...,Xn)을취하여결과의값으로(Y1,...,Yp)를산출해내는함수f라가정하면,f에대한기계학습은단순히메
모리에((X1,...,Xn),(Y1,...,Yp))의관련쌍을저장하는것
• 정교한문제풀이능력을포함하고있지않음
– 복잡한학습시스템의요구능력
• 정보의체계적저장:저장된값을다시계산하는것보다빨리찾는방법이필요(정교한검색방법필요)
• 일반화:여러경우를하나로처리하는일반화의필요성증대
• 초점의방향:여러개의값이주어진상황과동시에관계시해결
f
풀이 함수
(X1, ..., Xn) (Y1, ..., Yp) (X1, ..., Xn), (Y1, ..., Yp)
입력 패턴 계산의 출력값 관련쌍
저장

12. 11
기계학습(ML)
기계학습의 구성 요소 (Simon의 기계 학습 모델)
– 주위환경(Environment)+학습요소(Learning Element)+지식베이스(Knowledge Base)+실행요소
(Performance Element)
• 원:선언적정보,사각형:절차,화살표:자료의흐름
• 주위환경:학습요소에 특정정보제공
• 학습요소:입수된정보로지식베이스개선
• 실행요소:지식베이스의 지식이용,특정의작업수행
– 구성요소의구현방식에따라학습시스템분류
• 주위환경,지식베이스,실행작업들이학습문제의본질을결정
• 학습요소가수행해야 할특정기능결정
주위환경
(Environment)
학습 요소
(Learning
Element)
지식베이스
실행 요소
(Performance
Element)

13. 12
기계학습(ML)
기계학습의 분류 (데이터 획득 방식/유형)
– 기호적학습(Symbolic Learning)
• 특성과종류간의관계를몇가지규칙으로서술(if-then규칙등)
• 주어진데이터로부터 규칙을학습
• 방법:사례기반학습, 결정트리(Decision Tree),결정리스트, 귀납논리(ILP),선형분리자등
– 비기호적학습(Subsymbolic Learning)
• 생물학적모델에기반한학습
• 방법:신경망(NN),유전자알고리즘(Genetic Algorithm) 등
– 확률적학습
• 관찰되는데이터를생성하는과정을기술하는모델,확률망(probabilistic network) 형태(확률변수간의 확률적의존표현)
• 결합확률분포 (jointprobabilitydistribution) 를표현
• 방법:베이지안(Bayesian) 망,은닉마코프모델 (HMM),확률문법등
– 기타학습방법
• 변형기반학습, 능동학습,부스팅,강화학습,경쟁학습,건설적귀납등

14. 13
신경망/신경회로망
신경망의 시작
– ‘신경활동에내재한개념들의논리적계산’이란논문(Warren S.McCulloch&WalterH.Pitts,1942)
– 신경망을‘이진스위칭’소자들이복잡하게연결된네트워크로모형화

15. 14
신경망/신경회로망
(인공) 신경회로망 (ANN or NN)
– 정의
• 생물학적 신경계와 같은 방식으로 동작할 수 있도록 단순하지만 적응적인 요소들을 대량으로 병렬 연결한 망들의 계층적
조직
• 인간의두뇌작용을신경세포들간의연결관계로모델링→인간의학습을모델링
• 뉴런이라 부르는 구조단위로 구성되어 있고 경험을 통해 패턴인식 이나 인지 등 여러 특정한 기능들을 인식, 정보를 분석
하고새로운정보를예측하는데활용되는계층적조직
– 기본작업
• 학습(learning): 패턴부류에따라신경망의연결가중치조정
• 재생(recall): 학습된가중치와입력벡터와의 거리계산하여가장가까운클래스로분류
→사람과같은학습능력:패턴분류,인식,최적화,예측
→기존인공지능문제해결의새로운계산틀제공

16. 15
신경회로망의 특징
– 예를통한학습:예를계속제시하여원하는형태의사상학습
– 일반화:학습이완료된신경회로망은학습되지않은입력에대해서도올바른결과출력가능
– 연상기억:새로운입력,일부유실된정보를유사한출력가능
– 결함허용성:일부뉴런고장,단절에도작동보장
뉴런 (처리요소) 의 구조
– 뉴런1개는단순기능→다중으로연결되면강력한기능
– 다층신경회로망
• 입력층과출력층사이에새로운층추가→은닉층(hiddenlayer)또는중간층(internal layer)
신경망/신경회로망
∑i Xi • Wi - 
X1
X2
Xn
W1
W2
Wn
OUT = F (∑i Xi • Wi -  )
F
입력층
가중치
임계치 다른 뉴런의 입력으로
연결됨
전달 (활성화)
함수
.
.
.
.
은닉층(hiddenlayer) 출력층

17. 16
신경망/신경회로망
학습 방법
– 특정한응용목적에 적합하도록뉴련간의연결강도를적응시키는 과정
• 지도학습: 입력이 주어짐에 따라 원하는 출력값이 활성화되도록 가중치를 조절 (Hopfield 학습규칙, 델타규칙, 오류 역전
파학습규칙)
• 비지도학습: 목표값없이학습데이터만입력,스스로연결가중치학습,미리결정된해가불필요(경쟁학습,ART모델)
입력형식 학습방식 신경회로망 모델
이진입력
(Digital)
지도 학습
• Hopfield network
• Hamming net
지도 학습 및 비지도 학습의 결합 • Counter-Propagation Network
비지도 학습 • ART Model
실수입력
(Analog)
지도 학습
• Perceptron
• Multilayer Perceptron
비지도 학습
• Competitive learning
• Self-Organization Map (SOM)

18. 17
DeepLearning(DL)
딥러닝이란
– ’80년대에 처음 제안된 딥러닝은 오랜 기간 부침과 진화를 거듭한 끝에 음성 및 영상인식·인지 컴퓨팅 등 고도의
인공지능구현에적합한기계학습방법으로재조명(’12년구글의고양이얼굴인식프로젝트시연이후급부상)
– 심화/심층신경망(DNN:DeepNeuralNetworks) 를활용한기계학습
• 심층신경망은사람의두뇌에서정보처리가다층구조를가지고있다는점을모방하는데에서출발,입력층과출력층사
이에하나이상의숨겨진층을갖는신경망구조로구현
– 딥러닝은인공신경망의한계를극복하기위해제안된기계학습
• 인공신경망은 높은분류정확도에비해속도가느린것이단점
• 과적합(overfitting) 도웬만해선해결되지않는과제→이때문에비교적오랜기간실무에선배척
• 최근 들어 이 분야를 깊숙이 고민해온 연구자들이 해법을 내놓으면서 다시 각광을 받기 시작, 그 핵심에 캐나다 대학의 제
프리힌튼,뉴욕대얀리쿤교수,스탠포드대학의앤드류응교수등이있음
– 인간과 유사한 심층 신경망 정보처리 알고리즘을 활용하여 데이터분류의 정확도가 높으며, 사람처럼 배우고 추
론하면서스스로지능을발전시켜나가는‘자율적(unsupervised)’ 학습방식으로진화
– 인공지능을고도화시키고 관련비즈니스를활성화시켜줄핵심기술로평가
• 딥러닝은 2013년 MIT 선정 10대 혁신 기술 선정, 가트너의 2014 세계 IT 시장 10대 주요 예측 등을 통해 방대한 양의 데
이터처리에크게기여할기술로평가
• ETRI또한올해기술·인문·사회관점의미래변화를주도할‘핵심견인기술’ 분야의하나로‘딥러닝알고리즘‘을선정

19. 18
DeepLearning(DL)
딥러닝 프로젝트 ‘브레인’ (2012년)
– 스탠포드대학의 앤드류 응과 구글이 함께한 딥 러닝 프로젝트 (2006년 시작)에서는 16,000개의 컴퓨터 프로세
서와 10억 개 이상의 neural networks, DNN (deep neural networks)을 이용하여 유튜브에 업로드 되어 있는
천만개넘는비디오중고양이얼굴개별인식·구분에성공
출처: Masayuki Tanaka, “DNN and RBM”, 2015.8

20. 19
DeepLearning(DL)
Overfitting & Underfitting
– 미적합 (Underfitting): 특성을 설명할 만큼 충분한 학습이 되지 못한 상태 → 모델이 너무 단순해 훈련된 결과가
형편없음
– 과적함 (Overfitting): 너무 과도하게 특정 데이터에 대해 학습된 상태 (차원이 높은 경우 증폭되는 특성) → 학습
된데이터에만적합하며,아직직면하지못한신규데이터를만날경우엉뚱한결과를초래함

21. 20
알파고
이세돌-알파고 4국의 생각 시간

22. 21
알파고
바둑 문제의 게임 트리 표현
– 바둑판19×19
출처: (좌측) 김석원, “알파고의 구성”, 2016.3.24

23. 22
알파고
MCTS (Monte Carlo Tree Search) – 알파고의 방법
출처: (좌측) 김석원, “알파고의 구성”, 2016.3.24

24. 23
알파고
알파고 알고리즘
– 몬테카를로트리탐색에컨벌루션신경망(CNN)을적용하여성능향상
• 입력데이터는 KGS바둑서버의3천만가지수(6단이상의약16만개의경기)
• 13단계의깊은신경망을구성하여막대한양의입력데이터정보를모델링(페이스북의 DeepFace 9단계)
– 정책망으로액션(링크)의초기확률을계산
• 지도학습정책망을사용하여입력데이터에서 많이선택된수가높은초기값을갖게됨(판후이대국)
• 현재는강화학습정책망을사용할수도있음
– 가치망으로상태(노드)의승리확률의절반을계산
• 지도학습+강화학습의 결과를이용하여바둑판상태의승리확률을모델링
– 시뮬레이션이계속되며초기값의비중이작아짐
• 링크값,가치값이점점시뮬레이션결과를반영

25. 24
알파고
알파고에 대한 오해
– 인공두뇌,트랜센던스,공각기동대,Samantha (Her) 같은이미지
→알파고도프로그램이다
– 신경망에바둑판을입력하면다음수의확률이신경망출력에나옴
→최종확률은시뮬레이션결과로나옴
→신경망은MCTS시뮬레이션의 요소
– 스스로학습한다,알아서밤새강화학습하고 훈련
→사람이명령을내려학습진행
→신경망구성,학습데이터선별,강화학습진행에연구자가지속적으로개입
– 4국78수는버그
→알파고소프트웨어의 품질
– 이번대국은인간과기계의대결
• 알파고의벤치마크테스트

26. 25
마무리
AI, ML, DL 관계
출처: NVIDIA, “What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?”, 2016.7.29

27. 26
마무리
인공지능 (AI) 관련 영화 랭킹 (ZDNet)
– 1위.2001: ASpaceOdyssey(1968)
– 2위.Alien(1979)
– 3위.BladeRunner(1982; Director's Cut1992)
– 4위.StarTrek:TheMotionPicture (1979)
– 5위.Her(그녀,2013)
– 6위.Wall-E(월-E,2008)
– 7위.TheMatrix(매트릭스,1999)
– 8위.Moon(더문,2009)
– 9위.Terminator 2:Judgment Day(1991)
– 10위.A.I.(2001)
– 11위.WarGames(위험한게임,1983)
– 12위.ExMachina(2015)
– 13위.Interstellar (2014)
출처: ZDNet, “25 of the best movies about AI, ranked”, 2016.2.19
– 14위.Avengers: AgeofUltron (2015)
– 15위.AustinPowers:InternationalManofMystery(오
스틴파워제로,1997)
– 16위. Hitchhiker's Guide to the Galaxy (은하수를 여행
하는히치하이커를 위한안내서,2005)
– 17위.Colossus:TheForbinProject(1970)
– 18위.Metropolis (1927)
– 19위.I,Robot(2004)
– 20위.RoboCop(1987)
– 21위.Tron(1982)
– 22위.Transcendence(2014)
– 23위.Westworld(이색지대,1973)
– 24위.BicentennialMan(1999)
– 25위.Robot&Frank(2012)