Azure ML과 PowerBI로 분석 예측하는 COVID-19

Power BI와 Azure ML로 코로나-19를 분석해 봅시다!
Prepared By Hwantae Kim, Bespin Global

AGENDA
• Team Data Science Process
• Business Understanding
• Data Acquisition, Understanding
• Modeling – Power BI
• Modeling – Azure Automated ML
• Deployment
• Acceptance - Q&A

Copyright © 2020 BESPIN GLOBAL, Inc. All rights reserved | Confidential
http://www.bespinglobal.com
4
COVID-19 Team Data Science Process
TDSP(Team Data Science Process)는 예측 분석 솔루션 및 지능형 애플리케이션을 효율적으로 제공하기 위한
Agile하고 Iterative한 Data Science 방법론입니다. TDSP는 팀 구성원들의 작업이 역할별로 가장 잘 수행되는 방법
을 제안하여 협업 및 학습을 향상시키는 데 도움이 됩니다.
• Team Data Science Process란 무엇인가요?
https://docs.microsoft.com/ko-kr/azure/machine-learning/team-data-science-process/overview
• TDSP 프로젝트 구성, 문서 및 아티팩트 템플릿
https://github.com/Azure/Azure-TDSP-ProjectTemplate
• Microsoft의 TDSP의 일부로 개발 된 유틸리티 및 스크립트
https://github.com/Azure/Azure-TDSP-Utilities
Business
Understanding
•Scoping
•Charter
Team Data Science Process at Microsoft
Data Science Project Lifecycle
Data Acquisition,
Understanding
•Provision Resources
•Ingest
•Exploration
Modeling
•Feature Engineering
•Model Development
•Evaluation
Deployment
•Model
•Production Pipeline
•Monitor
Acceptance
•Finalize Documents
•Free Resources
•Handoff

5
COVID-19 Team Data Science Process
TDSP(Team Data Science Process)는 예측 분석 솔루션 및 지능형 애플리케이션을 효율적으로 제공하기 위한
Agile하고 Iterative한 Data Science 방법론입니다. TDSP는 팀 구성원들의 작업이 역할별로 가장 잘 수행되는 방법
을 제안하여 협업 및 학습을 향상시키는 데 도움이 됩니다.
• Team Data Science Process란 무엇인가요?
https://docs.microsoft.com/ko-kr/azure/machine-learning/team-data-science-process/overview
• TDSP 프로젝트 구성, 문서 및 아티팩트 템플릿
https://github.com/Azure/Azure-TDSP-ProjectTemplate
• Microsoft의 TDSP의 일부로 개발 된 유틸리티 및 스크립트
https://github.com/Azure/Azure-TDSP-Utilities
Business Unders
tanding
•Scoping
•Charter
Team Data Science Process at Microsoft
Data Science Project Lifecycle
Data Acquisition,
Understanding
•Provision Resources
•Ingest
•Exploration
Modeling
•Feature Engineering
•Model Development
•Evaluation
Deployment
•Model
•Production Pipeline
•Monitor
Acceptance
•Finalize Documents
•Free Resources
•Handoff

7
COVID-19 Business Understanding
https://systems.jhu.edu/research/public-health/ncov/

8
https://www.arcgis.com/apps/opsdashboard/index.html#/bda7594740fd40299423467b48e9ecf6

9
분석을 진행하기에 앞서 항상 한 번쯤 생각해 보아야 할 내용
Data
Value
Data Decisions Actions

10
분석을 진행하기에 앞서 항상 한 번쯤 생각해 보아야 할 내용
Data
Value
Data Decisions Actions
1. COVID-19 발생 현황?
2. 지금까지의 증가 추이?
3. 향후 어떻게 될까?
4. 어떤 행동이 필요한가?

Data Acquisition, Understanding

12
COVID-19 Data Acquisition, Understanding
CSSEGISandData/COVID-19
time_series 선택
확진(confirmed)
사망(death)
퇴원(recovered)
https://github.com/CSSEGISandData/COVID-19/tree/master/csse_covid_19_data

13
①
②

14
① ②
③
④
⑤

15
①
②
③
④
⑤

16
①
②
③
④
⑤
⑥
⑦⑧

17
• time_series_covid19_recovered_global.csv 파일에 대해서도 이전 단계와 동일한 절차를 수행하여 데이터 로드
• 로드가 완료되면 데이터셋의 이름을 변경:
confirmed_global, deaths_global, recovered_global

18
새로 고침을 위한 수정: [Changed Type] 삭제, confirmed_global, deaths_global, recovered_global 모두 적용
X
X

19
새로 고침을 위한 M 쿼리 수정: ‘Columns=94’ 삭제, confirmed_global, deaths_global, recovered_global 모두 적용
수정 전:
수정 후:
= Csv.Document(Web.Contents("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse
_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv"),[Delimiter=",", Colu
mns=94, Encoding=65001, QuoteStyle=QuoteStyle.None])
= Csv.Document(Web.Contents("https://raw.githubusercontent.com/CSSEGISandData/COVID-19/master/csse
_covid_19_data/csse_covid_19_time_series/time_series_covid19_confirmed_global.csv"),[Delimiter=",", Enco
ding=65001, QuoteStyle=QuoteStyle.None])

20
각 쿼리에서 Enable load 선택 해제, Home-Combine-Merge Queries-Merge Queries as New, Privacy levels “Public”
①
② ③
④ ⑤
⑥
⑦
⑧

21
“Deaths” 컬럼만 선택 하여 추가, 만들어진 Merge1 과 recovered_global도 Merge Queries로 recovered 추가

22
데이터 타입 조정: “Date”, Change Type-Using Locale-Data Type:Date & Locale:English(United States)
①
②
③
④

23
데이터 타입 조정: “Confirmed/Deaths/Recovered”, Change Type-Whole Number
쿼리 이름 수정 : COVID-19
①
②
③
④

24
https://powerbi.microsoft.com/en-us/blog/power-bi-desktop-october-2018-feature-summary/#dataProfiling

25
데이터 로드가 완료되면 “COVID-19”로 .pbix 파일 저장

27
COVID-19 Modeling – Power BI
• [기준일자] 테이블 생성: 필터링 및 시계열과 관련된 Measure에 적용
• Model 창 선택 후, 'COVID-19'[Date] 클릭 하여 ‘기준일자’[Date] 컬럼으로 끌어서 관계 생성
기준일자 = CALENDAR (
MIN ( 'COVID-19'[Date] ),
MAX ( 'COVID-19'[Date] )
)
①
②
③ ④

28
• Johns Hopkins의 dataset은 일자별 누계(Cumulative Amounts) 값이기 때문에 분석용 Measure값 정의 필요
• Measure 생성은 다음 방법에 따라 수행
①
②
③

29
• Measure 정의 - 현황: 국가별 최신 일자(마지막 일자) 데이터
• 아래 코드를 참고하여 [확진], [사망], [퇴원]의 3개 Measure를 모델에 추가
확진 =
VAR last_data =
SUMX (
VALUES( 'COVID-19'[Country/Region] ),
SUMX (
VALUES ('COVID-19'[Province/State] ),
CALCULATE ( MAX ( 'COVID-19'[Confirmed] ) )
)
)
RETURN
IF (last_data = 0, BLANK(), last_data )

30
• Measure 정의 - 현황: 사망률과 회복률 정의
• [사망률], [회복률] Measure를 모델에 추가 / % 소수 2 자리 지정
사망률 = [사망]/[확진]
회복률 = [퇴원]/[확진]

31
• Measure 정의 - 누적현황: 기준 일자 까지 누적 합계 데이터, 일단위 필터링시에만 의미
• 아래 코드를 참고하여 [누적확진], [누적사망], [누적퇴원]의 3개 Measure를 모델에 추가
누적확진 =
IF(HASONEVALUE('기준일자'[Date])
, SUM('COVID-19'[Confirmed])
, BLANK()
)

32
• Measure 정의 - 일별발생: 기준 일자 발생 데이터, [기준일자]-[직전일자]
• 아래 코드를 참고하여 [일별확진], [일별사망], [일별퇴원]의 3개 Measure를 모델에 추가
• Measure 정의가 끝나면 Base 컬럼인 Confirmed/Deaths/Recovered Hide 처리(혼동방지)
일별확진 =
VAR current_data = [확진]
VAR prev_data =
CALCULATE (
[확진],
DATEADD ( '기준일자'[Date], -1, DAY )
)
RETURN
IF ( ISBLANK ( prev_data), BLANK(), current_data -
prev_data )

33
• Measure 정의 – 최종업데이트 일자
• Format 조정: YYYY-MM-DD
최종업데이트 = MAX ( 'COVID-19'[Date] )
①
②

34
• Measure 정의 - 현황: 일평균 지표 정의
• [일평균 확진자수], [일평균 사망률], [일평균 회복률] Measure를 모델에 추가 / 천단위 구분기호 추가된 정수
일평균 확진자수 =
[확진]/DISTINCTCOUNT('기준일자'[Date])
일평균 사망자수 =
[사망]/DISTINCTCOUNT('기준일자'[Date])
일평균 퇴원자수 =
[퇴원]/DISTINCTCOUNT('기준일자'[Date]
2. 지금까지의 증가 추이?1. COVID-19 발생 현황?

35
COVID-19 Modeling – Power BI 1. COVID-19 발생 현황?

36
COVID-19 Modeling – Power BI 3. 향후 어떻게 될까?2. 지금까지의 증가 추이?

37
COVID-19 Modeling – Power BI 2. 지금까지의 증가 추이?1. COVID-19 발생 현황?

38
COVID-19 Modeling – Power BI 4. 어떤 행동이 필요한가?
Global Health Security Index: Global Health Security Index는 Johns Hopkins Health Security Center, Nuclear Thr
eat Initiative (NTI) 및 Economist Intelligence Unit (EIU)에서 준비한 195 개국의 글로벌 건강 보안 기능 평가 결과
를 보여주고 있음.
https://www.ghsindex.org/data-stories/

39
Global Health Security Index 데이터는 전세계 195 국가에 대하여
종합/PREVENT/DETECT/RESPOND/HEALTH/NORMS/RISK 점수로 구성되어 있음 (DEMO 목적 사전 정리함)

40
• GHS Index와 COVID-19 데이터를 비교 분석하여 확진자 수가 높으면서 GHS Index 가 낮은 그룹을 도출하여,
• 해당 그룹 내의 우선 지원이 필요한 국가 목록을 선별하고자 함
GHS Index
통합
확진자 vs Index
상관 관계
그룹화
지원 대상 그룹
선별
대상 국가 리스트

41
• GSH_Index.csv 파일을 모델에 추가하고 COVID-19 테이블과 연결
①
②
③
④
⑤
⑥
⑦

42

Modeling – Azure Automated ML

44
COVID-19 Modeling – Azure Automated ML
• Power BI와 Azure ML 통합 - Power BI Premium은 이번 세미나에서 진행하지 않음
Model 학습을 위한
데이터 생성/추출
Auto ML
Time series
forecasting
Web Service
배포
Forecasting
Power BI Premium 사용시 대부분의 단계가 자동화
• Power BI에서 Azure Machine Learning 사용
• Power BI의 자동화된 Machine Learning
Power BI 데이터 추출
.csv 파일 추출 후
학습 데이터로 업로드
Power BI 예측 준비
Web Service 호출용
데이터 셋 생성
①
②

45
①
②
③
④
학습에 필요한
‘기준일자’[Date], ‘COVID-
19’[Country/Region], ‘COVID-
19’[일별확진] 선택
confirmed_data.csv 저장

46
• Azure Portal에서 Machine Learning Workspace 생성
①
②
③
④
⑤

47
• Azure Machine Learning studio 호출
①
②

48
• Dataset 업로드 - confirmed_data.csv
① ②
③
④
⑤

49
①
②
③
④
⑤

50
① ②

51
• 업로드한 Dataset 선택 후 Run Configure
①
②
③
④
⑤

52
• Training에 사용될 Computer Cluster 설정
①
②
③
④
⑤

53
• Time series forecasting 설정 및 실행 후 Best Model 확인
①
②
③
④
⑤

54
• Best Model 배포
①
② • AKS 모델 배포와 관련된 보다 상세한 내용:
Azure Kubernetes 서비스 클러스터에 모델 배포
• ACI 모델 배포와 관련된 보다 상세한 내용:
Azure Container Instances에 모델 배포

55
• Power BI에서 Web Service 호출용 데이터셋 만들기
COVID-19 복제 Contry/Region, Date 필드만 남기고 삭제
Date 컬럼에
“Is Latest” 필터 적용
X X X X

57
COVID-19 Deployment
• Power BI Service로 배포 후 웹 브라우저로 호출
①
②
③

58
COVID-19 Deployment

60
COVID-19 Acceptance - Q&A
Q&A
질문 있으신가요?
o E-mail: hwantae.kim@bespinglobal.com
o Facebook: https://www.facebook.com/profile.php?id=100001453421346

61
• Q. 분석 대상 데이터의 양은 제한이 없나요?
• A. Power BI Desktop으로 작업하실 경우에는 작업 PC의 메모리가 허용하는 범위 내에서 가능합니다. Power BI 프리미엄 및 웹의 경우에는 다음
링크를 참조하여 주세요.
https://docs.microsoft.com/ko-kr/power-bi/service-admin-manage-your-data-storage-in-power-bi
• Q. azure에 다양한 분석 기법들이 있는 것으로 알고 있는데 최신 버젼으로 업데이트 되나요?
• A. Azure는 클라우드 서비스 명입니다. 마이크로소프트에서 따로 분석 기법을 제공하지는 않습니다. 분석과 관련해서 제공하는 Azure의 데이
터 분석 관련 서비스는 https://azure.microsoft.com/ko-kr/overview/ 사이트의 [제품] 메뉴에서 'AI+머신러닝' 및 '분석기능' 커테고리를 참고하시
기 바랍니다.
• Q. 올 가을/연말쯤 코로나가 재유행 할꺼라는 얘기도 나오는데, 이런 내용도 예측이 되는 건가요?
• A. 이번 세미나에서는 그동안의 확진자 발생 데이터를 기반으로 내장된 ETS 알고리즘으로 향후 진행 현황을 예측합니다. 가까운 미래 현황을
추세로 예측하는 수준입니다.
• Q. 화면에서 한번에 볼 수 있는 데이터의 양 제한이 없나요?
• A. Power BI에서 처음 데이터 가공을 위해 편집하는 Power Query 화면에서는 기본적으로 최초 1000라인이 로드 됩니다. Power Query와 관련
된 제한 내용은 다음 링크를 참고하여 주십시오.
https://support.microsoft.com/en-us/office/power-query-specifications-and-limits-5fb2807c-1b16-4257-aa5b-6793f051a9f4 (영문)

62
• Q. POWER BI에 사용하는 스크립트는 POWER BI에서만 사용하는 자체 스크립트인가요??
• A. 사용하는 스크립트는 데이터 로드시에 ETL 용도로 사용하는 Power Query용 M-Language와 Power BI 모델링에서 사용하는 DAX 2 가지가 있
습니다. 상세하게 모르셔도 기본적인 시각화 제작 및 분석은 가능하시지만 효과적으로 사용하시기 위해서는 어느 정도 학습이 필요합니다.
• Q. 스크립트로 할 경우에 가이드 주는 문서나 사이트가 있나요?
• A. Power BI Desktop 실행하시면 한글로 된 자습서 및 문서 페이지 링크가 상단 메뉴에 나타납니다. 교육 과정은 무료 과정들이 상당히 많이
공개되어 있습니다.
- Power BI Desktop 시작: https://docs.microsoft.com/ko-kr/power-bi/desktop-getting-started
- Power BI 동영상: https://docs.microsoft.com/ko-kr/power-bi/videos
• Q. 이렇게 만든 대시보드 화면을 인증을 거친 사람에게만 웹을 통해 배포하거나 할 수 있는지요??
• A. 무료 버전에서는 권한별 제약을 주지는 못하지만 웹페이지로 Public하게 내용을 공유할 수 있습니다.
- Power BI에서 웹에 게시: https://docs.microsoft.com/ko-kr/power-bi/service-publish-to-web
조직별 권한 제어 또는 데이터 수준 필터링은 프로 버전 이상의 유료를 구매하여 적용가능합니다.
- Power BI를 사용하는 행 수준 보안(RLS): https://docs.microsoft.com/ko-kr/power-bi/service-admin-rls

63
• Q. PowerBI 내부에서 다른 예측 알고리즘 선택 및 시각화가 가능 한가요?
• A. R이나 Python 코드를 데이터 수집 시점 또는 화면 제작 시점에 추가할 수 있습니다. 마찬가지로 방법으로 R이나 Python 시각화 라이브러리
와 해당 모듈을 추가시킬 수 있습니다. 기본으로 제공하는 ETS 시각화 기능이 제공되기 이전에는 프로젝트에서 R로 회귀 분석을 하여 시각화
에 추가한 적이 있습니다.
- R을 사용하여 Power BI 시각적 개체 만들기: https://docs.microsoft.com/ko-kr/power-bi/desktop-r-visuals
• Q. 추이 및 예측에 ETS를 쓰면 질병이 계속 확산될 것 같은데... 가능하다면 질병확산 모델을 적용했으면 좀 더 좋았을 것 같네요!
• A. 구축 이후에 한국으로 데이터를 필터링해서 보면 안정 및 감소하는 추세가 확인됩니다. 글로벌하게는 계속 확산되는 추세인 것은 분명합니
다. 질병확산모델은 제가 잘 모르는 영역이어서 미처 반영하지는 못했습니다. 의견 감사드립니다. :-)
• Q. DAX와 Power Query가 유사한 부분이 많이 있던데 어떤 때 Power Query를 쓰고 어떤 때 DAX를 쓰는지에 대한 기준 같은 게 있나요?
• A. 데이터를 최초에 획득하여 가공하는 파트에서는 Power Query를 사용하고, 메모리에 로드한 이후 분석 모델링(Measure 및 Dimension 테이
블 정의)에는 DAX를 사용합니다.
- DAX 소개: https://docs.microsoft.com/ko-kr/power-bi/guided-learning/introductiontodax#step-1
- Introduction to Power Query (informally known as "M") Formula Language https://docs.microsoft.com/en-us/previous-
versions/mt270235(v=msdn.10)?redirectedfrom=MSDN (영문):

64
• Q. 모델 구축 후 다시 자료를 업데이트 하는 데 시간이 얼마나 걸리나요?
• A. 이번의 경우에는 Github에 공유된 raw 데이터의 Web URL을 직접 연결하였기 때문에 새로고침 버튼을 누르면 바로 갱신됩니다. Power BI
Service(web)로 배포한 경우, 무료 버전의 경우 하루 8번까지 새로고침 일정을 설정해 줄 수 있습니다.
• Q. 분석 모델을 구축하고 나서 다른 모델로 전환하는데 있어서 어려움과 극복방법은 무엇인가요?
• A. 굉장히 포괄적인 질문이시네요... ^^; 개인별로 어느 영역을 잘 하는가에 따라 다를 것 같습니다. 저는 Business Understanding, 즉 업무적인
이해와 분석의 목표를 정의하는 것이 가장 어렵다고 생각합니다. 모델 결과가 나왔을 때 해당 내용을 해석하여 다음 방향을 잡는 것도 여기에
포함될 것입니다. 어떤 분들은 데이터 정제 및 가공이 가장 힘들다고 하시기도 합니다.(셈플링 등을 포함하여...)
• Q. 방금 말씀주신 준비가 안되셨다는 부분은 추후에 다른 세미나 예정이 있나요?
• A. 현재까지 구체적인 일정은 정해지지 않았지만, 제공드린 링크에 나온 내용과 방금 소개드린 호출용 데이터셋 만드는 부분을 보시면 구현에
는 문제가 없으실 것으로 생각됩니다. 혹시 이해가 안 가시는 부분은 이메일로 문의하시면 답변 드리도록 하겠습니다.
- Power BI에서 Azure ML 모델 호출: https://docs.microsoft.com/ko-kr/power-bi/service-machine-learning-integration#invoking-the-azure-ml-
model-in-power-bi
• Q. 필터 기능 좀더 설명해 주시겠어요?
• A. Power Query에서의 필터 기능과 Power BI에서의 필터 기능이 상당히 다양합니다. Power Query 쪽은 데이터 준비 과정에서의 필터링이고,
Power BI 쪽은 보고서 작성/조회에서 사용할 수 있는 필터링 입니다.

65
COVID-19 관련 자료 링크
• Power BI와 Azure ML로 코로나-19를 분석해 봅시다.pdf
• COVID-19_Analytics.pbix
• GSH_Index.csv
• DAX.txt
• 참조링크.txt
• Data_Visualization_JumpStart제안.pdf

Azure ML과 PowerBI로 분석 예측하는 COVID-19

Azure ML과 PowerBI로 분석 예측하는 COVID-19

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Azure ML과 PowerBI로 분석 예측하는 COVID-19

Similar a Azure ML과 PowerBI로 분석 예측하는 COVID-19 (20)

Más de BESPIN GLOBAL

Más de BESPIN GLOBAL (11)

Azure ML과 PowerBI로 분석 예측하는 COVID-19