9. Wikimedia dump service
• 한 달에 두 번, dump file을 제작, 배포
• Pages-meta-currnet.xml.bz2
• 모든 문서의 최신 버전
• 25.2GB
• Pages-articles.xml.bz2
• 일반 문서의 최신 버전
• 전체 편집 역사는 들어있지 않음
• 12.0GB
https://dumps.wikimedia.org/enwiki/
10. Using WikiExtractor
• Install WikiExtractor
Git clone https://github.com/attardi/wikiextractor.git
Cd wikiextractor/
sudo python setup.py install
• Using
WikiExtractor.py -o enwiki enwiki-latest-pages-articles.xml.bz2
13. 검증 (02.20 / 04.20 / 06.01)
• Keyword
• 1) Japan
• 2) Summer
• 3) Text
• 4) Data
14. Word2Vec 결과 분석
• 왜 이런 값이 나왔는지?
• Training Set 크기에 따른 결과 분석
• 날짜에 따른 결과 분석
15. Wiki dump
• Wiki에서 만든 덤프를 이용해 text corpus생성
• Stemming, stopword 처리 X
• 12GB
• 20억개의 단어, 380만개의 단어 종류
16. 구현 이슈
• 한 덤프당 12GB.
• 학습시간 1시간(cbow, hierarchical softmax 적용)
• 시간에 따른 특성이 명확하게 보이지 않음
17.
18.
19. • 최신 문서임에 따라 overwatch 게임이 연관성을 띌것으로 기대
• 위키문서의 특성상, 오래된 정보도 새로운 정보와 동일한 학습
을 거치게 된다.
• 새롭게 update된 정보만을 학습하는 기법이 필요할것이라 생각
됨
20. • 한 덤프당 12GB를 차지하다보니 동시에 여러 학습을 진행하기
힘들다.
• 여러 가상머신을 사용해서 학습만을 진행하는 머신과 서버 역
할을 하는 머신을 구분할 필요가 있다.
21. Word Cloud 구현 목표
• 1. Dynamic Word Cloud 구현
• 2. 시간의 변화량 표현
• 직관적인 시각적 효과 적용
22. 1. Dynamic Word Cloud - 요구사항
• 일반적인 Word Cloud는 ‘단어’와 ‘단어의 빈도’가 기준.
• 우리가 목표로 하는 Word Cloud는 ‘키워드’와 ‘유사어 및 유사
도’를 기준으로 사용한다.
• 벡터화된 단어를 이해하고, 시간의 변화량을 표현할 수 있는
Word Cloud 라이브러리를 사용 또는 제작해야 한다.
23. Frequency와 Vector의 차이
• 지난 시간 질문 중
“Word2Vec을 이용한 Word Cloud는 어떤 의미가 있는가?”
• 단어를 Vector로 표현하여 Semantic을 고려할 수 있다.
• Google Hot Topic를 기준으로 활용
24. 2. 시간의 변화량 표현 - 요구사항
• 일정한 간격으로 수집된 데이터의 변화량을 어떻게 표현할 것
인가?
• 단어의 크기, 위치, 색 등 정적인 요소를 동적으로 변화시켜 시
간의 흐름을 나타낼 수 있다.
25. 3. 직관적인 시각적 효과 - 요구사항
• Word Cloud를 볼 사람들이 한눈에 제작자가 어떤 내용을 전달
하려 하는지를 이해할 수 있어야 한다.
26. 구현 이슈
• 다양한 Word Cloud 라이브러리가 존재한다.
• JS : D3-Cloud, WordCloud2.js
• Python : pytagcloud, wordcloud
• C# : Sparc.TagCloud
• 기존 라이브러리 사용 vs 자체 라이브러리 제작
27. 구현 이슈
• 기존 Word Cloud 라이브러리들은 정적 이미지만 제작이 가능.
• 기술적 요구사항인 “시간의 변화량 표현”을 충족하지 못함.
• 이를 만족하기 위해선 Word Cloud를 직접 만들어야 한다.
30. 개선점 및 향후 방향
• 다양한 DataSet 및 확장
• 보고서 등 활용할 수 있도록 다양한 시나리오
• Word Cloud 출력 형태 개선
31. 친절한 설명
• 1) 창의성
• 기존 Frequency 기반 Word cloud의 개념을 전복
• 퀄리티
• 2) 기술적 완성도
• 구현 및 테스트
• Word Cloud 자체 구현
• 3) 기여도
• Word2Vec 구현 정도에 따른 성능 비교
• 개선점 제안
• Wiki dump를 사용하기 위한 튜토리얼 제시
디지털 시대의 학습자는 영상, 디지털 매체를 비롯해 SNS, 클라우드 서비스 등을 통한 무한정의 데이터에 노출되어 있으며 이와 같은 환경의 변화에 따라 데이터 표현과 수용방식의 변화가 요구되고 있다. 다시 말해 수많은 정보들을 시각적으로 묘사하고 필요한 정보를 효율적이고 명확하게 제공하는 데이터 시각화의 필요성이 증가하고 있다. [1] 최근 빅데이터 기술시장의 성장과 함께 시각화 기술도 중요한 기술요소로 자리잡고 있다. 또한 전통적인 시각화 기술은 주로 시스템 로그나 실험 분석 결과 등에 대한 통계정보를 그래프로 보여주는 방식인데 반해, 빅데이터의 시각화 측면에서는 모든 데이터를 살펴보는 것에 제약이 따르기 때문에 시각화의 기술적인 요소와 더불어 데이터를 요약하고, 한 눈에 살펴볼 수 있도록 돕는 시각화 방법론적 요소의 중요성이 커지고 있다. [2] 데이터 시각화에서는 미적 형태와 기능성 두 가지를 모두 가져가는 것으로 대개 데이터들의 연결과 그룹핑을 표현하는데 초점을 둔다.[3]
디지털 시대의 학습자는 영상, 디지털 매체를 비롯해 SNS, 클라우드 서비스 등을 통한 무한정의 데이터에 노출되어 있으며 이와 같은 환경의 변화에 따라 데이터 표현과 수용방식의 변화가 요구되고 있다. 다시 말해 수많은 정보들을 시각적으로 묘사하고 필요한 정보를 효율적이고 명확하게 제공하는 데이터 시각화의 필요성이 증가하고 있다. [1] 최근 빅데이터 기술시장의 성장과 함께 시각화 기술도 중요한 기술요소로 자리잡고 있다. 또한 전통적인 시각화 기술은 주로 시스템 로그나 실험 분석 결과 등에 대한 통계정보를 그래프로 보여주는 방식인데 반해, 빅데이터의 시각화 측면에서는 모든 데이터를 살펴보는 것에 제약이 따르기 때문에 시각화의 기술적인 요소와 더불어 데이터를 요약하고, 한 눈에 살펴볼 수 있도록 돕는 시각화 방법론적 요소의 중요성이 커지고 있다. [2] 데이터 시각화에서는 미적 형태와 기능성 두 가지를 모두 가져가는 것으로 대개 데이터들의 연결과 그룹핑을 표현하는데 초점을 둔다.[3]
디지털 시대의 학습자는 영상, 디지털 매체를 비롯해 SNS, 클라우드 서비스 등을 통한 무한정의 데이터에 노출되어 있으며 이와 같은 환경의 변화에 따라 데이터 표현과 수용방식의 변화가 요구되고 있다. 다시 말해 수많은 정보들을 시각적으로 묘사하고 필요한 정보를 효율적이고 명확하게 제공하는 데이터 시각화의 필요성이 증가하고 있다. [1] 최근 빅데이터 기술시장의 성장과 함께 시각화 기술도 중요한 기술요소로 자리잡고 있다. 또한 전통적인 시각화 기술은 주로 시스템 로그나 실험 분석 결과 등에 대한 통계정보를 그래프로 보여주는 방식인데 반해, 빅데이터의 시각화 측면에서는 모든 데이터를 살펴보는 것에 제약이 따르기 때문에 시각화의 기술적인 요소와 더불어 데이터를 요약하고, 한 눈에 살펴볼 수 있도록 돕는 시각화 방법론적 요소의 중요성이 커지고 있다. [2] 데이터 시각화에서는 미적 형태와 기능성 두 가지를 모두 가져가는 것으로 대개 데이터들의 연결과 그룹핑을 표현하는데 초점을 둔다.[3]
이 중 2번까지 완료된 상태.
왜 이러한 목표를 선정하였는가? -> 요구사항에서 설명
여기부턴 이 목표를 세우며 고민했던 점들
d3-cloud 등 기존 라이브러리 사용시, Word Cloud에 사용된 데이터가 수정되면 반드시 새로 그려야 함.
이 과정에서 위치, 색 등 유지되어야 할 값들이 파괴됨.
색, 모양 등의 커스터마이징이 가능해야 한다.
한눈에 보고 단어를 읽기 쉬워야 한다.
다양한 언어가 다양한 Word Cloud 라이브러리를 가지고 있습니다.
우리 조는 기존 라이브러리를 활용할지, 자체로 제작할지 중 하나를 골라야 하는 상황에 직면했습니다.
Lorem, ipsum 등 가장 많이 등장하는 단어의 위치가 바뀌는 문제가 있으며, 이러한 변화가 연속적이지 않다 (사진 2장이 전부)
