1.
GitHub & Facebook 프사• ( 1 !)
• contributor
• :
- Machine Learning
- Online Analytical Processing (OLAP)
- Data Warehouse
- Deep Learning for:
‣ Image Retrieval
‣ Music Information Retrieval (MIR)

2.
‣
‣
‣
‣

3.
‣
‣

4.
저는 Spark로 머신러닝 입문했습니다..

5.
‣
‣
‣
‣

6.
‣
‣
‣
‣

7.
‣
‣
‣
‣
‣
Spark는 13,279개
1위는 TensorFlow: 별 61,725개 (넘사벽)
사용해보시면 Spark ML은 갈 길이 멀다는 것을 알게됩니다..

8.
껌이네~

9.
‣
‣
‣
‣
인간은 실수를 저지르기 마련...

10.
‣
‣
‣
‣
‣
결과 보려고 다시 돌리는 짓 안해도됨...
이외에도 장점이 매우 많지만, ML에서의 장점들 입니다
긴 전처리 코드를 나누어 저장하면 좋겠죠?
저는 이 기능을 사랑합니다

11.
제가 추천하는

12.
전역변수 쓰지마!

13.
‣
‣
‣
제 경험... 디버깅 한참함...

14.
Solution! Zeppelin의 똑똑한 기능

15.
‣
‣
‣
‣

16.

17.
‣
‣
‣

18.
‣
‣
4.0 0.1 0.3 2.0 0.1

19.
‣
‣

20.
‣
‣
‣
‣
➡

21.
“the cat sat on the”

22.
‣
‣
‣

23.
OMG

24.
Word2Vec
• : ,
• Bolukbasi, Tolga, et al. "Quantifying and reducing stereotypes in word
embeddings." arXiv preprint arXiv:1606.06121 (2016).
‣ FATHER:DOCTOR=MOTHER:?
‣ NURSE

25.
https://github.com/uosdmlab/nsmc-zeppelin-notebook/

26.
0.Settings
• Spark version: 2.2.0-rc5
‣
- Word2VecModel$findSynonymsArray
- LinearSVC
• Zeppelin version: 0.8.0-SNAPSHOT
‣ master
- Helium visualization package “zeppelin-highcharts-bubble”
..
후에 Word2Vec 시각화한 것을 보시면 왜 사용했는지 이해가 가실겁니다..

27.
‣
‣
‣
‣
감사합니다 ㅠㅠ

28.
1.NSMC
• NSMC
• Null
• Parquet ( )
‣ Spark Parquet
-

29.
‣
‣
‣
제가 만들었습니다 ㅎ

30.
2.Spark NKP
• Tokenizer
• , +
•

31.
3.TF & TF-IDF
• :
‣ Spark NKP
‣ CountVectorizer TF
‣ IDF TF-IDF
• Spark Pipeline API
• TF & TF-IDF

32.
4.Word2Vec
• Hyper-parameters:
‣ Window size: 5 ( 5 , 5 )
‣ Vector size: 300 (300 word embedding)
‣ Iteration: 5 ( 5 )
•
‣ Word2VecModel$findSynonyms()
- cosine similarity

33.
참고로 한국어는 욕도 참 다양하고 word2vec은 욕도 잘 학습하더라는..

34.
5.Word2VecViz
• PCA (Principal Component Analysis)
300 word embedding 2
• Zeppelin TOP 50

35.
6.Classification
• TF & TF-IDF & Word2Vec
‣ ?!
• Word2Vec ?
‣ !
‣ embedding
• 7 :
‣ TF + Naive Bayes
‣ TF + SVM
‣ TF-IDF + Naive Bayes
‣ TF-IDF + SVM
‣ Word2Vec + Logistic Regression
‣ Word2Vec + SVM
‣ Word2Vec + Multilayer Perceptron (MLP)

36.
‣
‣
‣
‣
‣

37.
‣
‣
‣