실무로 배우는 빅데이터 기술 확장 - 2편 스쿱(Sqoop)-Import 활용 Sqoop-Import - Hadoop에서 RDBMS의 대용량 데이터셋을 Import 하는 기능

1. 빅데이터 ~ 머신(딥)러닝
실무로 배우는 빅데이터 기술
 스쿱(Sqoop)-Import 활용
☆ 확장하기 - 2편 ☆
김강원

2. 스쿱-Import 는?
Hadoop에서 RDBMS의 대용량 데이터셋을 Import 하는 기능
※ Sqoop의 기본 개념과 기능들은 구글링을 통해 확인 하세요!

3. 파일럿 프로젝트 확장 (1/2)

4. 책 360 페이지 중에서… (개정판)
스쿱 – Import 활용
파일럿 프로젝트 확장 (2/2)

5. 확장편 실습
스쿱 – Import 활용

6.  Server01 접속
 DB Driver 복사
$ cp /opt/cloudera/parcels/CDH/jars/postgresql-9.0-801.jdbc4.jar
/opt/cloudera/parcels/CDH/lib/sqoop/lib
Step-1
 PostgreSQL의 접속 계정/비번 확인
$ cat /var/lib/cloudera-scm-server-db/data/generated_password.txt
Step-2
 PostgreSQL 접속
$ psql -U cloudera-scm -p 7432 -h localhost -d postgres
Step-3

7.  Import 할 데이터 확인
postgres=# select * from smartcar_symptom_info;
Step-4
 PostgreSQL  HDFS로 가져오기(Import) 실행
$ sqoop import --connect jdbc:postgresql://127.0.0.1:7432/postgres --username cloudera-scm --
password Cw1zSFSFy6 --target-dir /pilot-pjt/collect/sqoop/car-symptom --query "select * from
smartcar_symptom_info where $CONDITIONS AND speed_p_symptom = '비정상'" --num-
mappers 1
Step-5
 Hue에서 데이터 확인
http://server02.hadoop.com:8888
Step-6

8. 실무로 배우는 빅데이터 기술
확장하기 2편 – Sqoop Import 활용
[ 강의자료 ]
 동 영 상: 유튜브 www.youtube.com
 실습문서: 슬라이드쉐어 www.slideshare.net