1. Shib:
WebUI tool provides crossover
of Hive and MPP
@tagomoris
2014/07/08
Hadoop Conference Japan 2014 LT
14年7月8日火曜日

2. @tagomoris
LINE Corporation Analytics PlatformTeam
14年7月8日火曜日

3. 14年7月8日火曜日

4. 14年7月8日火曜日

5. 14年7月8日火曜日

6. Shib:
WebUI tool provides crossover
of Hive and MPP
14年7月8日火曜日

7. 14年7月8日火曜日

8. 14年7月8日火曜日

9. 14年7月8日火曜日

10. Hive Clients
•Hive CLI / Beeline
•Hue (Beeswax)
•Other (Shib,WebHive, ...)
14年7月8日火曜日

11. Troubles 1.
hive> SELECT param, count(*)
FROM tbl WHERE .... GROUP BY
param;
14年7月8日火曜日

12. Troubles 1.
(40 minutes later...)
14年7月8日火曜日

13. Troubles 1.
VALUE10032 1
VALUE10033 1
VALUE10034 2
VALUE10035 1
VALUE10036 1
VALUE10037 1
VALUE10038 508
VALUE10039 1
VALUE10041 2
Time taken: 2263.201 seconds
hive>
14年7月8日火曜日

14. Troubles 1.
VALUE4932 1
VALUE4933 1
VALUE4934 2
VALUE4937 1
VALUE4938 1
VALUE4942 1
VALUE4943 1
VALUE4944 1
VALUE4945 2
VALUE4946 1
VALUE4947 1
14年7月8日火曜日

15. Troubles 1.
Save all of your query’s results
AUTOMATICALLY
14年7月8日火曜日

16. Troubles 2.
hive> alter table tbl drop
partition (....);
hive> drop table tbl;
14年7月8日火曜日

17. Troubles 2.
Separate Query executor
FROM Administrator’s Client
14年7月8日火曜日

18. Troubles 3.
hive> set
mapred.job.priority=‘VERY_HIGH’
;
hive> SELECT ....
14年7月8日火曜日

19. Troubles 3.
hive> create temporary function
foobar as ‘....’;
hive> SELECT foobar(param) ...;
FAILED: SemanticException
[Error 10011]: Line 1:96
Invalid function ‘foobar’
hive>
14年7月8日火曜日

20. Troubles 3.
Enforce well-configured environment
for almost all of daily queries
14年7月8日火曜日

21. Troubles 4.
Hey, please count yesterday’s logs.
Sure. Wait few minutes...
(10 minutes later...)
Done.
Could you send me by .xlsx?
Ah....
14年7月8日火曜日

22. Troubles 4.
Could you send me by .xlsx?
(copy files from HDFS)
(open TSV files)
(paste all lines on Excel)
(open mailer and write e-mail)
(send a mail)
Ah....
OK. Of course.
14年7月8日火曜日

23. Troubles 4.
(paste all lines on Excel)
(open mailer and write e-mail)
(send a mail)
(find to miss to attach xlsx)
(send a mail again)
14年7月8日火曜日

24. Troubles 4.
Could you send me by .xlsx?
(15 minutes later...)
Ah....
OK. Of course.
Done!
14年7月8日火曜日

25. Troubles 4.
(15 minutes later...)
Done!
Oh, I also need result about the day before
yesterday!
14年7月8日火曜日

26. Troubles 4.
Make all queries shared with
permalink and user-friendly formats!
14年7月8日火曜日

27. Troubles 4. (fixed)
Hey, please count yesterday’s logs.
Sure. Wait few minutes...
OK. I started query on this URL.
So download result after completion.
Estimated time is 10 minutes.
Thanks!
14年7月8日火曜日

28. Shib
14年7月8日火曜日

29. Shib
•Hive Web Client (w/ hiveserver1/2)
•Query permalinks
•Result datastore (TSV/CSV)
•“SELECT” only! (DDL prohibited)
•Database/table access control
•Query list sharing by tag
•HTTP Proxy API (POST to execute query!)
14年7月8日火曜日

30. Shib:
WebUI tool provides crossover
of Hive and MPP
14年7月8日火曜日

31. Shib
•Multi query engine support
•Switch between hiveserver and hiveserver2
•Facebook Presto support
•Switch between Hive and Presto!
14年7月8日火曜日

32. Shib will supports
more features.
Enjoy stress-less queries!
14年7月8日火曜日