Más contenido relacionado La actualidad más candente (9) Similar a How We Prepared Etu Hadoop Competition 2014 (20) How We Prepared Etu Hadoop Competition 20144. Hadoop Experience
• qrtt1
• 從Hadoop 1.x就說要玩Hadoop,但⼀一直沒玩
• Study
• 裝過CDH、略懂Hadoop 1.x
• 介接過Hive、⽤用sqoop轉置過RDBMS資料
• Lu
• 聽⼈人家說過Hadoop
11. 決賽說明會前分⼯工
• qrtt1!
• ⼿手⼯工架Hadoop Cluster!
• 架設KDC!
• HA、Kerberos Setup & Usage!
• Study!
• 準備與參賽環境相似的測試機!
• 準備CDH & CentOS repository mirror!
• 玩各種Hadoop distribution (CDH、HDP與BigTop)!
• Performance Turning & Testing!
• HA & Kerberos Usage!
• Lu!
• ⼿手⼯工架Hadoop Cluster!
• 測試Hadoop參數
12. 測試機 v1
• Type 1 Hypervisor: VMware ESXi 5.5
• CPU: Intel i5 760
• RAM: 16 GB
• HDD: 2 TB * 2
16. 測試機 v2
• Host: CentOS 6.5 x86_64 Desktop
• Type 2 Hypervisor: Oracle VirtualBox 4.3.12
• CPU: Intel i5 760
• RAM: 32 GB
• HDD: 2 TB * 4
20. Before The Final Game
We Know
• 單⼀一台⼤大VM⽐比四台⼩小VM快上數倍
• CDH預設不允許使⽤用系統使⽤用者hdfs做某些操作
• VirtualBox
• JBOD無顯著效果
• ⽐比ESXi VM慢很多,且不時無回應
• Shared Folder權限更改無效
• VM互傳資料速度約30MB/s
24. Troubleshooting
• HDFS寫⼊入30 * 3G的資料,我們準備的VM硬碟配置只有80 GB
• Mount new virtual disks
• Stop Kerberos
• Reformat HDFS
• Start Kerberos
• 最後把HBase弄掛了
• 使⽤用snapshot還原VM
29. 參考資料
• Etu Hadoop Competition 2014
• http://ehc.etusolution.com/index.php/tw/
• ⾨門外漢的 Hadoop 部署⼤大賽(上)
• http://www.codedata.com.tw/social-coding/contest-of-
hadoop-layman-1/
• ⾨門外漢的 Hadoop 部署⼤大賽(下)
• http://www.codedata.com.tw/social-coding/contest-of-
hadoop-layman-2/