1. Hadoop on LXC on
VirtualBox
カーネル /VM 勉強会 @ 関西 其の参
森 俊夫 @ 元徳島 / 現神戸
@forest1040

2. 自己紹介
• Id:forest1040 です。
• 徳島でフリーランスやってましたが、１年程前
に、神戸に引越しました。
• 本業は、 Web 系エンジニアです。最近
は、 JavaEE(JBoss Seam) や Play
Framework をよく使っています。
• 前に Node.js on Android とかやってまし
た。
#

3. システム構成
ノート PC （ OS ： Ubuntu 11.04 ）
CPU ： Core2Duo 1.8GHz メモリ： 4GB
VirtualBox （ OS ： Ubuntu Server 11.04 ）
メモリ： 2GB
IP 外側 :192.168.56.100( ホストオンリ )
IP 内側 :192.168.5.1(LXC ブリッジ )
VM0(Ubuntu) VM1(Ubuntu) VM2(Ubuntu) VM3(Ubuntu)
マスタ スレイブ 1 スレイブ 2 スレイブ 3
(192.168.5.10) (192.168.5.11) (192.168.5.12) (192.168.5.13)
・ NameNode ・ DataeNode ・ DataeNode ・ DataeNode
・ JobTracker ・ TaskTracker ・ TaskTracker ・ TaskTracker
#

4. LXC のインストール (1/2)
• 面倒なので、まず root になってしまう
$ sudo -i
• パッケージをインストール
# apt-get update
# apt-get install lxc debootstrap bridge-utils
• cgroup の作成
# mkdir /cgroup
# mount -t cgroup none /cgroup
# echo "none /cgroup cgroup defaults 0 0" >>
/etc/fstab
#

5. LXC のインストール (2/2)
• ブリッジネットワーク設定
# vi /etc/network/interfaces
auto br0
iface br0 inet static
address 192.168.5.1
netmask 255.255.255.0
network 192.168.5.255
post-up iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
post-up sysctl -w net.ipv4.ip_forward=1
pre-down iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE
pre-down sysctl -w net.ipv4.ip_forward=0
bridge_ports none
bridge_stp off
#

6. コンテナの生成
• とりあえず設定ファイルを作成
# vi /var/lib/lxc/natty-template-network.conf
lxc.network.type = veth
lxc.network.flags = up
lxc.network.link = br0
• コンテナ生成
sudo lxc-create -n vm0 -t natty -f
/var/lib/lxc/natty-template-network.conf
• コンテナ起動
sudo lxc-start -n vm0
#

7. コンテナの設定 (1/2)
• ネットワーク設定（ホスト側）
# vi /var/lib/lxc/vm0/config
## 以下を追加
lxc.network.ipv4 = 192.168.5.10/24
• ネットワーク設定（コンテナ側） 127.0.0.1 に
vm0 を設定しないこと
# vi /etc/network/interfaces # vi /etc/hosts
auto eth0 ## 127.0.0.1 localhost vm0
iface eth0 inet static 127.0.0.1 localhost
address 192.168.5.10
netmask 255.255.255.0 192.168.5.10 vm0
broadcast 192.168.5.255 192.168.5.11 vm1
gateway 192.168.5.1 192.168.5.12 vm2
192.168.5.13 vm3
#

8. コンテナの設定 (2/2)
• Hadoop ユーザの作成と鍵の生成
# useradd hadoop -m -g hadoop -s /bin/bash
# passwd hadoop
# su – hadoop
$ ssh-keygen -t rsa -P ""
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
$ chmod 600 .ssh/authorized_keys
## マスタとスレイブの相互に鍵を送っておく
$ cat ./.ssh/id_rsa.pub | ssh vm0 "cat >> ./.ssh/authorized_keys"
$ cat ./.ssh/id_rsa.pub | ssh vm1 "cat >> ./.ssh/authorized_keys"
#

9. Hadoop のインストール
• JDK1.6 のインストール
# apt-get install python-software-properties
# add-apt-repository ppa:ferramroberto/java
# apt-get update
# apt-get install sun-java6-jdk
• 必要なパッケージをインストール
# apt-get install sudo ssh ntp rsync curl wget
• hadoop パッケージのインストール
# vi /etc/apt/sources.list.d/cloudera.list
deb http://archive.cloudera.com/debian maverick-cdh3 contrib
deb-src http://archive.cloudera.com/debian maverick-cdh3 contrib
# wget -q http://archive.cloudera.com/debian/archive.key -O- | apt-key add -
# apt-get update
# apt-get install hadoop-0.20 #

10. 不要なサービスの停止
• avahi-daemon
• plymouth 関係
#

11. Hadoop の設定（共通）
• 設定ファイルの作成
# cp -r /etc/hadoop-0.20/conf.empty /etc/hadoop-0.20/conf.my
# update-alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf
/etc/hadoop-0.20/conf.my 50
# update-alternatives --display hadoop-0.20-conf # 設定を確認
• hadoop-env.sh
# vi /etc/hadoop-0.20/conf.my/hadoop-env.sh
export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
を追加 ## Ubuntu はデフォルトでは、 IPv6 で待ち受けるため（らしい。。）
• Master & slaves
# echo vm0 > /etc/hadoop-0.20/conf.my/masters
# echo vm1 > /etc/hadoop-0.20/conf.my/slaves
# echo vm2 >> /etc/hadoop-0.20/conf.my/slaves
# echo vm3 >> /etc/hadoop-0.20/conf.my/slaves
#

12. Hadoop 設定ファイル（ core-site.xml ）
各ホストに以下のファイルを作成
# vi /etc/hadoop-0.20/conf.my/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://vm0:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/lib/hadoop-0.20/cache/${user.name}</value>
</property>
</configuration>
#

13. Hadoop 設定ファイル（ hdfs-site.xml ）
各ホストに以下のファイルを作成
# vi /etc/hadoop-0.20/conf.my/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
#

14. Hadoop 設定ファイル（ mapred-site.xml ）
各ホストに以下のファイルを作成
# vi /etc/hadoop-0.20/conf.my/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>vm0:8021</value>
</property>
</configuration>
#

15. HDFS の設定
◇ 各ホストで以下を実行
# mkdir /var/lib/hadoop-0.20/cache/hdfs
# chown hdfs:hdfs /var/lib/hadoop-0.20/cache/hdfs
## ついでに hadoop ユーザのディレクトリもオーナを変更しておく
# chown hadoop:hadoop /var/lib/hadoop-0.20/cache/hadoop
◇ マスタで以下を実行
## NameNode のフォーマット
# sudo -u hdfs hadoop namenode -format
## NameNode と JobTracker をインストール
# apt-get install hadoop-0.20-namenode hadoop-0.20-jobtracker
# /etc/init.d/hadoop-0.20-namenode start
◇ スレイブで以下を実行
## DataNode と TaskTracker をインストール
# apt-get install hadoop-0.20-datanode hadoop-0.20-tasktracker
# /etc/init.d/hadoop-0.20-datanode start
#

16. HDFS の確認
• めんどくさいのでマスタに links をインストール
# apt-get install links
• links http://vm0:50070/ で確認
#

17. MapReduce の設定
◇ 各ホストで以下を実行
# mkdir /var/lib/hadoop-0.20/cache/mapred
# chown mapred:mapred /var/lib/hadoop-0.20/cache/mapred
◇ マスタで以下を実行
## mapred ディレクトリの作成
# sudo -u hdfs hadoop dfs -mkdir /var/lib/hadoop-0.20/cache/mapred
# sudo -u hdfs hadoop dfs -chown mapred:mapred
/var/lib/hadoop-0.20/cache/mapred
◇ スレイブで以下を実行
# /etc/init.d/hadoop-0.20-tasktracker start
#

18. MapReduce の確認
• links http://vm0:50030/ で確認
#

19. デモ
-- 円周率の計算
hadoop jar /usr/lib/hadoop-0.20/hadoop-examples.jar pi 10 1000
-- 3MB のファイルを 10 個、書き込む
hadoop jar /usr/lib/hadoop-0.20/hadoop-*-test.jar TestDFSIO -write -nrFiles 10 -fileSize 3
-- 3MB のファイルを 10 個、読み込む
hdfs hadoop jar /usr/lib/hadoop-0.20/hadoop-*-test.jar TestDFSIO -read -nrFiles 10
-fileSize 3
-- RandomWriter に random-data というディレクトリへ出力を書き出させる
hadoop jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar randomwriter random-data
-- Sort プログラム
hadoop jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar sort random-data sorted-data
-- 確認
hadoop jar /usr/lib/hadoop-0.20/hadoop-*-test.jar testmapredsort -sortInput
random-data -sortOutput sorted-data
#

20. 今後の目標
• Hadoop のマークベンチ
• CEP 系分散処理ソフトウェアの評価
（ Storm 、 Jubatus 、 Yahoo S4 等、）
• CloudFoundry on LXC
• 分散処理系ではありませんが、 WebRTC にも注目
しています。
#

21. 参考 URL
• 貧乏人のための仮想環境
http://d.hatena.ne.jp/forest1040/20120306/1331021930
• 4 台構成の Hadoop を 100 分で試してみる
(CentOS + Cloudera)
http://saburi380.blogspot.jp/2009/11/1004hadoopcentos-cloudera.html
• 完全分散モードの Hadoop NameNode 導入
（ Ubuntu10.04 、 CDH3 ）
http://www.mwsoft.jp/programming/hadoop/namenode_install.html
• 完全分散モードの Hadoop JobTracker 導入
（ Ubuntu10.04 、 CDH3 ）
http://www.mwsoft.jp/programming/hadoop/jobtracker_install.html
#

22. 今後の目標
• Hadoop のマークベンチ
• CEP 系分散処理ソフトウェアの評価
（ Storm 、 Jubatus 、 Yahoo S4 等、）
• CloudFoundry on LXC
• 分散処理系ではありませんが、 WebRTC にも注目
しています。
#