日本Hadoopユーザー会 ライトニングトーク＠Cloudera World Tokyo 2015　講演資料 「Hadoopのメンテナンスリリースバージョンをリリースしてみた」 NTTデータ 鯵坂明

1. Copyright © 2015 NTT DATA Corporation
2015/11/10
NTTデータ
鯵坂 明
Hadoopのメンテナンスリリース
バージョンをリリースしてみた
Cloudera World Tokyo 2015
ライトニングトーク

2. 2Copyright © 2015 NTT DATA Corporation
 Hadoopのメンテナンスリリースは少ない
直近のHadoopリリース (2015/7時点)
20152014201320122011
9.1.0
9.1.18
9.2.0
9.2.13
9.3.0
9.3.9
9.4.0
9.4.4
PostgreSQL
20152014
2.4.0
2.5.2
2.7.0 2.7.1
2.6.0
2.5.1
2.5.0
2.4.1
Hadoop

3. 3Copyright © 2015 NTT DATA Corporation
 特に、放置されているbranch-2.6をなんとかしたい
 だけど、コミュニティ全体の同意が必要
 敷居が高い
メンテナンスリリースを増やしたい

4. 4Copyright © 2015 NTT DATA Corporation
 嬉しい追い風
Hadoop SummitのBoFで、Yahoo!、Twitterなどのユーザ企
業から、もっとコミュニティでメンテナンスリリースを出せ
ないの? という議論があった
HBaseコミュニティから、2.6.1を出してくれるよう要請が
あった
メンテナンスリリースを増やしたい

5. 5Copyright © 2015 NTT DATA Corporation
 MLにメールを投げた
 協力者が募れたので、Hortonworks、Twitterのメンバと分担し
て2.6.1リリースの作業をした
メンテナンスリリースを増やしたい
In Hadoop Summit, I joined HDFS BoF and heard from Jason Lowe that
Apache Hadoop developers at Yahoo!, Twitter, and other non-distributors
work very hard to maintenance Hadoop by cherry-picking patches to their
own branches.
I want to share the work with the community. If we can cherry-pick bug fix
patches and have more maintenance releases, it'd be very happy not only
for users but also for developers who work very hard for stabilizing their
own branches.
(snip)
I would like to start the work from branch-2.6. If the change will be
accepted by the community, I'm willing to work for the maintenance, as a
release manager.

6. 6Copyright © 2015 NTT DATA Corporation
リリース作業
https://wiki.apache.org/hadoop/HowToRelease

7. 7Copyright © 2015 NTT DATA Corporation
 メーリングリストで、どのパッチを2.6.1に入れたいか確認
 全てのJIRAに"2.6.1-candidate"とラベリング (158件！)
 作業方針 & 分担どうするか決める by hangout
 自分がCommonのcherry-pickを担当する、ということは聞き取れた
 ただひたすらcherry-pick
 進捗管理: https://wiki.apache.org/hadoop/Release-2.6.1-Working-Notes
リリース作業

8. 8Copyright © 2015 NTT DATA Corporation
 JDK6対応 (2.6まではJDK6をサポート)
 try-with-resources statement が使えない -> 書き直す
 例外のmulti catch が使えない -> 書き直す
 java.nio.Files (NIO2) も使えない -> ...諦める
- Vinodさんが書き直した。すごすぎる (HADOOP-11934)
 手でrebaseしたパッチは必ずJIRAに添付
 後でtrackできるように
 依存関係に注意
 あるパッチを当てるために、別のパッチが必要
 あるパッチはあるバグを直すが、別のバグが出るので、それに対応する
パッチが必要
 依存関係がJIRAに書かれていないこともある
- 注意深くソースコードを追いかける
 困ったら、相談！
cherry-pickで気をつけること

9. 9Copyright © 2015 NTT DATA Corporation
 Release Candidateの作成
 Versionを"2.6.1-RC0"に設定
 Release dateを記入
 git tagを登録
 Maven artifactの登録
 GPG署名
 Vote
 期間(5日)内にPMCが「3人以上"+1"」かつ 「"-1"より"+1"が多い」
 初回は、NG (当てるパッチを間違えていた)
 RC1の作り直し
 Release
 Release dateを更新
 git tagを登録
 Distribution directoryにファイルを登録
 リリース告知！
RCの作成、投票

10. 10Copyright © 2015 NTT DATA Corporation
 2.6.1リリースで作業分担したTwitterの開発者が、2.6.2のrelease manager
をやりたいと申し出
 彼の尽力により、すでに2.6.2がリリース済 (2015/10/28)
 2.7.2も、もうすぐリリース！
2.6.1 リリース後

11. 11Copyright © 2015 NTT DATA Corporation
 Thanks Vinod Kumar Vavilavalli and Sangjin Lee, and all the
PMCs/committers/contributors who helped for the maintenance
release.
最後に
20152014
2.4.0
2.5.2
2.7.0 2.7.1
2.6.0
2.5.1
2.5.0
2.4.1
2.6.1
2.6.2
2.7.2

12. Copyright © 2011 NTT DATA Corporation
Copyright © 2015 NTT DATA Corporation