”事業の成長と共に大規模で複雑なシステムとなっていった楽天市場。安定稼動を求められる一方で、時代にあわせた迅速な変化も求められている。楽天市場が模索している、変化に強い大規模WEBシステムについてお話します。” http://tech.rakuten.co.jp/rtc2009/subject.html#lecture_3

1. 楽天市場を取り巻く状況と開発
楽 天 株 式 会 社 開 発 部 仲 宗 根 徹 也 1

2. Agenda
自己紹介
楽天市場について
楽天市場のシステム
楽天市場の開発案件・運用
今後
2

3. 自己紹介
仲宗根徹也
楽天株式会社 開発部 所属
業務内容 : 楽天市場の開発・運用
2003年楽天株式会社へ転籍
3

4. 楽天市場について
サービス内容
日本最大の
インターネット
ショッピングモール
楽天市場出店企業数：
約31,000店
商品数：
約4,200万点
＜2009年10月13日現在＞
4

5. Empowerment
日本を元気にしたい!
5

6. 流通総額推移
(単位：億)
6638
6000
5369
5000
4236
4000
3000
3009
1899
2000
1124
1000 707
457
178
0
00 01 02 03 04 05 06 07 08
6

7. 楽天市場について
＜2008年＞
流通総額
6638億円
会員数
4700万人突破
年間受注件数
約8447万件
7

8. 楽天市場のシステム
 いわゆる一般的なWEBシステム
– JavaEE (J2EE)
• 楽天市場のコアとなるシステム
RMS（Rakuten Marchant Server）、店舗様ページ、買い物かご、会員システム、ポイント、
etc…
– LAMP
• さまざまなサービスを効率よく開発
• 標準化が進んでいる
8

9. 裏側
– 巨大なリレーショナルデータベース
– 多くの機能がAPI化されている
– システムの依存関係はかなり複雑化している
9

10. 楽天市場のシステム
100以上のドメイン
WebLogic Server
約900インスタンス
店舗ページ 商品ページ オークション 店舗編集 商品登録
買い物かご 共同購入 プレゼント 受注処理 各種API
ケータイ ・・・
64インスタンス
SunFire25K
10

11. 買い物かご処理量
2008年12月現在
月間購入件数 約900万件
ピークタイムの購入件数 1000件/分 以上
11

12. 楽天市場サービスへの要望
店舗様
– 「～の使い勝手を改善して欲しい」
– 「商品ページにレビューを出したい」
ユーザ様
– 「～な買い方はできないのか？」
12

13. 楽天市場サービスへの要望
さまざまなグループ事業
– 「楽天カードを持って無いユーザをターゲット
にバナー広告を出したい」
– 「APIの仕様変更があるので対応して欲しい」
社長
– 「スピード！スピード！スピード！」
13

14. 楽天市場システムへの要望
／⌒｀⌒｀⌒｀ ＼ ） １１月までにクーポンやるぞー
/ ヽ ヽ
( ノ⌒～⌒～⌒ヽ､ ) ）
ヽ/ ＼, ,／ iﾉ `ｖ'⌒ヽ／⌒ヽ／ ,. ‐- .. _
| <･>, <･> | .／ __ ｀` ｰ- 、
| ､ ,,,,(､_,),,, ﾉ| , ｨ／ ゝヽ￣ヽ ｰ- '
ヽ ﾄ=ﾆ=ｧ / _ ／ { {ヽ、_ ヽ' ﾉ_,.〉
＼ ｀ﾆﾆ´ ／-ｧー- ､＿ ... -‐ ' ヽヽ、 ｀＞､..ﾉ=┘
／｀ ┻━┻'_ ／ / / ／ _ノ ＼ `ｰ '!
, -‐ 7´/{⌒| ／ _/ ｊ ＞‐'
/ / /／| 〉‐ｆ／ ＼' ! , '´
/ ,' > .|/ ﾚ ﾟﾉ | ,.. -‐'"
/ { ヽ | 〉 ／＿＿ ｔ ,. -‐ ' ´
| ヽ| / ／ ' ` ヽ、 ／ ええええ
| ｀!/／ ／ さ・・さんかげつしかない
Σ(´д｀;) (´д｀;)
Σ (ﾟДﾟ;）
※フィクションです
14

15. 案件の特性
KPI
– 流通総額一兆円
• 転換率、ドロップ率、併売率などの流通貢献
• PV、会員獲得、グループ間連携
– コスト / 流通総額 1%以下
• 性能改善、コストパフォーマンス
– 稼働率 99.95%
• 再構築、冗長化
15

16. 案件の特性
法改正対応
– 薬事法
– 消費税法
– 特定商取引法
16

17. さまざまな要望に対して
短いものは１週間、長くても3ヶ月くらいの
プロジェクトを組んで実施
ブランチ分岐とマージの計画を立てたり、
依存関係に注意しながら
それを200人くらいでこなしている
17

18. とあるアプリのブランチ
18

19. 定期メンテナンス風景
19

20. ECサイトって
 お金のやり取りが
行われている場。
– 1分の障害停止が何百万～の
売上機会損失に繋がる
– 楽天の障害が店舗様の業績にも直結する
20

21. 運用
障害対応訓練などを定期的に行っている
トラブル時の初動、体制構築は俊敏
リリースは計画的に
手順作成、ダブルチェック、リハーサル
21

22. 開発、リリースサイクルのスピードが
求められている。
ビジネスチャンスを逃すわけにはいかない
22

23. とはいえ
安定稼動重視
開発スピード
23

24. 今後もこの複雑なシステム上で
行うのは困難
24

25. 目指すべき姿
開発生産性(保守性)高く
適切なコストで
– 安く出来るところは安く
– 守るべきところはしっかり守る
安定稼動
無限にスケール（流通3兆円でも耐える）
25

26. 教科書的ではない
新しい取り組みや発想も重要
複雑なものをシンプルに
26

27. やっていきたいこと
HTTPセッションを使わない買い物かご
– StatefulなWebAPIを作ってみた
(ロジック＋セッション管理)
– Statelessな買い物かごが作れるようになった
– ライトなつくりのUIアプリ
トランザクション範囲の見直し
– 2-Phase Commitも見直してみると、必要なかったり
– そもそも２PCやEJBを使わない前提で考えていきたい
27

28. やっていきたいこと
RDBMSに依存しないシステム
– 究極
– 整合性を確保でき、
データベースと非同期連携可能な
KeyValueStoreがあれば可能
– 海外での事例
28

29. 突然ですがクイズ
設問.１
– 商品名、価格、在庫数を表すテーブルを定
義しなさい。
商品
商品ID
商品名
価格
在庫数
29

30. 大規模なシステム、という前提になると、
こうするのが正しいかもしれない
商品 商品在庫
商品ID
商品ID
商品名 在庫数
価格
在庫数
- 情報が更新される頻度は - 不整合が許されない
かなり少ない 厳密に扱うべき情報
- たまに一括で更新 - 頻繁に更新される
30

31. 最後に
 楽天市場のシステムは、
楽天の成長を支えた要素のひとつです。
 現状のシステムのままでいいとは
誰も考えておりませんが、
簡単に変えられるものでもありません。
 大規模システムを考えてみたい、と思った方、
自分ならできる！と思った方、
敵が強ければ強いほど燃える方
31

32. 私達と一緒に！！
楽天 採用情報 検 索
32

33. ご清聴ありがとうございました。
33