1. SSD+Squidで画像をキャッシュしなイカ？
ピクシブ株式会社 藤本和寿(@phji)
2010/12/20 pixiv Tech Meeting

2. 自己紹介
藤本和寿
24歳
2010年4月ピクシブ株式会社入社
インフラ
新卒?

3. 話すこと
1. Squid, SSD
2. pixivの画像サーバの構成
3. pixivの画像サーバでのSSDの用途

4. Squid
Squid（スクウィッド）はプロキシ (Proxy) サーバ、ウェブキャッシュ
サーバなどに利用されるフリーソフトウェア。GPLでライセンスされて
いる。
http://ja.wikipedia.org/wiki/Squid_cache

5. Squid = イカ

6. 侵略!イカ娘
テレビ東京 月曜 26時00分 - 26時30分
http://www.ika-musume.com/

9. SSD
ピクシブでのSSDの用途
1. データベース
2. 画像の参照のキャッシュ
Real SSD C300 64GB
12000円ぐらい

10. SSD
SSDを使うとSquidのrebuildが早く終わる
rebuild:キャッシュ領域の再構築、ディスクに対してリードがすごく走
る
60GBのキャッシュ領域のrebuildにかかった時間
HDD:20分
SSD:5分

11. pixivの画像サーバの構成

12. SSDの用途1
pixivの画像のサイズは、オリジナルサイズ, mサイズ, sサイズ, 100
サイズ 等 13種類ある
その中でも特に s サイズ(サムネイルのサイズ)の参照頻度が高い

13. SSDの用途1
mypageを開くと私の場合、sサイズが13枚、100サイズが12枚

14. SSDの用途1
みんなの新着イラストを開くとsサイズの画像が20枚

15. SSDの用途1
昨日 12/19 23:30頃の1台のサーバの10万件のリクエスト
サイズ 回数
s 69093
64x64 5068
m 3433
100 2504
128x128 1509
s:PCのサムネイル
64x64:モバイルのサムネイル
m:PCサムネイルを押すと表示される

16. SSDの用途1
画像フロント(nginx)設定でsサイズの画像はSSDから参照させる
if ($request_uri ~* "_s.(jpeg|jpg|gif|png)") {
proxy_pass http://s_cache_server;
}
proxy_pass http://cache_server;

17. SSDの用途1
sサイズをキャッシュするサーバ
秒間の最大リクエスト数 : 630 requests / sec
ヒット率 : 97%

18. SSDの用途1
それ以外をキャッシュするサーバ
秒間の最大リクエスト数 : 125 requests / sec
ヒット率 : 91%

19. SSDの用途2
キャッシュサーバに使えるサーバがあまりない…
sサイズの画像を参照するサーバは効果があったため、キャッシュ
領域をHDDからSSDに置き変えてみる

20. SSDの用途2
HDDと同じweightで参照させると効果があるが、weightを上げると
キャッシュヒット率が下がる…
キャッシュ領域を大きくするため、HDD+SSDの両方を使う

21. SSDの用途2
200KB以下の画像はSSDから参照させ、それより大きい画像は
HDDから参照させる
10万件のリクエストのうち
200KB以下 200KBより大きい
リクエスト数 88813件 11187件
リクエストの合計 2466MB 5209MB
100KB以下 100KBより大きい
リクエスト数 79959件 20041件
リクエストの合計 1159MB 6515MB

22. SSDの用途2
squidの設定
cache_dir coss /var/spool/squid/ssd/coss_l 20480 max-size=204800
cache_dir coss /var/spool/squid/hdd/coss_l 20480 min-size=204800
max-size=8388608

23. ほぼ同じ数のリクエストをさばいているサーバ
HDD SSD+HDD

24. 結論
なんとかSSDでいい感じにスケールアップできているんじゃなイカ？

25. ご静聴ありがとうございました