SlideShare una empresa de Scribd logo
1 de 158
Descargar para leer sin conexión
SiteTag  系統
窮人調校法經驗談
Tsung
2013 / 10 / 05
 tsunghao@gmail.com
Who am
I
Work
SiteTag
I can do ....
Big Data
巨量資料
?
Big
Data
??
巨量
資料
???
想聽
什麼
不知道
該講什麼
資料
不同
處理方式
不同
被打臉
Big data別再濫用
So...
別管
大資料
了
小資料
整理
SiteTag
資料應用
解決
流量、備份
問題
窮人
系統架構
SiteTag
SiteTag
主站
Yahoo!
Adsense
Feebee
飛比價格
SiteTag
系統架構
簡介
What is
SiteTag
小資料
整理
網站標籤
自動產生器
演算法
產生標籤雲
標籤雲
認識網站
網站外掛
工具
機器
Apache
1
MySQL
2
問題
➢ Request
➢ 資料備份
( 寫入 )
Request
多
所有網站
PV 加總
備份
Replication
追不上MySQL InnoDB Replication Slave 太慢 跟不上解法
附加
條件
網站外掛
工具
網站外掛
?
回應
快
Connection
多
重點
Server
可以掛
網站外掛
必須活著
Question
?
架構
規劃
➢ Request
➢ 資料備份
資料 + 備份
快速回應
分析
DB 資料分類
➢ 急迫
➢ 不急
DB Table
➢ User 急
➢ Tag 不急
DB Table
➢ User ?? 萬
➢ Tag ?? 億
拆
讀寫
分離
➢ U / T Table
➢ User DB
➢ Tag DB
備份 ?
Tag DB
設定
Replication多重
Tag / User
損毀 ?
Backup
暫頂
Question
?
➢ Request
➢ 資料備份
Request
太多
需求
➢ 連線多
➢ 回應快
➢ 不能掛
Browser Web Site
JavaScript Server API
➢ 靜態
➢ 動態
靜態
JavaScript
application/javascript
ExpiresDefault
A86400000000
?
X
網站外掛
工具
JS 修改
叫站長更新 ?
拔掉
找專業的 ...
CDN
➢ 連線多
➢ 回應快
➢ 不能掛
靜態
收工
Question
?
動態
快
網站外掛
?
即時計算VS
快
快
Cache
Cache
演進
APC
Alternative PHP Cache
include
require
apc_store()
apc_fetch()
APC
Configuration
apc.shm_size = 30
apc.ttl = 0
apc.gc_ttl = 3600
apc.enable_cli = 0
問題
Apache
restart
Memcached
distributed memory object 
caching system
RAM
爆炸
RAM
+++++
MySQL
Cache
MyISAM
快
CREATE TABLE `cache` (
`id` char(32) NOT NULL,
`data` text,
`expire` datetime NOT
NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM
QPS
4000+
注意
MyISAM
容易壞
回應速度
堪用
Cache
收工
動態
➢ 連線多
➢ 回應快
➢ 不能掛
分析
動態
➢ 即時更新
➢ 1 天更新一次
拆
即時
更新
GAEGoogle App Engine
1 天
更新 1 次
Cache
頂
動態
收工 ?
➢ 連線多
➢ 回應快
➢ 不能掛
連線多
+
MySQL 滿載
掛
分析
網站外掛
設計
Browser Web Site
JavaScript Server API
JavaScript
呼叫 API
APIhttp://api...../?
參數 =abc
Keyhttp://api...../?
參數 =abc
Value
Cache
CDN
?
CDN 
Cache
清除 ?
Purge
Key­Value
Purge
分散式架構
NoSQL
?
需備援 DB 的
NoSQL
➢ 連線多
➢ 回應快
➢ 不能掛
CDN
||
API + DB
Browser Web Site
JavaScript Server API
CDN
動態
➢ 即時 - GAE
➢ 1 天更新 - CDN
➢ 連線多
➢ 回應快
➢ 不能掛
動態
收工
Question
?
➢ Request
➢ 資料備份
SiteTag
收工
Yahoo!
Adsense
讀計
分離
Feebee
飛比價格
聯絡資料
Tsung
tsunghao@gmail.com
http://blog.longwin.com.tw

Más contenido relacionado

Similar a SiteTag 系統窮人調校法經驗談

How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet晨揚 施
 
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning ToolsWill Kuan 官大鈞
 
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseData Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseJack Gao
 
百姓网的网速优化之路
百姓网的网速优化之路百姓网的网速优化之路
百姓网的网速优化之路topgeek
 
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践hdhappy001
 
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践hdhappy001
 
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例Bob Chao
 
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享George Ang
 
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪台灣資料科學年會
 
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇Ethan Yin-Hao Tsui
 
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座NTC.im(Notch Training Center)
 
透過網路連線 MySQL 進行查詢會比較快嗎?
透過網路連線 MySQL 進行查詢會比較快嗎?透過網路連線 MySQL 進行查詢會比較快嗎?
透過網路連線 MySQL 進行查詢會比較快嗎?Cheyin L
 
赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展d0nn9n
 
如何实现登出按钮
如何实现登出按钮如何实现登出按钮
如何实现登出按钮LI Daobing
 
去哪儿平台技术
去哪儿平台技术去哪儿平台技术
去哪儿平台技术d0nn9n
 
淘宝网前端应用与发展
淘宝网前端应用与发展淘宝网前端应用与发展
淘宝网前端应用与发展taobao.com
 
Big pipe backend2
Big pipe backend2Big pipe backend2
Big pipe backend2锐 张
 

Similar a SiteTag 系統窮人調校法經驗談 (20)

Web-3.0.pdf
Web-3.0.pdfWeb-3.0.pdf
Web-3.0.pdf
 
How to run an AI Project @pixnet
How to run an AI Project @pixnetHow to run an AI Project @pixnet
How to run an AI Project @pixnet
 
Brian私房菜
Brian私房菜Brian私房菜
Brian私房菜
 
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
機器學習工具介紹 / 机器学习工具介绍 Demos for Machine Learning Tools
 
Data Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouseData Analyse Black Horse - ClickHouse
Data Analyse Black Horse - ClickHouse
 
百姓网的网速优化之路
百姓网的网速优化之路百姓网的网速优化之路
百姓网的网速优化之路
 
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
 
翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践翟艳堂:腾讯大规模Hadoop集群实践
翟艳堂:腾讯大规模Hadoop集群实践
 
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例
給 FLOSS 社群網站管理志工的網站分析入門 - 以 Google Analytics 為例
 
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享
腾讯大讲堂18 让我们戴上有色眼镜--qzone前台架构的优化分享
 
日新培训
日新培训日新培训
日新培训
 
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-崔殷豪
 
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇
從網頁存取記錄瞭解使用者行為與網頁區塊貢獻分析-實戰篇
 
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
淺談物聯網巨量資料挑戰 - Jazz 王耀聰 (2016/3/17 於鴻海內湖) 免費講座
 
透過網路連線 MySQL 進行查詢會比較快嗎?
透過網路連線 MySQL 進行查詢會比較快嗎?透過網路連線 MySQL 進行查詢會比較快嗎?
透過網路連線 MySQL 進行查詢會比較快嗎?
 
赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展赵泽欣 - 淘宝网前端应用与发展
赵泽欣 - 淘宝网前端应用与发展
 
如何实现登出按钮
如何实现登出按钮如何实现登出按钮
如何实现登出按钮
 
去哪儿平台技术
去哪儿平台技术去哪儿平台技术
去哪儿平台技术
 
淘宝网前端应用与发展
淘宝网前端应用与发展淘宝网前端应用与发展
淘宝网前端应用与发展
 
Big pipe backend2
Big pipe backend2Big pipe backend2
Big pipe backend2
 

SiteTag 系統窮人調校法經驗談