ESD 2012 Keynote: What Is the next Big Data?

What Is the
next Big Data?
Etu 負責人蔣居裕

Dec. 20, 2012

自我介紹
蔣居裕 (Fred Chiang)
• Etu 負責人

• Hadoop Big Data 傳教士

• Big Data Taiwan 社群發起人

• 《 Fred 豢養的雲中象》—
台灣唯一專寫 Big Data 的非純技術部落格

2

大綱
• 2012 台灣 Big Data 市場發展檢視

• 2013 台灣 Big Data 市場趨勢預測

• Etu Solution Day 2012 活動預覽

• Etu 2013 發展方向

3

2012 台灣 Big Data 市場發展檢視

4

2012 台灣 Big Data 元年
五大趨勢預測實現強度

5

2013 台灣 Big Data 市場趨勢預測

6


1. 本地不同行業的 Big Data 應用案例，將一一浮現

數據報酬將能具體地被檢視。電信、電子商務、零售、製造、金融、政府將是
領航的焦點領域。

7


2. “Medium” Data 出現在更多企業 Big Data 應用場景

”Big” 的迷思，用 3V 模型來明辨。

8

Big Data 要處理的三個面向：3V

Velocity
處理時效

2.

3.
1.
Volume
Variety 資料量
資料格式

9


3. Hadoop 相關專業教育訓練課程漸熱

讓企業與個人得以擁有較方便學習 Big Data 處理與系統管理的管道。

10

從一隻大象到一個動物園，生氣盎然

機器學習

分散式儲存 HDFS 資料採擷
高階查詢語言 (SQL-like)
平行運算框架 MapReduce

數據倉儲
數據序列化

但架構與管理難度頗高
分散式資料庫 (NoSQL)
資料獲取與監控

資料流程
hiho oozie
Sqoop Cascading
Flume Hue ZooKeeper
Scribe Solr
動物園管理員

11


4. 從 Quantified Self、Open Data、Enterprise Data、
到 Internet-scale Data，資料分析蔚為顯學

個人、企業、社會、國家、世界，各種面向的數據價值挖掘工程持續建構。

12

洞察自己
RescueTime

13


5. Open Data 方興未艾，各級政府、不同部門的開放策略
與腳步不一，來自民間的挑戰也不斷

隨著非營利與商業應用需求的增加，以及為求較佳的使用者體驗，不同公部門
將面臨資料開放政策與作法上的挑戰。

14

Etu Solution Day 2012

15


16


1. 一客一市場 — 具精準推薦本領的個人專屬導購員 Etu Recommender
焦點行業：電子商務、零售業
2. 高科技產業資料分析解決方案
焦點行業：高科技製造業
3. Etu DW Offload 解放資料倉儲的運算效能
焦點行業：電信、金融 Demos
4. Trinity BDM 橋接傳統與未來 Booth
焦點行業：電信、金融、製造
5. Big Data 視覺化分析解決方案
焦點行業：整體行業
6. Mobile LPR - Big Data 影像資料的車牌分析應用
焦點行業：政府、交通運輸
17

Etu 2013 發展方向

18

Etu 2013 主力：一平台 + 一方案

19

Etu 2013 關鍵字

• 整合
• 一橫多縱
• 夥伴價值

20

多結構整合：從 Hadoop Big Data 到 Total Data
聲音檔案
影片檔案 OLTP
圖形檔案 Web, Mobile,
CRM, ERP,
 SCM, … 商務交易
文件檔案
文字資料回饋/歷史資料與
XML檔案行為互動
Web Logs
點擊事件
New
SQL NoSQL
SQL
社交網路
關聯圖譜
Big Data 
新聞 Feeds 精煉處理場預處理
 EDW MPP
New

感應器多結構資料 SQL

嵌入設備儲存/彙整/轉換/運算 
RFID Tags
商業智慧傳統 ETL
地理資訊  與
GPS 點位回饋/歷史資料
線上分析
Dashboard,
事件 Report,
其他 Visualization, … OLAP

Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture

三種溫度資料的整合
Hot / Warm / Cold Data
Hot Data
線上結構化資料 RDB DW DW
DW DW
MPP
DW
SQL-based DB
OLTP / OLAP

HBase Hive Pig
Warm Data
線上半/非結構化資料 Map
Reduce
Map
Reduce
Map
Reduce

Hadoop-based HDFS HDFS HDFS
Online Query / Analytics

Cold Data Backup/Archive with SAN, NAS,
Cloud Storage, or Tape
離線資料
23

三種溫度資料的整合
Hot / Warm / Cold Data
Hot Data
線上結構化資料 RDB DW DW
DW DW
MPP
DW
SQL-based DB
OLTP / OLAP

HBase Hive Pig
Warm Data
線上半/非結構化資料 Map
Reduce
Map
Reduce
Map
Reduce

Hadoop-based HDFS HDFS HDFS
Online Query / Analytics

Cold Data Backup/Archive with SAN, NAS,
Cloud Storage, or Tape
離線資料
24

Etu Offering 發展：一橫多縱

行動商務廣告投放

電信營運製造/金融電子商務

Work with
ISV Partners Etu Recommender 精準推薦解決方案

Etu Appliance
25

Etu Appliance

Hadoop Big Data 運算平台首選

不可能更容易
1 U 節點可處理 4 ~ 40 TB

• Scalability - 公有雲等級的運算架構
• Reliability - 電信等級的系統品質
• Performance - 企業等級的創新績效

26

Etu Appliance 於 10 月初獲得

27

Etu Appliance 於 10 月底又獲得

系統、應用、工具軟體類

28

Etu Appliance 於 12 月初又獲得

平台組

29

Etu Recommender 精準推薦解決方案

一客．一市場

30

建構 Etu Ecosystem

 ISV for Hadoop-based Application Development

 SI/VAR for Hadoop-based Solution Integration

 Reseller for Etu Appliance

Partner Enablement: Solution． Skill．Support

31

建構 Etu Ecosystem

Partner Enablement: Solution． Skill．Support

32

台灣唯一的 Big Data 認證課程
Etu Big Data Hands-on Training Level 1
手作初級體驗課程

Etu Big Data Hands-on Training Level 2
手作進階 - 企業應用實作課程
FB 粉絲頁：http://www.facebook.com/etusolution

33

如果您只記得 3 件事

1. 2013 延續 Big Data 元年的發展，市場持續向上，
為往後的大爆發做準備。

2. Etu 的「一橫多縱」策略，將展現 Big Data 應用的
價值與精彩。

3. Etu 與夥伴攜手，為企業 Big Data 而服務。

34

Merry X’mas

闔家平安．收穫滿滿

35

ESD 2012 Keynote: What Is the next Big Data?

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (13)

Destacado

Destacado (20)

Similar a ESD 2012 Keynote: What Is the next Big Data?

Similar a ESD 2012 Keynote: What Is the next Big Data? (20)

Más de Fred Chiang

Más de Fred Chiang (16)

ESD 2012 Keynote: What Is the next Big Data?