SlideShare una empresa de Scribd logo
1 de 47
Descargar para leer sin conexión
GPU Accelerated
Bigdata Analytic DBMS
Powered by Megazone Cloud
초-거대(>1PB)
정형데이타 분석에 최적화
SQL DB
Documentation History
Revision Date Editor Contents Comment
0.1 2021-01-31 SQream Korea 최초 작성
0.3 2021-06-30 전성호 사례 추가 및 보강
0.5 2021-12-31 박문기 사례 추가 및 HW 보강
0.6 2022-01-31 김현준 사례 추가 및 HW 보강, SW 보강
1.0 2022-04-15 박문기 김현준님 자료와 합병
1.1 2022-05-13 박문기 Hadoop 시스템 개요 및 변천과정 추가
Revision History
Date Written by Documentation Title
2020-01-31 SQream Korea SQream
Original Documentation
회사연혁
o 2010년 설립
뉴욕 본사 7 WTC New York | 이스라엘 텔아비브 소재 연구소
o 2016년 상용화 버전 출시
o 2017년 Alibaba Partnership 체결
o 2018년 Alibaba 투자 유치
o 2019년 SQream Version 2 출시
o 2019년 02월 한국 LGU+ 수주
o 2019년 06월 SQream Version 3 출시
o 2020년 06월 투자유치 (B+, Mangrove Capital)
o 2020년 08월 한국 SK Telecom(주) 수주
o 2020년 12월 한국 KB Card(주) 수주
o 2021년 04월 한국 삼성디스플레이(주) 수주
4차 산업시대 DATA의 위치
정보화시대 쌀 반도체, AI시대 쌀 DATA
DATA
IT for Business IT is Business
Data for Business Data is Business
AI for Business AI is Business
AI, Open the age of wisdom
GPU/IPU-가속 활용영역 확장
1. Game, Rendering, Video
Transcoding, 암호화폐마이닝
2. AI Deep Learning
3. GPU Database
4. MCMC 금융공학(Quantec)
5. HPC Simulation(nFlow)
6. Live SR-(Expresso Media)
7. 메타버스
Hyper-Massive 정형데이타 처리에 최적화된 rDBMS형, GPU가속형 분석DB
SQREAM은 수백TB ~수백PB에 이르는 초-거대용량 정형데이타 분석용 SQL DBMS
분석DB
MPP Data Loading Problem
MPP 초당 150M(약 0.145G) * 60초 * 60분= 서버30대 시간당 512G 로딩 가능,
SQream는 100Gbps에 시간당 V100 GPU 1개당 2.5T~6T 로딩가능
SQream: GPU-Accelerated AnalyticDB
분석DB
GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬•분석DB
2005~
In-Memory
Omnisci
(MapD)
Kinetica
Aerospike
SAP HANA
VoltaDB
IBM-DB2 BLUM
emSQL
Altibase
2010~
MassiveData
1990~
MPP(EDW)
Teradata MongoDB
Vertica Redshift Or
acle-Exadata
IBM-Netezza
Greenplum
Sybase IQ
Oracle
DB2
SQLServer
Informix
Sybase ASE
SQreamDB
Hadoop-Hive
Snowflake
BigQuery
1970~
ClassicalRelational
2010~
NO-SQL
o 1) WIDE COLUMN DATABASE(Store)
Hbase, GoogleBigTable, Vertica,
Druid, Accumulo, Hypertable
o 2) GRAPH DATABASE
Neo4j, Blazegraph, OrientDB
o 3) DOCUMENT DATABASE(Store)
MongoDB, Azure CosmosDB, CouchDB,
MarkLogic, OrientDB
o 4) KEY-VALUE DATABASE(Store)
Cassandra, LevelDBRocksDB, Redis,
Oracle NoSQLDB,Voldemorte,
Oracle BerkeleyDB, Memcached, Hazelcast
RelationalDB NoSQL & Hadoop Public Cloud Only
GPU Database
GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB)  SQream AnalyticDB
Data Lake / Data Dam
EDW구축•분석을 위한 MPP 대체 SQREAM 위치
OLTP
Other Bigdata
Data
Integration
Data
Integration
Data
Warehouse
Data
Mart
Data Mining
Analytic
ETL

E,L
ETL

T
OLAP
ETL / CDC ETL / CDC
Bigdata Apache Hadoop Eco-System
Bigdata Apache Hadoop Eco-System
 왜이리 복잡한 것이야!! 우린 그동안 RDBMS만으로 잘 처리해 왔는데..
 정형, 비정형, 반정형 다 처리 잘 한다고, 그건 Naver나 Kakao, 우린 정형밖에 없어!
 Java로 MapReduce 분산Framework Program을 짜야 한다고,
 NO-SQL, Key-Value 중심이라고, RDBMS-SQL은 지원하는 것인가?
 대규모 분산 병렬이면서 대규모 Sorting, Joining, Grouping은 왜 이리 느린거지?
 왜이리 수 십대의 서버들이 필요한 것이지!!
 어 비용이 100억대야..참나!!
Column
DataLake, Bigdata(Hadoop) 정형데이타 처리부분  SQream 대치
Google
2003
Map
Reduce
GFS
(Google File
System)
Hadoop
MR1, Spark, Tez,
MPI4Dask
HDFS
(분산병렬스토리지시스템)
HIVE
(SQL-on-Hadoop)
Impala(클라우드데라)
Apache-Tajo(그루터)
Stringer(호튼웍스)
Drill(맵알)
HAWQ(피보탈)
Spanner(Google)
GPU 가속
분석DBMS
RDMA, RoCE
GPUDirect, GDS
YARN
Job Scheduler
HPC
SuperCom
MapReduce
Shared Memory
MPI
BSP
Lustre,
GlusterFS,...
LSF, Slurm Job
Scheduler
MR2
MR3
Key-Value Document
정형
반정형
비정형
PrestoTrino(Facebook)
Graph
Map
Reduce
V1 V2
SQream 분성DB 위치
Dataware house+Data Lake = Lakehouse: SQream의 위치
Lakehouse
EDW 아키텍쳐 SQream for LakeHouse
Warehouse+DataLake=Lakehouse
TELECOM
기존 업무 프로세스 대비 최대 32배 성능 개선 평가
기존 시스템 하둡 100대 서버 SQream GPU 서버 1대
업무 1일분석업무 시간분석업무 1일분석업무 시간분석업무
APP서비스 그룹별 분석 2:03:00 0:11:46 0:04:06 0:00:14
eNB 별 서비스 분석 1:48:00 0:12:28 0:24:46 0:01:13
단말기별 서비스 분석 0:52:00 0:06:49 0:05:24 0:00:15
요금제별 서비스 분석 1:10:00 0:07:29 0:19:06 0:00:53
장비별 트래픽 분석 NA 0:03:59 NA 0:00:30
IOT 단말 기반 POS별 서비스 분석 0:22:00 0:03:43 0:06:01 0:00:20
IOT 단말 기반 서비스 분석 0:23:00 0:04:50 0:05:16 0:00:17
CDR Data 합계 산정 결과 도출 불가 결과 도출 불가 0:00:21 0:00:10
CDR Data – 평균 구성 시간 분석 결과 도출 불가 결과 도출 불가 0:00:27 0:00:14
CDR Data – 통화시간 분석 결과 도출 불가 결과 도출 불가 0:00:25 0:00:13
데이터 조인 업무 결과 도출 불가 결과 도출 불가 0:02:21 0:00:54
기존 플랫폼: 하둡 100대 서버 노드 vs. SQream 플랫폼 GPU 서버 노드 1대
국내통신사 사례 (L사): 최대 32배 성능 개선
국내 “L통신사”
국내통신사 사례 (S사): 업무 개선 내역 상세
TELECOM
기존 Hadoop에서 어렵고 긴 분석 시간 단축을 위한 전처리 플랫폼 구축
국내 “S통신사”
업무 데이터기간 ORC
Flat File
(Raw Data)
데이터건수
기존 Hadoop
시스템
SQream DB 요약
Routine1
1일 68 GB 760 GB 40억 420초 55초
1일 데이터
최소 53초~
최대 59초의
실행시간 평균
17일 1.12 TB 12.54 TB 660 억 NA 60초
Routine2 17일 1.12 TB 12.54 TB 660 억 NA 1,260초
특정 테이블들을 대상으로 sub-routine 업무쿼리 실행
 1일 데이터 - 68GB ORC 파일, 약 40억건, 약 760GB Raw Data 대상 쿼리 실행
 17일 데이터 – 1.12TB ORC 파일, 약 660억건, 약 12.54TB Raw Data 대상 쿼리 실행
국내 제조사 사례 (S사): 업무 개선 내역 상세
72억건 데이타 적재・조회, Oracle ExaData 8대 vs. SQream 1대: SQ가 5배 속도 빠름
Business Units
Application
Layer
SQream을 통한 초고속 전처리 엔진 구성
SQream을 통한 초 고속 전처리 엔진 구
성
Marketing
Audit
Sales
Quality
ETC
Sorce Oracle
82 EA
Data Extract Data Load
제조사
.
.
.
금융권: IFRS17 보험 BEL 분석 PoC
보험사
미래현금흐름(BEL) 분석시간 기존 P.SQL 1h13m  SQ 1m20s 성능개선
국내 “G사”
o 지아컨설팅-KAS + SQREAM
벤치마크환경
진행사항
o 10만건 기-계약데이터에 미래현금흐름(BEL) 산출쿼리
o PostgreSQL(CPU) vs. SQREAM(GPU)
o PostgreSQL 10만건 동시 진행
o SQREAM 10만건 동시 진행
o SQREAM 5,000만건 진행
SQream DB (100,000)
PostgreSQL (100,000)
1m20s
1h13m
SQream DB (50,000,000)
3h13m
o 일반적으로보험사의현재계약건수는2억건이상.
o 2~3년전수행한IFRS프로젝트의목표수행시간은D+5~D+7임
o 2023년1월적용시작을위해서는최소1년간의테스트가필요하여아무리
늦어도2022년6월까지는도입완료하여야만함
o 매월1회수행및신규상품개발시몇번씩수행해야만함
AWS Aurora-PostgreSQL, VMWare Greenplum
국내 제조사 사례 (L사): 가전 정보 수집
전세계 백색 가전 데이터 수집 및 마케팅 활용, 사용자 편의 제공
제조사
AWS S3
SQream vs Cloud Based Bigdata System
SQream vs. Cloud Based Bigdata System
해외 사례
o 하루 종일 3G/4GL/5G 데이터 처리
량을 보여주는 대시보드 제공
o 이동통신 가입자 대상 네트워크
사용량 분석
o 약 43억건 (3000만명)
o AD-Tech 온라인 광고 극대화를 위
한 데이터 분석
o PT 규모 데이터 분석
해외사례들: SQream  MPP, Hadoop 대체
빅데이타 처리용 SQream 핵심 성능최적화 기법
SQREAM, 수백TB~수백PB에 이르는 초-거대용량 정형 데이터 분석용 GPU로 가속된 SQL DB 플랫폼
분석DB
I/O isolation: 저장, 입출력, 메모리간-이동
Parallelism: 병렬 분산 처리
SQream Analytic SQL DB 핵심기술
1 2
3
4
SQream Technology(1): GPU기반 Parallel Processing
• GP-GPU(General Purpose GPU, NVIDIA V100, A100, H100)기반의 벡터연산 + 선형대수연산(Data Processing, AI)에 적합한 GPU
• 수 천개의 병렬 프로세싱 코어들 – NVIDIA의 TESLA H100 모델은 16,896개의 Cuda Core수 제공
• GP-GPU HDM메모리 Throughput – ~900GB/s
• NVIDIA의 CUDA FRAMEWORK은 Massively Parallel Processing 기술 제공
• 대용량 통계학적인 분석 처리에 차별화(압축 알고리즘 처리 및 Group By 분류, Sum, Avg, Count, Max, Min 등)
AMD EPYC 9004 GENOA CPU 96 Cores
vs.
NVIDIA H100 GPU 16,896 FP32 CUDA Cores
SQream Technology(1): GPU기반 Parallel Processing Cores 비교
구분 서버 100대 MPP
서버 2대 SQream
w/ NVIDIA H100 GP-GPU 각 8개=총16개
CPU Core AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 100대 = 25,600 CPU Cores
AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 2대 = 512 CPU Cores
NVIDIA H100 GPUS:
16,896C x 8 x 서버 2대 = 270,336 GPU Cores
Memory DDR 512G x 10 = 5,120G DDR 512G x 2 = 1,024G
GPU HDM2 32G x 8 = 256G
DBEngine# 100 DBEngines GPU# 총 16개 * 최대 8 Engines = 128 DBEngines
10.5배
SQream Technology(1): 강력한 CPU+GPU 쿼리 성능
SQL컴파일러 및 최적화 도구 : 기존 SQL을 변경 없이 그대로 수행
o SQream DB는 기존에 사용하던 ANSI-92 기반 SQL 쿼리를
자동으로 병렬 처리가 가능한 관계형 대수 연산( Relation
al Algebra)용 쿼리로 사용자 개입 없이 내부 SQL 컴파일
러에 의해 CPU+GPU 자동 재-최적화 수행
o GPU Core는 최적화된 쿼리를 사용 대량의 병렬연산을
효율적으로 수행
o 주로 Filter, Join 등의 복잡한 작업들은 가산 및 곱셈과 같
은 수학적개념으로 대치되어 GPU 연산으로 뛰어난 효
과
CPU & GPU 동시 병행 처리 최적화
컬럼명 실행장소 설명
Rechunk
여러 개의 작은 청크를 모아 큰 청크로 재구성. 일반적으로 조인 후 및 HIGH_SELECTIVITY를 사용할 때 발견
됨
Reduce GPU GROUP BY와 같은 reduce 작업
ReduceMerge GPU 축소 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
ReorderInput 다음 작업을 준비하기 위해 인수 순서 변경
SeparatedGather GPU 결과에 대한 추가 column을 수집
Sort GPU 정렬
SortMerge CPU 정렬 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
SortMergeJoin GPU GPU에서 수행되는 sort-merge join
TakeRowsFromChunk ORDER BY와 함께 사용될 때 LIMIT를 최적화하기 위해 각 청크에서 처음 N 개 행을 가져옴
Top LIMIT 혹은 top 와 함께 사용할 때 크기를 제한
UdfTransform CPU 사용자 정의 함수(UDF)를 실행
UnionAll UNION ALL이 사용될 때 두 데이터 소스를 결합
VarCharJoiner Internal하게 사용됨
VarCharSplitter Internal하게 사용됨
Window GPU Non-ranking 윈도우 함수 실행
Window Ranking GPU Ranking 윈도우 함수 실행
WriteTable CPU 결과 집합을 디스크에 저장된 표준 테이블에 기록
H/W: HBM(High bandwidth Memory) GPU Memory
o NVIDIA GP-GPU 계열은 HBM(High Bandwidth Memory) 사용
o D램을 여러 개 쌓아 한 번에 전송할 수 있는 데이터의 용량(메모리 대역폭)을 크게 늘린 메모리 확장구조
o 수직으로 RAM을 쌓기 때문에 RAM과 GPU 간 거리와 회로 길이를 과감하게 줄이고, 메모리의 집적도 역시 높일 수 있음
o GDDR 방식보다 와트 당 성능이 3.5배 증가하고 소비 전력 역시 훨씬 낮으며 보드의 표면적을 94% 줄일 수 있음
H/W: GPU 서버 구성과 속도차이
H/W+S/W: RDMA NIC(SQ-SQ Cluster간, SQ-병렬분산스토리지와 통신)
• RDMA(Remote Direct Memory Access) NIC(Network Interface Card)
 InfiniBand(IB)-Mellanox
 iWRAP-Intel
 RDMA over Converged Ethernet(RoCE)-STD
NO RDMA RDMA
H/W+S/W: GPUDirect over RDMA NIC
o NVIDIA GPU의 GPUDirect RDMA(Remote Direct Memory Access)기반
o 기존의 방식의 경우 Data 를 GPU Memory 에 load 할 때 CPU 와 PCIe bus 를 거치는 2번의 복사 과정을 진행
o NVIDIA GPUDirect RDMA 기술이 도입된 SQream 의 경우 CPU 와 System Memory 를 사용하지 않고
PCIe bus 를 통해 직접적으로 GPU Memory 에 Direct load 됨
o 데이터 전송 시 병목 현상 최소화
o 사용하지 않는 CPU 와 System Memory 에 다른 작업 수행 가능
H/W+S/W: GDS(GPUDirect Storage)
o 많은 분석계 기반 (EDW, DM 등의 정보계) 데이터베이스에서
채택됨.
o Column계열 데이터베이스 예) Sybase IQ, Vertica, SAP HANA 등
o 빅데이터 분석에 매우 적합함 – 일별•계정별 집계 등
o 데이터 locality가 높기 때문에 “압축율”이 높음
o 필요한 컬럼만 액세스하여 "I/O 감소"
SQream Technology(2): COLUMNAR
SQream Technology(3): CHUNKING
컬럼 단위 평균 100만 건 묶음 “Chunking”기술
o 컬럼구조로 저장되는 데이터 구조는 100만건수 단위로 “Chunking” (수평적인
세그멘테이션) 되어 관리 됨
o SQREAM 데이터베이스는 기본적으로 “Chunk” 단위로 데이터를 Scanning 하고
시스템 메모리, 그리고 GPU 메모리에 프로세싱을 위하여 주입함
Table
Table
Chunks
Columns
 GPU 리소스를 효율적으로 사용할 수 있도록 Chunk 단위 데이터 Store 및 Read
o Sqream DB테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 좀더 늘릴 수
있도록 설계됨. Data Chunking은 Ingest(Loading)하는 동안 자동 수행
o 모든 컬럼 집합은 Data Chunk 단위로 스토리지에 저장
o 자동으로 수직•수평 파티셔닝을 수행하며, Columnar에 대한 선택적 접근 및 chunk
단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적
으로 처리
CHUNK METADATA
TABLE
SQream Technology(3): CHUNK + SMART METADATA
o 모든 chunk에는 해당 chunk 데이터에 대한 메타 데이터
존재(최대값, 최소값 등)
o 메타데이터엔 “Chunk”의 Min/Max 등의 정보가 관리 되며
Metadata 프로세스를 통해 분리 관리
o 이는 모든 컬럼엔 인덱스를 대신 하는 초경량의 정보
가 관리 된다는 의미이며 SQREAM의 차별화 된 I/O 분
산 및 최소화 기술
o 따라서 타 데이터베이스 솔루션 같이 무거운 인덱스의
자원 사용이나 관리가 필요 없음
o Example:
SELECT * FROM t WHERE YEAR>2017
(all chunks with YEAR<=2017 can be skipped)
day month year val1 val2 val3
 10 2017   
 11 2017   
 12 2017   
 01 2018   
 02 2018   
 03 2018   
READ
SKIP
Automatic, transparent, index replacement
SQream Technology(3): SMART METADATADATA SKIPPING
SQream Technology(2+3): Always on Compression저장량, 입출력량 감소
고속 데이터 Ingest 및 처리를 지원하는 GPU기반 압축∙해제
o SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축함
o GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제 가능
o 초고속 데이터를 로딩 ∙ 추출 가능(3~6TB/Hour/GPU당 ingest speed)
o 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4 ~ 1:7 의 압
축률과 알고리즘 적용(대략 100GB raw data 로드 시, 20GB 로 압축가능)
o DICT – Dictionary compression
o Patched Frame-of-Reference (p4d)
o RLE – Run Length Encoding
o Snappy – CPU-based text compression
o 저장용량 감소 및 입출력량 감소
소스 데이터
1PB
Data Data Data
Data Data Data
Data Data Data
SQREAM
데이터 - 15TB
Ingestion
SQream Technology(4): 무한 수평적 서버 확장 가능한 클러스터 아키텍처
o Shared-Storage 아키텍처 - 모든 노드에서는 같이 바라 볼 수 있는 공유 파일시스템이 요구됨
o SQream 자체 부하분산기(WLM, Server Picker)를 통해 워크로드는 현재 비어 있는 GPU Worker에 Assign 됨
o 특정 GPU에 Assign된 워크로드는 GPU를 전체를 다 쓰게 되며 수천 개의 코아를 통해 처리됨
o GPU는 최대 8조각까지 SPLIT 가능하며 이를 통해 Concurrency를 최대화하는 아키텍처로 융통성 있게 구성 가능
GPU Scale-Up, Server Scale-Out
병렬분산스토리지
Compute 노드# 
GPU 리소스# ↑ ↑ ↑(NVIDIA V100A100H100)
WLM (Work Loader Manager)
SQream Storage Cluster Shared File Area (ETL)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5060
W2
5007
Mem:2TB, Core: 32
/sqreamdb/cluster /data
etlgpu(x.x.x.101) qrygpu01(x.x.x.102) qrygpu02(x.x.x.103) qrygpu03(x.x.x.104) qrygpu04(x.x.x.105)
Web Service
Mem:244GB, Core: 64
sqleditor(x.x.x.100)
worker
sqream service
etl service
cluster
SQream Technology(4): SQreamDB 시스템 구성 예
Node:
1 Meta_Server
1 Server_Picker
다수 Worker들
SQream Technology(4): GPU당 다수 Worker들병렬처리 성능향상
o Worker는 SQL을 실행하는 SQreamDB의 프로그램으로 GPU당 1~8개로 분할 구성 가능, 아래 예제 구성은 GPU당 2개
Worker로 구성
Node Port # Instance ID GPU #
Worker
Node#1
5000 worker_01 0
5001 worker_02 0
5002 worker_03 1
5003 worker_04 1
5004 worker_05 2
5005 worker_06 2
5006 worker_07 3
5007 worker_08 3
Worker
Node#2
5000 worker_11 0
5001 worker_12 0
5002 worker_13 1
5003 worker_14 1
5004 worker_15 2
5005 worker_16 2
5006 worker_17 3
5007 worker_18 3
Node Port # Instance ID GPU #
Worker
Node#3
5000 worker_21 0
5001 worker_22 0
5002 worker_23 1
5003 worker_24 1
5004 worker_25 2
5005 worker_26 2
5006 worker_27 3
5007 worker_28 3
Worker
Node#4
5000 worker_31 0
5001 worker_32 0
5002 worker_33 1
5003 worker_34 1
5004 worker_35 2
5005 worker_36 2
5006 worker_37 3
5007 worker_38 3
Node Port # Instance ID GPU #
Worker
Node#5
5000 worker_41 0
5001 worker_42 0
Metadata_Server 3105 metadata server N/A
Server_Picker 3108 server_picker(WLM) N/A
SQream Technology(요약): 전체 데이타 처리 프로세스
o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨
o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨
o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨
o 메타데이터를 통해 데이터베이스 Scanning은 쿼리 조건과 상관없이 자연스럽게 Data Skipping 되어 처리
o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨
Automatic adaptive
compression
Data Data Data
GPU
Parallel chunk
processing
Data Skipping
Data Data Data
Chunking
Data Data Data
+ Metadata tagging
Columnar process
Data Data
Data
Data
Raw data
Data Data Data
Data Data Data
Data Data Data
GPU
Parallel chunk
processing
SQREAM 도입 시 기대효과
o 빅데이터용 rDBMS로 SQream를 선택하시면 “20배 많아진 데이터”를 기존 대비 “10%정도의 리
소스 비용”으로 “100배 빠른 처리속도”를 보장.
100x 10%
20x
20배 더 많은 데이터 100배 빠른 처리속도 10% 리소스 비용
1. 데이터 보유 주기를 획기적으로 늘려 분석 범위를 20배 이상 확장 가능
2. 현재 실행되는 분석 업무의 성능을 100배까지 향상 가능
3. 현재 실행하는 분석 업무의 인프라 비용을 90%까지 축소 가능
SQREAM KEY CUSTOMERS & Partners
Customers
Partners
병렬 분산 스토리지
Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2)
네트워크의 성능이 스토리지 성능을 결정
오픈소스형 소프트웨어 정의 분산형 스토리지
통합 I : 객체, 블럭, 파일스토리지
통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화
무한 확장성
일반 x86하드웨어에서 동작
결험허용 제공-단일실폐 방지
자동관리, 자동치료 기능
Sage Weil
SAN NAS
Backup /
Archive
GPUDirect Storage Weka POSIX Client
AI Training
분산병렬처리
HPC / Com pute Grid
분산병렬처리
Kubernetes
CSI
수천/ 만개의
Container
스토리지접근
iSCSI, SMB, NFS
Traditional Platform
Protocols
수천/ 만개의 VM
스토리지접근
BLOCK, FileShare, Object FileShare
MPP Hadoop
수백대 DB Engine
스토리지접근
Cloud, Container, AI, HPC용 분산병렬스토리지의 중요성(2/2)
통합솔루션
분산스토리지(WEKA.IO)  Lakehouse(SQream)  AI분석플랫폼(w/ GPU, IPU)
15
WekaIO Confidential © 2019 All rights reserved.
Data Lake
WekaFS
Weka Client
The Weka File System
Combines NVMe performance with massive scale of S3 Object Storage
Ethernet or InfiniBand Network
Storage Servers
Unified Namespace
S3
Public
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
SMB
SMB
NFS
NFS
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
Top3급 분산스토리지 최고속도의 분석DBMS 최고성능 AI훈련 및 추론솔루션
Megazone Offerings
Copyright 2020 © MEGAZONE CLOUD CORP. ALL RIGHT RESERVED.
요약: GRAPHCORE & MZC AI/MI 통합 솔루션 및 AI HPC Cloud 플렛폼 제공
AIàMI(ML,DL)을 위한 Neutral-Net 프로세서, 전용IPU카드, 범용 및 전용시스템, 소프트웨어스텍, 네트워크 아키텍쳐, AI HPC〮Cloud 플렛폼을
제공
COLOSSUS
IPU Chipset
IPU-M2000
x4 IPUs
Poplar®
SDK
OpenStack Mega Edition
Ceph Storage Mega Edition
x2 Cards, x4 IPUs
IPU Server4
x8 Cards, x16 IPUs
IPU Server16
Neural-Net
프로세서
범용시스템 전용시스템
소프트웨어 스텍
및 관리프로그램
전용 네트워크
아키텍쳐
AI HPC | AI HPC Cloud
IPU-POD64
x16 IPU-M2000, x64 IPUs
IPU-PROCESSOR
PCIE CARD
[전용IPU카드]
IPU-Server IPU-MACHINE
IPU-POD128 per Rack, 1,024Racks
64K IPUs, 16ExaFlops
Matilda AI Platform
w/ GPU & IPU
FEEL FREE TO
ADDRESS
Headquarters, 7 WTC
250 Greenwich Street
New York, New York
mkbahk@megazone.com | www.megazone.com
Bahk, Moon-Kee
+82-10-5367-5614
WE ARE SOCIAL
CONTACT

Más contenido relacionado

La actualidad más candente

Demystifying the Distributed Database Landscape (DevOps) (1).pdf
Demystifying the Distributed Database Landscape (DevOps) (1).pdfDemystifying the Distributed Database Landscape (DevOps) (1).pdf
Demystifying the Distributed Database Landscape (DevOps) (1).pdfScyllaDB
 
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所de:code 2017
 
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版) データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版) Satoshi Nagayasu
 
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計ShuheiUda
 
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスAzure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスMicrosoft
 
カラムストアインデックス 最初の一歩
カラムストアインデックス 最初の一歩カラムストアインデックス 最初の一歩
カラムストアインデックス 最初の一歩Masayuki Ozawa
 
高速にコンテナを起動できるイメージフォーマット
高速にコンテナを起動できるイメージフォーマット高速にコンテナを起動できるイメージフォーマット
高速にコンテナを起動できるイメージフォーマットAkihiro Suda
 
YugabyteDB - Distributed SQL Database on Kubernetes
YugabyteDB - Distributed SQL Database on KubernetesYugabyteDB - Distributed SQL Database on Kubernetes
YugabyteDB - Distributed SQL Database on KubernetesDoKC
 
マイクロサービスと Red Hat Integration
マイクロサービスと Red Hat Integrationマイクロサービスと Red Hat Integration
マイクロサービスと Red Hat IntegrationKenta Kosugi
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現Ryoma Nagata
 
AWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline
AWS Black Belt Tech シリーズ 2015 - AWS Data PipelineAWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline
AWS Black Belt Tech シリーズ 2015 - AWS Data PipelineAmazon Web Services Japan
 
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Web Services Japan
 
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術Denodo
 
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応Ryoma Nagata
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門Satoru Ishikawa
 
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説decode2016
 
SQream DB - Bigger Data On GPUs: Approaches, Challenges, Successes
SQream DB - Bigger Data On GPUs: Approaches, Challenges, SuccessesSQream DB - Bigger Data On GPUs: Approaches, Challenges, Successes
SQream DB - Bigger Data On GPUs: Approaches, Challenges, SuccessesArnon Shimoni
 
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]Hideo Takagi
 
シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析Yohei Azekatsu
 

La actualidad más candente (20)

Demystifying the Distributed Database Landscape (DevOps) (1).pdf
Demystifying the Distributed Database Landscape (DevOps) (1).pdfDemystifying the Distributed Database Landscape (DevOps) (1).pdf
Demystifying the Distributed Database Landscape (DevOps) (1).pdf
 
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所
[DI03] DWH スペシャリストが語る! Azure SQL Data Warehouse チューニングの勘所
 
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版) データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
 
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
サポート エンジニアが語る、トラブルを未然に防ぐための Azure インフラ設計
 
Azure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL PoolベストプラクティスAzure Synapse Analytics 専用SQL Poolベストプラクティス
Azure Synapse Analytics 専用SQL Poolベストプラクティス
 
カラムストアインデックス 最初の一歩
カラムストアインデックス 最初の一歩カラムストアインデックス 最初の一歩
カラムストアインデックス 最初の一歩
 
高速にコンテナを起動できるイメージフォーマット
高速にコンテナを起動できるイメージフォーマット高速にコンテナを起動できるイメージフォーマット
高速にコンテナを起動できるイメージフォーマット
 
YugabyteDB - Distributed SQL Database on Kubernetes
YugabyteDB - Distributed SQL Database on KubernetesYugabyteDB - Distributed SQL Database on Kubernetes
YugabyteDB - Distributed SQL Database on Kubernetes
 
マイクロサービスと Red Hat Integration
マイクロサービスと Red Hat Integrationマイクロサービスと Red Hat Integration
マイクロサービスと Red Hat Integration
 
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
 
AWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline
AWS Black Belt Tech シリーズ 2015 - AWS Data PipelineAWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline
AWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline
 
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
 
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
 
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
 
Deep Dive on Amazon Redshift
Deep Dive on Amazon RedshiftDeep Dive on Amazon Redshift
Deep Dive on Amazon Redshift
 
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
DBP-009_クラウドで実現するスケーラブルなデータ ウェアハウス Azure SQL Data Warehouse 解説
 
SQream DB - Bigger Data On GPUs: Approaches, Challenges, Successes
SQream DB - Bigger Data On GPUs: Approaches, Challenges, SuccessesSQream DB - Bigger Data On GPUs: Approaches, Challenges, Successes
SQream DB - Bigger Data On GPUs: Approaches, Challenges, Successes
 
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]
 
シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析
 

Similar a SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

Advancing GPU Analytics with RAPIDS Accelerator for Spark and Alluxio
Advancing GPU Analytics with RAPIDS Accelerator for Spark and AlluxioAdvancing GPU Analytics with RAPIDS Accelerator for Spark and Alluxio
Advancing GPU Analytics with RAPIDS Accelerator for Spark and AlluxioAlluxio, Inc.
 
20181116 Massive Log Processing using I/O optimized PostgreSQL
20181116 Massive Log Processing using I/O optimized PostgreSQL20181116 Massive Log Processing using I/O optimized PostgreSQL
20181116 Massive Log Processing using I/O optimized PostgreSQLKohei KaiGai
 
Stsg17 speaker yousunjeong
Stsg17 speaker yousunjeongStsg17 speaker yousunjeong
Stsg17 speaker yousunjeongYousun Jeong
 
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...Kohei KaiGai
 
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...Fast data in times of crisis with GPU accelerated database QikkDB | Business ...
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...Matej Misik
 
20201006_PGconf_Online_Large_Data_Processing
20201006_PGconf_Online_Large_Data_Processing20201006_PGconf_Online_Large_Data_Processing
20201006_PGconf_Online_Large_Data_ProcessingKohei KaiGai
 
PG-Strom v2.0 Technical Brief (17-Apr-2018)
PG-Strom v2.0 Technical Brief (17-Apr-2018)PG-Strom v2.0 Technical Brief (17-Apr-2018)
PG-Strom v2.0 Technical Brief (17-Apr-2018)Kohei KaiGai
 
RAPIDS – Open GPU-accelerated Data Science
RAPIDS – Open GPU-accelerated Data ScienceRAPIDS – Open GPU-accelerated Data Science
RAPIDS – Open GPU-accelerated Data ScienceData Works MD
 
Introduction to Kudu - StampedeCon 2016
Introduction to Kudu - StampedeCon 2016Introduction to Kudu - StampedeCon 2016
Introduction to Kudu - StampedeCon 2016StampedeCon
 
RAPIDS: GPU-Accelerated ETL and Feature Engineering
RAPIDS: GPU-Accelerated ETL and Feature EngineeringRAPIDS: GPU-Accelerated ETL and Feature Engineering
RAPIDS: GPU-Accelerated ETL and Feature EngineeringKeith Kraus
 
GPU Accelerated Data Science with RAPIDS - ODSC West 2020
GPU Accelerated Data Science with RAPIDS - ODSC West 2020GPU Accelerated Data Science with RAPIDS - ODSC West 2020
GPU Accelerated Data Science with RAPIDS - ODSC West 2020John Zedlewski
 
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)Kohei KaiGai
 
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMF
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMFGestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMF
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMFSUSE Italy
 
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmark
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmarkThe Apache Spark config behind the indsutry's first 100TB Spark SQL benchmark
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmarkLenovo Data Center
 
Getting Started with Big Data and HPC in the Cloud - August 2015
Getting Started with Big Data and HPC in the Cloud - August 2015Getting Started with Big Data and HPC in the Cloud - August 2015
Getting Started with Big Data and HPC in the Cloud - August 2015Amazon Web Services
 
PGConf APAC 2018 - PostgreSQL performance comparison in various clouds
PGConf APAC 2018 - PostgreSQL performance comparison in various cloudsPGConf APAC 2018 - PostgreSQL performance comparison in various clouds
PGConf APAC 2018 - PostgreSQL performance comparison in various cloudsPGConf APAC
 
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdf
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdfS51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdf
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdfDLow6
 
Hadoop ecosystem framework n hadoop in live environment
Hadoop ecosystem framework  n hadoop in live environmentHadoop ecosystem framework  n hadoop in live environment
Hadoop ecosystem framework n hadoop in live environmentDelhi/NCR HUG
 

Similar a SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드 (20)

Advancing GPU Analytics with RAPIDS Accelerator for Spark and Alluxio
Advancing GPU Analytics with RAPIDS Accelerator for Spark and AlluxioAdvancing GPU Analytics with RAPIDS Accelerator for Spark and Alluxio
Advancing GPU Analytics with RAPIDS Accelerator for Spark and Alluxio
 
20181116 Massive Log Processing using I/O optimized PostgreSQL
20181116 Massive Log Processing using I/O optimized PostgreSQL20181116 Massive Log Processing using I/O optimized PostgreSQL
20181116 Massive Log Processing using I/O optimized PostgreSQL
 
Stsg17 speaker yousunjeong
Stsg17 speaker yousunjeongStsg17 speaker yousunjeong
Stsg17 speaker yousunjeong
 
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...
GPU/SSD Accelerates PostgreSQL - challenge towards query processing throughpu...
 
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...Fast data in times of crisis with GPU accelerated database QikkDB | Business ...
Fast data in times of crisis with GPU accelerated database QikkDB | Business ...
 
20201006_PGconf_Online_Large_Data_Processing
20201006_PGconf_Online_Large_Data_Processing20201006_PGconf_Online_Large_Data_Processing
20201006_PGconf_Online_Large_Data_Processing
 
PG-Strom v2.0 Technical Brief (17-Apr-2018)
PG-Strom v2.0 Technical Brief (17-Apr-2018)PG-Strom v2.0 Technical Brief (17-Apr-2018)
PG-Strom v2.0 Technical Brief (17-Apr-2018)
 
RAPIDS – Open GPU-accelerated Data Science
RAPIDS – Open GPU-accelerated Data ScienceRAPIDS – Open GPU-accelerated Data Science
RAPIDS – Open GPU-accelerated Data Science
 
Introduction to Kudu - StampedeCon 2016
Introduction to Kudu - StampedeCon 2016Introduction to Kudu - StampedeCon 2016
Introduction to Kudu - StampedeCon 2016
 
RAPIDS: GPU-Accelerated ETL and Feature Engineering
RAPIDS: GPU-Accelerated ETL and Feature EngineeringRAPIDS: GPU-Accelerated ETL and Feature Engineering
RAPIDS: GPU-Accelerated ETL and Feature Engineering
 
GPU Accelerated Data Science with RAPIDS - ODSC West 2020
GPU Accelerated Data Science with RAPIDS - ODSC West 2020GPU Accelerated Data Science with RAPIDS - ODSC West 2020
GPU Accelerated Data Science with RAPIDS - ODSC West 2020
 
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)
Technology Updates of PG-Strom at Aug-2014 (PGUnconf@Tokyo)
 
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMF
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMFGestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMF
Gestione gerarchica dei dati con SUSE Enterprise Storage e HPE DMF
 
Hadoop Research
Hadoop Research Hadoop Research
Hadoop Research
 
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmark
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmarkThe Apache Spark config behind the indsutry's first 100TB Spark SQL benchmark
The Apache Spark config behind the indsutry's first 100TB Spark SQL benchmark
 
Getting Started with Big Data and HPC in the Cloud - August 2015
Getting Started with Big Data and HPC in the Cloud - August 2015Getting Started with Big Data and HPC in the Cloud - August 2015
Getting Started with Big Data and HPC in the Cloud - August 2015
 
PGConf APAC 2018 - PostgreSQL performance comparison in various clouds
PGConf APAC 2018 - PostgreSQL performance comparison in various cloudsPGConf APAC 2018 - PostgreSQL performance comparison in various clouds
PGConf APAC 2018 - PostgreSQL performance comparison in various clouds
 
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdf
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdfS51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdf
S51281 - Accelerate Data Science in Python with RAPIDS_1679330128290001YmT7.pdf
 
The state of SQL-on-Hadoop in the Cloud
The state of SQL-on-Hadoop in the CloudThe state of SQL-on-Hadoop in the Cloud
The state of SQL-on-Hadoop in the Cloud
 
Hadoop ecosystem framework n hadoop in live environment
Hadoop ecosystem framework  n hadoop in live environmentHadoop ecosystem framework  n hadoop in live environment
Hadoop ecosystem framework n hadoop in live environment
 

Último

TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptx
TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptxTINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptx
TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptxDwiAyuSitiHartinah
 
5 Ds to Define Data Archiving Best Practices
5 Ds to Define Data Archiving Best Practices5 Ds to Define Data Archiving Best Practices
5 Ds to Define Data Archiving Best PracticesDataArchiva
 
How is Real-Time Analytics Different from Traditional OLAP?
How is Real-Time Analytics Different from Traditional OLAP?How is Real-Time Analytics Different from Traditional OLAP?
How is Real-Time Analytics Different from Traditional OLAP?sonikadigital1
 
SFBA Splunk Usergroup meeting March 13, 2024
SFBA Splunk Usergroup meeting March 13, 2024SFBA Splunk Usergroup meeting March 13, 2024
SFBA Splunk Usergroup meeting March 13, 2024Becky Burwell
 
MEASURES OF DISPERSION I BSc Botany .ppt
MEASURES OF DISPERSION I BSc Botany .pptMEASURES OF DISPERSION I BSc Botany .ppt
MEASURES OF DISPERSION I BSc Botany .pptaigil2
 
Master's Thesis - Data Science - Presentation
Master's Thesis - Data Science - PresentationMaster's Thesis - Data Science - Presentation
Master's Thesis - Data Science - PresentationGiorgio Carbone
 
YourView Panel Book.pptx YourView Panel Book.
YourView Panel Book.pptx YourView Panel Book.YourView Panel Book.pptx YourView Panel Book.
YourView Panel Book.pptx YourView Panel Book.JasonViviers2
 
CI, CD -Tools to integrate without manual intervention
CI, CD -Tools to integrate without manual interventionCI, CD -Tools to integrate without manual intervention
CI, CD -Tools to integrate without manual interventionajayrajaganeshkayala
 
Mapping the pubmed data under different suptopics using NLP.pptx
Mapping the pubmed data under different suptopics using NLP.pptxMapping the pubmed data under different suptopics using NLP.pptx
Mapping the pubmed data under different suptopics using NLP.pptxVenkatasubramani13
 
ChistaDATA Real-Time DATA Analytics Infrastructure
ChistaDATA Real-Time DATA Analytics InfrastructureChistaDATA Real-Time DATA Analytics Infrastructure
ChistaDATA Real-Time DATA Analytics Infrastructuresonikadigital1
 
Virtuosoft SmartSync Product Introduction
Virtuosoft SmartSync Product IntroductionVirtuosoft SmartSync Product Introduction
Virtuosoft SmartSync Product Introductionsanjaymuralee1
 
Cash Is Still King: ATM market research '2023
Cash Is Still King: ATM market research '2023Cash Is Still King: ATM market research '2023
Cash Is Still King: ATM market research '2023Vladislav Solodkiy
 
Elements of language learning - an analysis of how different elements of lang...
Elements of language learning - an analysis of how different elements of lang...Elements of language learning - an analysis of how different elements of lang...
Elements of language learning - an analysis of how different elements of lang...PrithaVashisht1
 
Strategic CX: A Deep Dive into Voice of the Customer Insights for Clarity
Strategic CX: A Deep Dive into Voice of the Customer Insights for ClarityStrategic CX: A Deep Dive into Voice of the Customer Insights for Clarity
Strategic CX: A Deep Dive into Voice of the Customer Insights for ClarityAggregage
 
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024Guido X Jansen
 
The Universal GTM - how we design GTM and dataLayer
The Universal GTM - how we design GTM and dataLayerThe Universal GTM - how we design GTM and dataLayer
The Universal GTM - how we design GTM and dataLayerPavel Šabatka
 
AI for Sustainable Development Goals (SDGs)
AI for Sustainable Development Goals (SDGs)AI for Sustainable Development Goals (SDGs)
AI for Sustainable Development Goals (SDGs)Data & Analytics Magazin
 

Último (17)

TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptx
TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptxTINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptx
TINJUAN PEMROSESAN TRANSAKSI DAN ERP.pptx
 
5 Ds to Define Data Archiving Best Practices
5 Ds to Define Data Archiving Best Practices5 Ds to Define Data Archiving Best Practices
5 Ds to Define Data Archiving Best Practices
 
How is Real-Time Analytics Different from Traditional OLAP?
How is Real-Time Analytics Different from Traditional OLAP?How is Real-Time Analytics Different from Traditional OLAP?
How is Real-Time Analytics Different from Traditional OLAP?
 
SFBA Splunk Usergroup meeting March 13, 2024
SFBA Splunk Usergroup meeting March 13, 2024SFBA Splunk Usergroup meeting March 13, 2024
SFBA Splunk Usergroup meeting March 13, 2024
 
MEASURES OF DISPERSION I BSc Botany .ppt
MEASURES OF DISPERSION I BSc Botany .pptMEASURES OF DISPERSION I BSc Botany .ppt
MEASURES OF DISPERSION I BSc Botany .ppt
 
Master's Thesis - Data Science - Presentation
Master's Thesis - Data Science - PresentationMaster's Thesis - Data Science - Presentation
Master's Thesis - Data Science - Presentation
 
YourView Panel Book.pptx YourView Panel Book.
YourView Panel Book.pptx YourView Panel Book.YourView Panel Book.pptx YourView Panel Book.
YourView Panel Book.pptx YourView Panel Book.
 
CI, CD -Tools to integrate without manual intervention
CI, CD -Tools to integrate without manual interventionCI, CD -Tools to integrate without manual intervention
CI, CD -Tools to integrate without manual intervention
 
Mapping the pubmed data under different suptopics using NLP.pptx
Mapping the pubmed data under different suptopics using NLP.pptxMapping the pubmed data under different suptopics using NLP.pptx
Mapping the pubmed data under different suptopics using NLP.pptx
 
ChistaDATA Real-Time DATA Analytics Infrastructure
ChistaDATA Real-Time DATA Analytics InfrastructureChistaDATA Real-Time DATA Analytics Infrastructure
ChistaDATA Real-Time DATA Analytics Infrastructure
 
Virtuosoft SmartSync Product Introduction
Virtuosoft SmartSync Product IntroductionVirtuosoft SmartSync Product Introduction
Virtuosoft SmartSync Product Introduction
 
Cash Is Still King: ATM market research '2023
Cash Is Still King: ATM market research '2023Cash Is Still King: ATM market research '2023
Cash Is Still King: ATM market research '2023
 
Elements of language learning - an analysis of how different elements of lang...
Elements of language learning - an analysis of how different elements of lang...Elements of language learning - an analysis of how different elements of lang...
Elements of language learning - an analysis of how different elements of lang...
 
Strategic CX: A Deep Dive into Voice of the Customer Insights for Clarity
Strategic CX: A Deep Dive into Voice of the Customer Insights for ClarityStrategic CX: A Deep Dive into Voice of the Customer Insights for Clarity
Strategic CX: A Deep Dive into Voice of the Customer Insights for Clarity
 
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024
Persuasive E-commerce, Our Biased Brain @ Bikkeldag 2024
 
The Universal GTM - how we design GTM and dataLayer
The Universal GTM - how we design GTM and dataLayerThe Universal GTM - how we design GTM and dataLayer
The Universal GTM - how we design GTM and dataLayer
 
AI for Sustainable Development Goals (SDGs)
AI for Sustainable Development Goals (SDGs)AI for Sustainable Development Goals (SDGs)
AI for Sustainable Development Goals (SDGs)
 

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

  • 1. GPU Accelerated Bigdata Analytic DBMS Powered by Megazone Cloud 초-거대(>1PB) 정형데이타 분석에 최적화 SQL DB
  • 2. Documentation History Revision Date Editor Contents Comment 0.1 2021-01-31 SQream Korea 최초 작성 0.3 2021-06-30 전성호 사례 추가 및 보강 0.5 2021-12-31 박문기 사례 추가 및 HW 보강 0.6 2022-01-31 김현준 사례 추가 및 HW 보강, SW 보강 1.0 2022-04-15 박문기 김현준님 자료와 합병 1.1 2022-05-13 박문기 Hadoop 시스템 개요 및 변천과정 추가 Revision History Date Written by Documentation Title 2020-01-31 SQream Korea SQream Original Documentation
  • 3. 회사연혁 o 2010년 설립 뉴욕 본사 7 WTC New York | 이스라엘 텔아비브 소재 연구소 o 2016년 상용화 버전 출시 o 2017년 Alibaba Partnership 체결 o 2018년 Alibaba 투자 유치 o 2019년 SQream Version 2 출시 o 2019년 02월 한국 LGU+ 수주 o 2019년 06월 SQream Version 3 출시 o 2020년 06월 투자유치 (B+, Mangrove Capital) o 2020년 08월 한국 SK Telecom(주) 수주 o 2020년 12월 한국 KB Card(주) 수주 o 2021년 04월 한국 삼성디스플레이(주) 수주
  • 4. 4차 산업시대 DATA의 위치 정보화시대 쌀 반도체, AI시대 쌀 DATA DATA IT for Business IT is Business Data for Business Data is Business AI for Business AI is Business AI, Open the age of wisdom GPU/IPU-가속 활용영역 확장 1. Game, Rendering, Video Transcoding, 암호화폐마이닝 2. AI Deep Learning 3. GPU Database 4. MCMC 금융공학(Quantec) 5. HPC Simulation(nFlow) 6. Live SR-(Expresso Media) 7. 메타버스
  • 5. Hyper-Massive 정형데이타 처리에 최적화된 rDBMS형, GPU가속형 분석DB SQREAM은 수백TB ~수백PB에 이르는 초-거대용량 정형데이타 분석용 SQL DBMS 분석DB
  • 6. MPP Data Loading Problem MPP 초당 150M(약 0.145G) * 60초 * 60분= 서버30대 시간당 512G 로딩 가능, SQream는 100Gbps에 시간당 V100 GPU 1개당 2.5T~6T 로딩가능
  • 7. SQream: GPU-Accelerated AnalyticDB 분석DB GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬•분석DB 2005~ In-Memory Omnisci (MapD) Kinetica Aerospike SAP HANA VoltaDB IBM-DB2 BLUM emSQL Altibase 2010~ MassiveData 1990~ MPP(EDW) Teradata MongoDB Vertica Redshift Or acle-Exadata IBM-Netezza Greenplum Sybase IQ Oracle DB2 SQLServer Informix Sybase ASE SQreamDB Hadoop-Hive Snowflake BigQuery 1970~ ClassicalRelational 2010~ NO-SQL o 1) WIDE COLUMN DATABASE(Store) Hbase, GoogleBigTable, Vertica, Druid, Accumulo, Hypertable o 2) GRAPH DATABASE Neo4j, Blazegraph, OrientDB o 3) DOCUMENT DATABASE(Store) MongoDB, Azure CosmosDB, CouchDB, MarkLogic, OrientDB o 4) KEY-VALUE DATABASE(Store) Cassandra, LevelDBRocksDB, Redis, Oracle NoSQLDB,Voldemorte, Oracle BerkeleyDB, Memcached, Hazelcast RelationalDB NoSQL & Hadoop Public Cloud Only GPU Database GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB)  SQream AnalyticDB
  • 8. Data Lake / Data Dam EDW구축•분석을 위한 MPP 대체 SQREAM 위치 OLTP Other Bigdata Data Integration Data Integration Data Warehouse Data Mart Data Mining Analytic ETL  E,L ETL  T OLAP ETL / CDC ETL / CDC
  • 10. Bigdata Apache Hadoop Eco-System  왜이리 복잡한 것이야!! 우린 그동안 RDBMS만으로 잘 처리해 왔는데..  정형, 비정형, 반정형 다 처리 잘 한다고, 그건 Naver나 Kakao, 우린 정형밖에 없어!  Java로 MapReduce 분산Framework Program을 짜야 한다고,  NO-SQL, Key-Value 중심이라고, RDBMS-SQL은 지원하는 것인가?  대규모 분산 병렬이면서 대규모 Sorting, Joining, Grouping은 왜 이리 느린거지?  왜이리 수 십대의 서버들이 필요한 것이지!!  어 비용이 100억대야..참나!!
  • 11. Column DataLake, Bigdata(Hadoop) 정형데이타 처리부분  SQream 대치 Google 2003 Map Reduce GFS (Google File System) Hadoop MR1, Spark, Tez, MPI4Dask HDFS (분산병렬스토리지시스템) HIVE (SQL-on-Hadoop) Impala(클라우드데라) Apache-Tajo(그루터) Stringer(호튼웍스) Drill(맵알) HAWQ(피보탈) Spanner(Google) GPU 가속 분석DBMS RDMA, RoCE GPUDirect, GDS YARN Job Scheduler HPC SuperCom MapReduce Shared Memory MPI BSP Lustre, GlusterFS,... LSF, Slurm Job Scheduler MR2 MR3 Key-Value Document 정형 반정형 비정형 PrestoTrino(Facebook) Graph Map Reduce V1 V2
  • 12. SQream 분성DB 위치 Dataware house+Data Lake = Lakehouse: SQream의 위치 Lakehouse
  • 13. EDW 아키텍쳐 SQream for LakeHouse Warehouse+DataLake=Lakehouse
  • 14. TELECOM 기존 업무 프로세스 대비 최대 32배 성능 개선 평가 기존 시스템 하둡 100대 서버 SQream GPU 서버 1대 업무 1일분석업무 시간분석업무 1일분석업무 시간분석업무 APP서비스 그룹별 분석 2:03:00 0:11:46 0:04:06 0:00:14 eNB 별 서비스 분석 1:48:00 0:12:28 0:24:46 0:01:13 단말기별 서비스 분석 0:52:00 0:06:49 0:05:24 0:00:15 요금제별 서비스 분석 1:10:00 0:07:29 0:19:06 0:00:53 장비별 트래픽 분석 NA 0:03:59 NA 0:00:30 IOT 단말 기반 POS별 서비스 분석 0:22:00 0:03:43 0:06:01 0:00:20 IOT 단말 기반 서비스 분석 0:23:00 0:04:50 0:05:16 0:00:17 CDR Data 합계 산정 결과 도출 불가 결과 도출 불가 0:00:21 0:00:10 CDR Data – 평균 구성 시간 분석 결과 도출 불가 결과 도출 불가 0:00:27 0:00:14 CDR Data – 통화시간 분석 결과 도출 불가 결과 도출 불가 0:00:25 0:00:13 데이터 조인 업무 결과 도출 불가 결과 도출 불가 0:02:21 0:00:54 기존 플랫폼: 하둡 100대 서버 노드 vs. SQream 플랫폼 GPU 서버 노드 1대 국내통신사 사례 (L사): 최대 32배 성능 개선 국내 “L통신사”
  • 15. 국내통신사 사례 (S사): 업무 개선 내역 상세 TELECOM 기존 Hadoop에서 어렵고 긴 분석 시간 단축을 위한 전처리 플랫폼 구축 국내 “S통신사” 업무 데이터기간 ORC Flat File (Raw Data) 데이터건수 기존 Hadoop 시스템 SQream DB 요약 Routine1 1일 68 GB 760 GB 40억 420초 55초 1일 데이터 최소 53초~ 최대 59초의 실행시간 평균 17일 1.12 TB 12.54 TB 660 억 NA 60초 Routine2 17일 1.12 TB 12.54 TB 660 억 NA 1,260초 특정 테이블들을 대상으로 sub-routine 업무쿼리 실행  1일 데이터 - 68GB ORC 파일, 약 40억건, 약 760GB Raw Data 대상 쿼리 실행  17일 데이터 – 1.12TB ORC 파일, 약 660억건, 약 12.54TB Raw Data 대상 쿼리 실행
  • 16. 국내 제조사 사례 (S사): 업무 개선 내역 상세 72억건 데이타 적재・조회, Oracle ExaData 8대 vs. SQream 1대: SQ가 5배 속도 빠름 Business Units Application Layer SQream을 통한 초고속 전처리 엔진 구성 SQream을 통한 초 고속 전처리 엔진 구 성 Marketing Audit Sales Quality ETC Sorce Oracle 82 EA Data Extract Data Load 제조사 . . .
  • 17. 금융권: IFRS17 보험 BEL 분석 PoC 보험사 미래현금흐름(BEL) 분석시간 기존 P.SQL 1h13m  SQ 1m20s 성능개선 국내 “G사” o 지아컨설팅-KAS + SQREAM 벤치마크환경 진행사항 o 10만건 기-계약데이터에 미래현금흐름(BEL) 산출쿼리 o PostgreSQL(CPU) vs. SQREAM(GPU) o PostgreSQL 10만건 동시 진행 o SQREAM 10만건 동시 진행 o SQREAM 5,000만건 진행 SQream DB (100,000) PostgreSQL (100,000) 1m20s 1h13m SQream DB (50,000,000) 3h13m o 일반적으로보험사의현재계약건수는2억건이상. o 2~3년전수행한IFRS프로젝트의목표수행시간은D+5~D+7임 o 2023년1월적용시작을위해서는최소1년간의테스트가필요하여아무리 늦어도2022년6월까지는도입완료하여야만함 o 매월1회수행및신규상품개발시몇번씩수행해야만함 AWS Aurora-PostgreSQL, VMWare Greenplum
  • 18. 국내 제조사 사례 (L사): 가전 정보 수집 전세계 백색 가전 데이터 수집 및 마케팅 활용, 사용자 편의 제공 제조사 AWS S3
  • 19. SQream vs Cloud Based Bigdata System SQream vs. Cloud Based Bigdata System
  • 20. 해외 사례 o 하루 종일 3G/4GL/5G 데이터 처리 량을 보여주는 대시보드 제공 o 이동통신 가입자 대상 네트워크 사용량 분석 o 약 43억건 (3000만명) o AD-Tech 온라인 광고 극대화를 위 한 데이터 분석 o PT 규모 데이터 분석 해외사례들: SQream  MPP, Hadoop 대체
  • 21. 빅데이타 처리용 SQream 핵심 성능최적화 기법 SQREAM, 수백TB~수백PB에 이르는 초-거대용량 정형 데이터 분석용 GPU로 가속된 SQL DB 플랫폼 분석DB I/O isolation: 저장, 입출력, 메모리간-이동 Parallelism: 병렬 분산 처리
  • 22. SQream Analytic SQL DB 핵심기술 1 2 3 4
  • 23. SQream Technology(1): GPU기반 Parallel Processing • GP-GPU(General Purpose GPU, NVIDIA V100, A100, H100)기반의 벡터연산 + 선형대수연산(Data Processing, AI)에 적합한 GPU • 수 천개의 병렬 프로세싱 코어들 – NVIDIA의 TESLA H100 모델은 16,896개의 Cuda Core수 제공 • GP-GPU HDM메모리 Throughput – ~900GB/s • NVIDIA의 CUDA FRAMEWORK은 Massively Parallel Processing 기술 제공 • 대용량 통계학적인 분석 처리에 차별화(압축 알고리즘 처리 및 Group By 분류, Sum, Avg, Count, Max, Min 등) AMD EPYC 9004 GENOA CPU 96 Cores vs. NVIDIA H100 GPU 16,896 FP32 CUDA Cores
  • 24. SQream Technology(1): GPU기반 Parallel Processing Cores 비교 구분 서버 100대 MPP 서버 2대 SQream w/ NVIDIA H100 GP-GPU 각 8개=총16개 CPU Core AMD 96Cores x 2 Sockets: 128C x 2 Sockets x 100대 = 25,600 CPU Cores AMD 96Cores x 2 Sockets: 128C x 2 Sockets x 2대 = 512 CPU Cores NVIDIA H100 GPUS: 16,896C x 8 x 서버 2대 = 270,336 GPU Cores Memory DDR 512G x 10 = 5,120G DDR 512G x 2 = 1,024G GPU HDM2 32G x 8 = 256G DBEngine# 100 DBEngines GPU# 총 16개 * 최대 8 Engines = 128 DBEngines 10.5배
  • 25. SQream Technology(1): 강력한 CPU+GPU 쿼리 성능 SQL컴파일러 및 최적화 도구 : 기존 SQL을 변경 없이 그대로 수행 o SQream DB는 기존에 사용하던 ANSI-92 기반 SQL 쿼리를 자동으로 병렬 처리가 가능한 관계형 대수 연산( Relation al Algebra)용 쿼리로 사용자 개입 없이 내부 SQL 컴파일 러에 의해 CPU+GPU 자동 재-최적화 수행 o GPU Core는 최적화된 쿼리를 사용 대량의 병렬연산을 효율적으로 수행 o 주로 Filter, Join 등의 복잡한 작업들은 가산 및 곱셈과 같 은 수학적개념으로 대치되어 GPU 연산으로 뛰어난 효 과
  • 26. CPU & GPU 동시 병행 처리 최적화 컬럼명 실행장소 설명 Rechunk 여러 개의 작은 청크를 모아 큰 청크로 재구성. 일반적으로 조인 후 및 HIGH_SELECTIVITY를 사용할 때 발견 됨 Reduce GPU GROUP BY와 같은 reduce 작업 ReduceMerge GPU 축소 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다 ReorderInput 다음 작업을 준비하기 위해 인수 순서 변경 SeparatedGather GPU 결과에 대한 추가 column을 수집 Sort GPU 정렬 SortMerge CPU 정렬 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다 SortMergeJoin GPU GPU에서 수행되는 sort-merge join TakeRowsFromChunk ORDER BY와 함께 사용될 때 LIMIT를 최적화하기 위해 각 청크에서 처음 N 개 행을 가져옴 Top LIMIT 혹은 top 와 함께 사용할 때 크기를 제한 UdfTransform CPU 사용자 정의 함수(UDF)를 실행 UnionAll UNION ALL이 사용될 때 두 데이터 소스를 결합 VarCharJoiner Internal하게 사용됨 VarCharSplitter Internal하게 사용됨 Window GPU Non-ranking 윈도우 함수 실행 Window Ranking GPU Ranking 윈도우 함수 실행 WriteTable CPU 결과 집합을 디스크에 저장된 표준 테이블에 기록
  • 27. H/W: HBM(High bandwidth Memory) GPU Memory o NVIDIA GP-GPU 계열은 HBM(High Bandwidth Memory) 사용 o D램을 여러 개 쌓아 한 번에 전송할 수 있는 데이터의 용량(메모리 대역폭)을 크게 늘린 메모리 확장구조 o 수직으로 RAM을 쌓기 때문에 RAM과 GPU 간 거리와 회로 길이를 과감하게 줄이고, 메모리의 집적도 역시 높일 수 있음 o GDDR 방식보다 와트 당 성능이 3.5배 증가하고 소비 전력 역시 훨씬 낮으며 보드의 표면적을 94% 줄일 수 있음
  • 28. H/W: GPU 서버 구성과 속도차이
  • 29. H/W+S/W: RDMA NIC(SQ-SQ Cluster간, SQ-병렬분산스토리지와 통신) • RDMA(Remote Direct Memory Access) NIC(Network Interface Card)  InfiniBand(IB)-Mellanox  iWRAP-Intel  RDMA over Converged Ethernet(RoCE)-STD NO RDMA RDMA
  • 30. H/W+S/W: GPUDirect over RDMA NIC o NVIDIA GPU의 GPUDirect RDMA(Remote Direct Memory Access)기반 o 기존의 방식의 경우 Data 를 GPU Memory 에 load 할 때 CPU 와 PCIe bus 를 거치는 2번의 복사 과정을 진행 o NVIDIA GPUDirect RDMA 기술이 도입된 SQream 의 경우 CPU 와 System Memory 를 사용하지 않고 PCIe bus 를 통해 직접적으로 GPU Memory 에 Direct load 됨 o 데이터 전송 시 병목 현상 최소화 o 사용하지 않는 CPU 와 System Memory 에 다른 작업 수행 가능
  • 32. o 많은 분석계 기반 (EDW, DM 등의 정보계) 데이터베이스에서 채택됨. o Column계열 데이터베이스 예) Sybase IQ, Vertica, SAP HANA 등 o 빅데이터 분석에 매우 적합함 – 일별•계정별 집계 등 o 데이터 locality가 높기 때문에 “압축율”이 높음 o 필요한 컬럼만 액세스하여 "I/O 감소" SQream Technology(2): COLUMNAR
  • 33. SQream Technology(3): CHUNKING 컬럼 단위 평균 100만 건 묶음 “Chunking”기술 o 컬럼구조로 저장되는 데이터 구조는 100만건수 단위로 “Chunking” (수평적인 세그멘테이션) 되어 관리 됨 o SQREAM 데이터베이스는 기본적으로 “Chunk” 단위로 데이터를 Scanning 하고 시스템 메모리, 그리고 GPU 메모리에 프로세싱을 위하여 주입함 Table Table Chunks Columns  GPU 리소스를 효율적으로 사용할 수 있도록 Chunk 단위 데이터 Store 및 Read o Sqream DB테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 좀더 늘릴 수 있도록 설계됨. Data Chunking은 Ingest(Loading)하는 동안 자동 수행 o 모든 컬럼 집합은 Data Chunk 단위로 스토리지에 저장 o 자동으로 수직•수평 파티셔닝을 수행하며, Columnar에 대한 선택적 접근 및 chunk 단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적 으로 처리
  • 35. o 모든 chunk에는 해당 chunk 데이터에 대한 메타 데이터 존재(최대값, 최소값 등) o 메타데이터엔 “Chunk”의 Min/Max 등의 정보가 관리 되며 Metadata 프로세스를 통해 분리 관리 o 이는 모든 컬럼엔 인덱스를 대신 하는 초경량의 정보 가 관리 된다는 의미이며 SQREAM의 차별화 된 I/O 분 산 및 최소화 기술 o 따라서 타 데이터베이스 솔루션 같이 무거운 인덱스의 자원 사용이나 관리가 필요 없음 o Example: SELECT * FROM t WHERE YEAR>2017 (all chunks with YEAR<=2017 can be skipped) day month year val1 val2 val3  10 2017     11 2017     12 2017     01 2018     02 2018     03 2018    READ SKIP Automatic, transparent, index replacement SQream Technology(3): SMART METADATADATA SKIPPING
  • 36. SQream Technology(2+3): Always on Compression저장량, 입출력량 감소 고속 데이터 Ingest 및 처리를 지원하는 GPU기반 압축∙해제 o SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축함 o GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제 가능 o 초고속 데이터를 로딩 ∙ 추출 가능(3~6TB/Hour/GPU당 ingest speed) o 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4 ~ 1:7 의 압 축률과 알고리즘 적용(대략 100GB raw data 로드 시, 20GB 로 압축가능) o DICT – Dictionary compression o Patched Frame-of-Reference (p4d) o RLE – Run Length Encoding o Snappy – CPU-based text compression o 저장용량 감소 및 입출력량 감소 소스 데이터 1PB Data Data Data Data Data Data Data Data Data SQREAM 데이터 - 15TB Ingestion
  • 37. SQream Technology(4): 무한 수평적 서버 확장 가능한 클러스터 아키텍처 o Shared-Storage 아키텍처 - 모든 노드에서는 같이 바라 볼 수 있는 공유 파일시스템이 요구됨 o SQream 자체 부하분산기(WLM, Server Picker)를 통해 워크로드는 현재 비어 있는 GPU Worker에 Assign 됨 o 특정 GPU에 Assign된 워크로드는 GPU를 전체를 다 쓰게 되며 수천 개의 코아를 통해 처리됨 o GPU는 최대 8조각까지 SPLIT 가능하며 이를 통해 Concurrency를 최대화하는 아키텍처로 융통성 있게 구성 가능 GPU Scale-Up, Server Scale-Out 병렬분산스토리지 Compute 노드#  GPU 리소스# ↑ ↑ ↑(NVIDIA V100A100H100)
  • 38. WLM (Work Loader Manager) SQream Storage Cluster Shared File Area (ETL) GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5006 W2 5007 Mem:2TB, Core: 32 GPU (32GB) GPU (32GB) GPU (32GB) GPU (32GB) W1 5000 W2 5001 W1 5002 W2 5003 W1 5004 W2 5005 W1 5060 W2 5007 Mem:2TB, Core: 32 /sqreamdb/cluster /data etlgpu(x.x.x.101) qrygpu01(x.x.x.102) qrygpu02(x.x.x.103) qrygpu03(x.x.x.104) qrygpu04(x.x.x.105) Web Service Mem:244GB, Core: 64 sqleditor(x.x.x.100) worker sqream service etl service cluster SQream Technology(4): SQreamDB 시스템 구성 예 Node: 1 Meta_Server 1 Server_Picker 다수 Worker들
  • 39. SQream Technology(4): GPU당 다수 Worker들병렬처리 성능향상 o Worker는 SQL을 실행하는 SQreamDB의 프로그램으로 GPU당 1~8개로 분할 구성 가능, 아래 예제 구성은 GPU당 2개 Worker로 구성 Node Port # Instance ID GPU # Worker Node#1 5000 worker_01 0 5001 worker_02 0 5002 worker_03 1 5003 worker_04 1 5004 worker_05 2 5005 worker_06 2 5006 worker_07 3 5007 worker_08 3 Worker Node#2 5000 worker_11 0 5001 worker_12 0 5002 worker_13 1 5003 worker_14 1 5004 worker_15 2 5005 worker_16 2 5006 worker_17 3 5007 worker_18 3 Node Port # Instance ID GPU # Worker Node#3 5000 worker_21 0 5001 worker_22 0 5002 worker_23 1 5003 worker_24 1 5004 worker_25 2 5005 worker_26 2 5006 worker_27 3 5007 worker_28 3 Worker Node#4 5000 worker_31 0 5001 worker_32 0 5002 worker_33 1 5003 worker_34 1 5004 worker_35 2 5005 worker_36 2 5006 worker_37 3 5007 worker_38 3 Node Port # Instance ID GPU # Worker Node#5 5000 worker_41 0 5001 worker_42 0 Metadata_Server 3105 metadata server N/A Server_Picker 3108 server_picker(WLM) N/A
  • 40. SQream Technology(요약): 전체 데이타 처리 프로세스 o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨 o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨 o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨 o 메타데이터를 통해 데이터베이스 Scanning은 쿼리 조건과 상관없이 자연스럽게 Data Skipping 되어 처리 o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨 Automatic adaptive compression Data Data Data GPU Parallel chunk processing Data Skipping Data Data Data Chunking Data Data Data + Metadata tagging Columnar process Data Data Data Data Raw data Data Data Data Data Data Data Data Data Data GPU Parallel chunk processing
  • 41. SQREAM 도입 시 기대효과 o 빅데이터용 rDBMS로 SQream를 선택하시면 “20배 많아진 데이터”를 기존 대비 “10%정도의 리 소스 비용”으로 “100배 빠른 처리속도”를 보장. 100x 10% 20x 20배 더 많은 데이터 100배 빠른 처리속도 10% 리소스 비용 1. 데이터 보유 주기를 획기적으로 늘려 분석 범위를 20배 이상 확장 가능 2. 현재 실행되는 분석 업무의 성능을 100배까지 향상 가능 3. 현재 실행하는 분석 업무의 인프라 비용을 90%까지 축소 가능
  • 42. SQREAM KEY CUSTOMERS & Partners Customers Partners
  • 44. Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2) 네트워크의 성능이 스토리지 성능을 결정 오픈소스형 소프트웨어 정의 분산형 스토리지 통합 I : 객체, 블럭, 파일스토리지 통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화 무한 확장성 일반 x86하드웨어에서 동작 결험허용 제공-단일실폐 방지 자동관리, 자동치료 기능 Sage Weil SAN NAS Backup / Archive GPUDirect Storage Weka POSIX Client AI Training 분산병렬처리 HPC / Com pute Grid 분산병렬처리 Kubernetes CSI 수천/ 만개의 Container 스토리지접근 iSCSI, SMB, NFS Traditional Platform Protocols 수천/ 만개의 VM 스토리지접근 BLOCK, FileShare, Object FileShare MPP Hadoop 수백대 DB Engine 스토리지접근
  • 45. Cloud, Container, AI, HPC용 분산병렬스토리지의 중요성(2/2)
  • 46. 통합솔루션 분산스토리지(WEKA.IO)  Lakehouse(SQream)  AI분석플랫폼(w/ GPU, IPU) 15 WekaIO Confidential © 2019 All rights reserved. Data Lake WekaFS Weka Client The Weka File System Combines NVMe performance with massive scale of S3 Object Storage Ethernet or InfiniBand Network Storage Servers Unified Namespace S3 Public APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP APP SMB SMB NFS NFS APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU APP APP GPU GPU Top3급 분산스토리지 최고속도의 분석DBMS 최고성능 AI훈련 및 추론솔루션 Megazone Offerings Copyright 2020 © MEGAZONE CLOUD CORP. ALL RIGHT RESERVED. 요약: GRAPHCORE & MZC AI/MI 통합 솔루션 및 AI HPC Cloud 플렛폼 제공 AIàMI(ML,DL)을 위한 Neutral-Net 프로세서, 전용IPU카드, 범용 및 전용시스템, 소프트웨어스텍, 네트워크 아키텍쳐, AI HPC〮Cloud 플렛폼을 제공 COLOSSUS IPU Chipset IPU-M2000 x4 IPUs Poplar® SDK OpenStack Mega Edition Ceph Storage Mega Edition x2 Cards, x4 IPUs IPU Server4 x8 Cards, x16 IPUs IPU Server16 Neural-Net 프로세서 범용시스템 전용시스템 소프트웨어 스텍 및 관리프로그램 전용 네트워크 아키텍쳐 AI HPC | AI HPC Cloud IPU-POD64 x16 IPU-M2000, x64 IPUs IPU-PROCESSOR PCIE CARD [전용IPU카드] IPU-Server IPU-MACHINE IPU-POD128 per Rack, 1,024Racks 64K IPUs, 16ExaFlops Matilda AI Platform w/ GPU & IPU
  • 47. FEEL FREE TO ADDRESS Headquarters, 7 WTC 250 Greenwich Street New York, New York mkbahk@megazone.com | www.megazone.com Bahk, Moon-Kee +82-10-5367-5614 WE ARE SOCIAL CONTACT