SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

GPU Accelerated
Bigdata Analytic DBMS
Powered by Megazone Cloud
초-거대(>1PB)
정형데이타 분석에 최적화
SQL DB

Documentation History
Revision Date Editor Contents Comment
0.1 2021-01-31 SQream Korea 최초 작성
0.3 2021-06-30 전성호 사례 추가 및 보강
0.5 2021-12-31 박문기 사례 추가 및 HW 보강
0.6 2022-01-31 김현준 사례 추가 및 HW 보강, SW 보강
1.0 2022-04-15 박문기 김현준님 자료와 합병
1.1 2022-05-13 박문기 Hadoop 시스템 개요 및 변천과정 추가
Revision History
Date Written by Documentation Title
2020-01-31 SQream Korea SQream
Original Documentation

회사연혁
o 2010년 설립
뉴욕 본사 7 WTC New York | 이스라엘 텔아비브 소재 연구소
o 2016년 상용화 버전 출시
o 2017년 Alibaba Partnership 체결
o 2018년 Alibaba 투자 유치
o 2019년 SQream Version 2 출시
o 2019년 02월 한국 LGU+ 수주
o 2019년 06월 SQream Version 3 출시
o 2020년 06월 투자유치 (B+, Mangrove Capital)
o 2020년 08월 한국 SK Telecom(주) 수주
o 2020년 12월 한국 KB Card(주) 수주
o 2021년 04월 한국 삼성디스플레이(주) 수주

4차 산업시대 DATA의 위치
정보화시대 쌀 반도체, AI시대 쌀 DATA
DATA
IT for Business IT is Business
Data for Business Data is Business
AI for Business AI is Business
AI, Open the age of wisdom
GPU/IPU-가속 활용영역 확장
1. Game, Rendering, Video
Transcoding, 암호화폐마이닝
2. AI Deep Learning
3. GPU Database
4. MCMC 금융공학(Quantec)
5. HPC Simulation(nFlow)
6. Live SR-(Expresso Media)
7. 메타버스

Hyper-Massive 정형데이타 처리에 최적화된 rDBMS형, GPU가속형 분석DB
SQREAM은 수백TB ~수백PB에 이르는 초-거대용량 정형데이타 분석용 SQL DBMS
분석DB

MPP Data Loading Problem
MPP 초당 150M(약 0.145G) * 60초 * 60분= 서버30대 시간당 512G 로딩 가능,
SQream는 100Gbps에 시간당 V100 GPU 1개당 2.5T~6T 로딩가능

SQream: GPU-Accelerated AnalyticDB
분석DB
GPU로 가속된 rDBMS형, SQL을 지원하는 초-거대용량 “정형” 빅데이타 처리용 병렬•분석DB
2005~
In-Memory
Omnisci
(MapD)
Kinetica
Aerospike
SAP HANA
VoltaDB
IBM-DB2 BLUM
emSQL
Altibase
2010~
MassiveData
1990~
MPP(EDW)
Teradata MongoDB
Vertica Redshift Or
acle-Exadata
IBM-Netezza
Greenplum
Sybase IQ
Oracle
DB2
SQLServer
Informix
Sybase ASE
SQreamDB
Hadoop-Hive
Snowflake
BigQuery
1970~
ClassicalRelational
2010~
NO-SQL
o 1) WIDE COLUMN DATABASE(Store)
Hbase, GoogleBigTable, Vertica,
Druid, Accumulo, Hypertable
o 2) GRAPH DATABASE
Neo4j, Blazegraph, OrientDB
o 3) DOCUMENT DATABASE(Store)
MongoDB, Azure CosmosDB, CouchDB,
MarkLogic, OrientDB
o 4) KEY-VALUE DATABASE(Store)
Cassandra, LevelDBRocksDB, Redis,
Oracle NoSQLDB,Voldemorte,
Oracle BerkeleyDB, Memcached, Hazelcast
RelationalDB NoSQL & Hadoop Public Cloud Only
GPU Database
GPU Accelerated+rDBMS-SQL+MPP+NO-SQL(WIDE COLUMN, Key-Value DB)  SQream AnalyticDB

Data Lake / Data Dam
EDW구축•분석을 위한 MPP 대체 SQREAM 위치
OLTP
Other Bigdata
Data
Integration
Data
Integration
Data
Warehouse
Data
Mart
Data Mining
Analytic
ETL

E,L
ETL

T
OLAP
ETL / CDC ETL / CDC

Bigdata Apache Hadoop Eco-System

Bigdata Apache Hadoop Eco-System
 왜이리 복잡한 것이야!! 우린 그동안 RDBMS만으로 잘 처리해 왔는데..
 정형, 비정형, 반정형 다 처리 잘 한다고, 그건 Naver나 Kakao, 우린 정형밖에 없어!
 Java로 MapReduce 분산Framework Program을 짜야 한다고,
 NO-SQL, Key-Value 중심이라고, RDBMS-SQL은 지원하는 것인가?
 대규모 분산 병렬이면서 대규모 Sorting, Joining, Grouping은 왜 이리 느린거지?
 왜이리 수 십대의 서버들이 필요한 것이지!!
 어 비용이 100억대야..참나!!

Column
DataLake, Bigdata(Hadoop) 정형데이타 처리부분  SQream 대치
Google
2003
Map
Reduce
GFS
(Google File
System)
Hadoop
MR1, Spark, Tez,
MPI4Dask
HDFS
(분산병렬스토리지시스템)
HIVE
(SQL-on-Hadoop)
Impala(클라우드데라)
Apache-Tajo(그루터)
Stringer(호튼웍스)
Drill(맵알)
HAWQ(피보탈)
Spanner(Google)
GPU 가속
분석DBMS
RDMA, RoCE
GPUDirect, GDS
YARN
Job Scheduler
HPC
SuperCom
MapReduce
Shared Memory
MPI
BSP
Lustre,
GlusterFS,...
LSF, Slurm Job
Scheduler
MR2
MR3
Key-Value Document
정형
반정형
비정형
PrestoTrino(Facebook)
Graph
Map
Reduce
V1 V2

SQream 분성DB 위치
Dataware house+Data Lake = Lakehouse: SQream의 위치
Lakehouse

EDW 아키텍쳐 SQream for LakeHouse
Warehouse+DataLake=Lakehouse

TELECOM
기존 업무 프로세스 대비 최대 32배 성능 개선 평가
기존 시스템 하둡 100대 서버 SQream GPU 서버 1대
업무 1일분석업무 시간분석업무 1일분석업무 시간분석업무
APP서비스 그룹별 분석 2:03:00 0:11:46 0:04:06 0:00:14
eNB 별 서비스 분석 1:48:00 0:12:28 0:24:46 0:01:13
단말기별 서비스 분석 0:52:00 0:06:49 0:05:24 0:00:15
요금제별 서비스 분석 1:10:00 0:07:29 0:19:06 0:00:53
장비별 트래픽 분석 NA 0:03:59 NA 0:00:30
IOT 단말 기반 POS별 서비스 분석 0:22:00 0:03:43 0:06:01 0:00:20
IOT 단말 기반 서비스 분석 0:23:00 0:04:50 0:05:16 0:00:17
CDR Data 합계 산정 결과 도출 불가 결과 도출 불가 0:00:21 0:00:10
CDR Data – 평균 구성 시간 분석 결과 도출 불가 결과 도출 불가 0:00:27 0:00:14
CDR Data – 통화시간 분석 결과 도출 불가 결과 도출 불가 0:00:25 0:00:13
데이터 조인 업무 결과 도출 불가 결과 도출 불가 0:02:21 0:00:54
기존 플랫폼: 하둡 100대 서버 노드 vs. SQream 플랫폼 GPU 서버 노드 1대
국내통신사 사례 (L사): 최대 32배 성능 개선
국내 “L통신사”

국내통신사 사례 (S사): 업무 개선 내역 상세
TELECOM
기존 Hadoop에서 어렵고 긴 분석 시간 단축을 위한 전처리 플랫폼 구축
국내 “S통신사”
업무 데이터기간 ORC
Flat File
(Raw Data)
데이터건수
기존 Hadoop
시스템
SQream DB 요약
Routine1
1일 68 GB 760 GB 40억 420초 55초
1일 데이터
최소 53초~
최대 59초의
실행시간 평균
17일 1.12 TB 12.54 TB 660 억 NA 60초
Routine2 17일 1.12 TB 12.54 TB 660 억 NA 1,260초
특정 테이블들을 대상으로 sub-routine 업무쿼리 실행
 1일 데이터 - 68GB ORC 파일, 약 40억건, 약 760GB Raw Data 대상 쿼리 실행
 17일 데이터 – 1.12TB ORC 파일, 약 660억건, 약 12.54TB Raw Data 대상 쿼리 실행

국내 제조사 사례 (S사): 업무 개선 내역 상세
72억건 데이타 적재・조회, Oracle ExaData 8대 vs. SQream 1대: SQ가 5배 속도 빠름
Business Units
Application
Layer
SQream을 통한 초고속 전처리 엔진 구성
SQream을 통한 초 고속 전처리 엔진 구
성
Marketing
Audit
Sales
Quality
ETC
Sorce Oracle
82 EA
Data Extract Data Load
제조사
.
.
.

금융권: IFRS17 보험 BEL 분석 PoC
보험사
미래현금흐름(BEL) 분석시간 기존 P.SQL 1h13m  SQ 1m20s 성능개선
국내 “G사”
o 지아컨설팅-KAS + SQREAM
벤치마크환경
진행사항
o 10만건 기-계약데이터에 미래현금흐름(BEL) 산출쿼리
o PostgreSQL(CPU) vs. SQREAM(GPU)
o PostgreSQL 10만건 동시 진행
o SQREAM 10만건 동시 진행
o SQREAM 5,000만건 진행
SQream DB (100,000)
PostgreSQL (100,000)
1m20s
1h13m
SQream DB (50,000,000)
3h13m
o 일반적으로보험사의현재계약건수는2억건이상.
o 2~3년전수행한IFRS프로젝트의목표수행시간은D+5~D+7임
o 2023년1월적용시작을위해서는최소1년간의테스트가필요하여아무리
늦어도2022년6월까지는도입완료하여야만함
o 매월1회수행및신규상품개발시몇번씩수행해야만함
AWS Aurora-PostgreSQL, VMWare Greenplum

국내 제조사 사례 (L사): 가전 정보 수집
전세계 백색 가전 데이터 수집 및 마케팅 활용, 사용자 편의 제공
제조사
AWS S3

SQream vs Cloud Based Bigdata System
SQream vs. Cloud Based Bigdata System

해외 사례
o 하루 종일 3G/4GL/5G 데이터 처리
량을 보여주는 대시보드 제공
o 이동통신 가입자 대상 네트워크
사용량 분석
o 약 43억건 (3000만명)
o AD-Tech 온라인 광고 극대화를 위
한 데이터 분석
o PT 규모 데이터 분석
해외사례들: SQream  MPP, Hadoop 대체

빅데이타 처리용 SQream 핵심 성능최적화 기법
SQREAM, 수백TB~수백PB에 이르는 초-거대용량 정형 데이터 분석용 GPU로 가속된 SQL DB 플랫폼
분석DB
I/O isolation: 저장, 입출력, 메모리간-이동
Parallelism: 병렬 분산 처리

SQream Analytic SQL DB 핵심기술
1 2
3
4

SQream Technology(1): GPU기반 Parallel Processing
• GP-GPU(General Purpose GPU, NVIDIA V100, A100, H100)기반의 벡터연산 + 선형대수연산(Data Processing, AI)에 적합한 GPU
• 수 천개의 병렬 프로세싱 코어들 – NVIDIA의 TESLA H100 모델은 16,896개의 Cuda Core수 제공
• GP-GPU HDM메모리 Throughput – ~900GB/s
• NVIDIA의 CUDA FRAMEWORK은 Massively Parallel Processing 기술 제공
• 대용량 통계학적인 분석 처리에 차별화(압축 알고리즘 처리 및 Group By 분류, Sum, Avg, Count, Max, Min 등)
AMD EPYC 9004 GENOA CPU 96 Cores
vs.
NVIDIA H100 GPU 16,896 FP32 CUDA Cores

SQream Technology(1): GPU기반 Parallel Processing Cores 비교
구분 서버 100대 MPP
서버 2대 SQream
w/ NVIDIA H100 GP-GPU 각 8개=총16개
CPU Core AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 100대 = 25,600 CPU Cores
AMD 96Cores x 2 Sockets:
128C x 2 Sockets x 2대 = 512 CPU Cores
NVIDIA H100 GPUS:
16,896C x 8 x 서버 2대 = 270,336 GPU Cores
Memory DDR 512G x 10 = 5,120G DDR 512G x 2 = 1,024G
GPU HDM2 32G x 8 = 256G
DBEngine# 100 DBEngines GPU# 총 16개 * 최대 8 Engines = 128 DBEngines
10.5배

SQream Technology(1): 강력한 CPU+GPU 쿼리 성능
SQL컴파일러 및 최적화 도구 : 기존 SQL을 변경 없이 그대로 수행
o SQream DB는 기존에 사용하던 ANSI-92 기반 SQL 쿼리를
자동으로 병렬 처리가 가능한 관계형 대수 연산( Relation
al Algebra)용 쿼리로 사용자 개입 없이 내부 SQL 컴파일
러에 의해 CPU+GPU 자동 재-최적화 수행
o GPU Core는 최적화된 쿼리를 사용 대량의 병렬연산을
효율적으로 수행
o 주로 Filter, Join 등의 복잡한 작업들은 가산 및 곱셈과 같
은 수학적개념으로 대치되어 GPU 연산으로 뛰어난 효
과

CPU & GPU 동시 병행 처리 최적화
컬럼명 실행장소 설명
Rechunk
여러 개의 작은 청크를 모아 큰 청크로 재구성. 일반적으로 조인 후 및 HIGH_SELECTIVITY를 사용할 때 발견
됨
Reduce GPU GROUP BY와 같은 reduce 작업
ReduceMerge GPU 축소 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
ReorderInput 다음 작업을 준비하기 위해 인수 순서 변경
SeparatedGather GPU 결과에 대한 추가 column을 수집
Sort GPU 정렬
SortMerge CPU 정렬 작업의 병합 작업으로 RAM보다 큰 데이터 작업에 도움이 됩니다
SortMergeJoin GPU GPU에서 수행되는 sort-merge join
TakeRowsFromChunk ORDER BY와 함께 사용될 때 LIMIT를 최적화하기 위해 각 청크에서 처음 N 개 행을 가져옴
Top LIMIT 혹은 top 와 함께 사용할 때 크기를 제한
UdfTransform CPU 사용자 정의 함수(UDF)를 실행
UnionAll UNION ALL이 사용될 때 두 데이터 소스를 결합
VarCharJoiner Internal하게 사용됨
VarCharSplitter Internal하게 사용됨
Window GPU Non-ranking 윈도우 함수 실행
Window Ranking GPU Ranking 윈도우 함수 실행
WriteTable CPU 결과 집합을 디스크에 저장된 표준 테이블에 기록

H/W: HBM(High bandwidth Memory) GPU Memory
o NVIDIA GP-GPU 계열은 HBM(High Bandwidth Memory) 사용
o D램을 여러 개 쌓아 한 번에 전송할 수 있는 데이터의 용량(메모리 대역폭)을 크게 늘린 메모리 확장구조
o 수직으로 RAM을 쌓기 때문에 RAM과 GPU 간 거리와 회로 길이를 과감하게 줄이고, 메모리의 집적도 역시 높일 수 있음
o GDDR 방식보다 와트 당 성능이 3.5배 증가하고 소비 전력 역시 훨씬 낮으며 보드의 표면적을 94% 줄일 수 있음

H/W: GPU 서버 구성과 속도차이

H/W+S/W: RDMA NIC(SQ-SQ Cluster간, SQ-병렬분산스토리지와 통신)
• RDMA(Remote Direct Memory Access) NIC(Network Interface Card)
 InfiniBand(IB)-Mellanox
 iWRAP-Intel
 RDMA over Converged Ethernet(RoCE)-STD
NO RDMA RDMA

H/W+S/W: GPUDirect over RDMA NIC
o NVIDIA GPU의 GPUDirect RDMA(Remote Direct Memory Access)기반
o 기존의 방식의 경우 Data 를 GPU Memory 에 load 할 때 CPU 와 PCIe bus 를 거치는 2번의 복사 과정을 진행
o NVIDIA GPUDirect RDMA 기술이 도입된 SQream 의 경우 CPU 와 System Memory 를 사용하지 않고
PCIe bus 를 통해 직접적으로 GPU Memory 에 Direct load 됨
o 데이터 전송 시 병목 현상 최소화
o 사용하지 않는 CPU 와 System Memory 에 다른 작업 수행 가능

H/W+S/W: GDS(GPUDirect Storage)

o 많은 분석계 기반 (EDW, DM 등의 정보계) 데이터베이스에서
채택됨.
o Column계열 데이터베이스 예) Sybase IQ, Vertica, SAP HANA 등
o 빅데이터 분석에 매우 적합함 – 일별•계정별 집계 등
o 데이터 locality가 높기 때문에 “압축율”이 높음
o 필요한 컬럼만 액세스하여 "I/O 감소"
SQream Technology(2): COLUMNAR

SQream Technology(3): CHUNKING
컬럼 단위 평균 100만 건 묶음 “Chunking”기술
o 컬럼구조로 저장되는 데이터 구조는 100만건수 단위로 “Chunking” (수평적인
세그멘테이션) 되어 관리 됨
o SQREAM 데이터베이스는 기본적으로 “Chunk” 단위로 데이터를 Scanning 하고
시스템 메모리, 그리고 GPU 메모리에 프로세싱을 위하여 주입함
Table
Table
Chunks
Columns
 GPU 리소스를 효율적으로 사용할 수 있도록 Chunk 단위 데이터 Store 및 Read
o Sqream DB테이블들은 다차원으로 데이터를 파티셔닝하여 확장성을 좀더 늘릴 수
있도록 설계됨. Data Chunking은 Ingest(Loading)하는 동안 자동 수행
o 모든 컬럼 집합은 Data Chunk 단위로 스토리지에 저장
o 자동으로 수직•수평 파티셔닝을 수행하며, Columnar에 대한 선택적 접근 및 chunk
단위 스토리지 사용을 통해 제약적인 GPU 메모리 환경에서도 Transaction이 효율적
으로 처리

CHUNK METADATA
TABLE
SQream Technology(3): CHUNK + SMART METADATA

o 모든 chunk에는 해당 chunk 데이터에 대한 메타 데이터
존재(최대값, 최소값 등)
o 메타데이터엔 “Chunk”의 Min/Max 등의 정보가 관리 되며
Metadata 프로세스를 통해 분리 관리
o 이는 모든 컬럼엔 인덱스를 대신 하는 초경량의 정보
가 관리 된다는 의미이며 SQREAM의 차별화 된 I/O 분
산 및 최소화 기술
o 따라서 타 데이터베이스 솔루션 같이 무거운 인덱스의
자원 사용이나 관리가 필요 없음
o Example:
SELECT * FROM t WHERE YEAR>2017
(all chunks with YEAR<=2017 can be skipped)
day month year val1 val2 val3
 10 2017   
 11 2017   
 12 2017   
 01 2018   
 02 2018   
 03 2018   
READ
SKIP
Automatic, transparent, index replacement
SQream Technology(3): SMART METADATADATA SKIPPING

SQream Technology(2+3): Always on Compression저장량, 입출력량 감소
고속 데이터 Ingest 및 처리를 지원하는 GPU기반 압축∙해제
o SQream은 데이터 로드 중, GPU를 사용하여 자동으로 데이터를 압축함
o GPU를 사용하므로, 굉장히 빠르게 모든 데이터를 압축 및 해제 가능
o 초고속 데이터를 로딩 ∙ 추출 가능(3~6TB/Hour/GPU당 ingest speed)
o 데이터 타입에 따라 자동으로 최적의 압축 방식을 적용하며, 약 1:4 ~ 1:7 의 압
축률과 알고리즘 적용(대략 100GB raw data 로드 시, 20GB 로 압축가능)
o DICT – Dictionary compression
o Patched Frame-of-Reference (p4d)
o RLE – Run Length Encoding
o Snappy – CPU-based text compression
o 저장용량 감소 및 입출력량 감소
소스 데이터
1PB
Data Data Data
Data Data Data
Data Data Data
SQREAM
데이터 - 15TB
Ingestion

SQream Technology(4): 무한 수평적 서버 확장 가능한 클러스터 아키텍처
o Shared-Storage 아키텍처 - 모든 노드에서는 같이 바라 볼 수 있는 공유 파일시스템이 요구됨
o SQream 자체 부하분산기(WLM, Server Picker)를 통해 워크로드는 현재 비어 있는 GPU Worker에 Assign 됨
o 특정 GPU에 Assign된 워크로드는 GPU를 전체를 다 쓰게 되며 수천 개의 코아를 통해 처리됨
o GPU는 최대 8조각까지 SPLIT 가능하며 이를 통해 Concurrency를 최대화하는 아키텍처로 융통성 있게 구성 가능
GPU Scale-Up, Server Scale-Out
병렬분산스토리지
Compute 노드# 
GPU 리소스# ↑ ↑ ↑(NVIDIA V100A100H100)

WLM (Work Loader Manager)
SQream Storage Cluster Shared File Area (ETL)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5006
W2
5007
Mem:2TB, Core: 32
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
GPU
(32GB)
W1
5000
W2
5001
W1
5002
W2
5003
W1
5004
W2
5005
W1
5060
W2
5007
Mem:2TB, Core: 32
/sqreamdb/cluster /data
etlgpu(x.x.x.101) qrygpu01(x.x.x.102) qrygpu02(x.x.x.103) qrygpu03(x.x.x.104) qrygpu04(x.x.x.105)
Web Service
Mem:244GB, Core: 64
sqleditor(x.x.x.100)
worker
sqream service
etl service
cluster
SQream Technology(4): SQreamDB 시스템 구성 예
Node:
1 Meta_Server
1 Server_Picker
다수 Worker들

SQream Technology(4): GPU당 다수 Worker들병렬처리 성능향상
o Worker는 SQL을 실행하는 SQreamDB의 프로그램으로 GPU당 1~8개로 분할 구성 가능, 아래 예제 구성은 GPU당 2개
Worker로 구성
Node Port # Instance ID GPU #
Worker
Node#1
5000 worker_01 0
5001 worker_02 0
5002 worker_03 1
5003 worker_04 1
5004 worker_05 2
5005 worker_06 2
5006 worker_07 3
5007 worker_08 3
Worker
Node#2
5000 worker_11 0
5001 worker_12 0
5002 worker_13 1
5003 worker_14 1
5004 worker_15 2
5005 worker_16 2
5006 worker_17 3
5007 worker_18 3
Worker
Node#3
5000 worker_21 0
5001 worker_22 0
5002 worker_23 1
5003 worker_24 1
5004 worker_25 2
5005 worker_26 2
5006 worker_27 3
5007 worker_28 3
Worker
Node#4
5000 worker_31 0
5001 worker_32 0
5002 worker_33 1
5003 worker_34 1
5004 worker_35 2
5005 worker_36 2
5006 worker_37 3
5007 worker_38 3
Worker
Node#5
5000 worker_41 0
5001 worker_42 0
Metadata_Server 3105 metadata server N/A
Server_Picker 3108 server_picker(WLM) N/A

SQream Technology(요약): 전체 데이타 처리 프로세스
o Columnar Database : 원시 데이터는 컬럼 계열로 수직화 분류 및 저장됨
o I/O 단위 최적화 : 컬럼 계열의 데이터는 “Chunking” 되며 메타데이터가 부여 됨
o 모든 “Chunk”는 자동적으로 저장 시 압축 • 로딩 시 압축해제 됨
o 메타데이터를 통해 데이터베이스 Scanning은 쿼리 조건과 상관없이 자연스럽게 Data Skipping 되어 처리
o 시스템 메모리에 들어온 “Chunk”는 GPU메모리에 적재되며 Parallel Processing 됨
Automatic adaptive
compression
Data Data Data
GPU
Parallel chunk
processing
Data Skipping
Data Data Data
Chunking
Data Data Data
+ Metadata tagging
Columnar process
Data Data
Data
Data
Raw data
Data Data Data
Data Data Data
Data Data Data
GPU
Parallel chunk
processing

SQREAM 도입 시 기대효과
o 빅데이터용 rDBMS로 SQream를 선택하시면 “20배 많아진 데이터”를 기존 대비 “10%정도의 리
소스 비용”으로 “100배 빠른 처리속도”를 보장.
100x 10%
20x
20배 더 많은 데이터 100배 빠른 처리속도 10% 리소스 비용
1. 데이터 보유 주기를 획기적으로 늘려 분석 범위를 20배 이상 확장 가능
2. 현재 실행되는 분석 업무의 성능을 100배까지 향상 가능
3. 현재 실행하는 분석 업무의 인프라 비용을 90%까지 축소 가능

SQREAM KEY CUSTOMERS & Partners
Customers
Partners

Cloud, Container, AI, HPC용 분산병렬형 통합스토리지의 중요성(1/2)
네트워크의 성능이 스토리지 성능을 결정
오픈소스형 소프트웨어 정의 분산형 스토리지
통합 I : 객체, 블럭, 파일스토리지
통합 II : Workload별 IOPS, Throughput, Cost & Capacity-최적화
무한 확장성
일반 x86하드웨어에서 동작
결험허용 제공-단일실폐 방지
자동관리, 자동치료 기능
Sage Weil
SAN NAS
Backup /
Archive
GPUDirect Storage Weka POSIX Client
AI Training
분산병렬처리
HPC / Com pute Grid
분산병렬처리
Kubernetes
CSI
수천/ 만개의
Container
스토리지접근
iSCSI, SMB, NFS
Traditional Platform
Protocols
수천/ 만개의 VM
스토리지접근
BLOCK, FileShare, Object FileShare
MPP Hadoop
수백대 DB Engine
스토리지접근

Cloud, Container, AI, HPC용 분산병렬스토리지의 중요성(2/2)

통합솔루션
분산스토리지(WEKA.IO)  Lakehouse(SQream)  AI분석플랫폼(w/ GPU, IPU)
15
WekaIO Confidential © 2019 All rights reserved.
Data Lake
WekaFS
Weka Client
The Weka File System
Combines NVMe performance with massive scale of S3 Object Storage
Ethernet or InfiniBand Network
Storage Servers
Unified Namespace
S3
Public
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
APP
SMB
SMB
NFS
NFS
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
APP APP
GPU GPU
Top3급 분산스토리지 최고속도의 분석DBMS 최고성능 AI훈련 및 추론솔루션
Megazone Offerings
Copyright 2020 © MEGAZONE CLOUD CORP. ALL RIGHT RESERVED.
요약: GRAPHCORE & MZC AI/MI 통합 솔루션 및 AI HPC Cloud 플렛폼 제공
AIàMI(ML,DL)을 위한 Neutral-Net 프로세서, 전용IPU카드, 범용 및 전용시스템, 소프트웨어스텍, 네트워크 아키텍쳐, AI HPC〮Cloud 플렛폼을
제공
COLOSSUS
IPU Chipset
IPU-M2000
x4 IPUs
Poplar®
SDK
OpenStack Mega Edition
Ceph Storage Mega Edition
x2 Cards, x4 IPUs
IPU Server4
x8 Cards, x16 IPUs
IPU Server16
Neural-Net
프로세서
범용시스템 전용시스템
소프트웨어 스텍
및 관리프로그램
전용 네트워크
아키텍쳐
AI HPC | AI HPC Cloud
IPU-POD64
x16 IPU-M2000, x64 IPUs
IPU-PROCESSOR
PCIE CARD
[전용IPU카드]
IPU-Server IPU-MACHINE
IPU-POD128 per Rack, 1,024Racks
64K IPUs, 16ExaFlops
Matilda AI Platform
w/ GPU & IPU

FEEL FREE TO
ADDRESS
Headquarters, 7 WTC
250 Greenwich Street
New York, New York
mkbahk@megazone.com | www.megazone.com
Bahk, Moon-Kee
+82-10-5367-5614
WE ARE SOCIAL
CONTACT

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

More Related Content

What's hot

Similar to SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드

Recently uploaded

SQream-GPU가속 초거대 정형데이타 분석용 SQL DB-제품소개-박문기@메가존클라우드