AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS로 데이터 마이그레이션을 위한
방안과 옵션
박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저 - APJC

발표 순서
AWS Transfer Services
AWS Direct Connect
AWS DataSync
AWS Snowball Family
AWS Transfer for SFTP
AWS Storage Gateway Family
Amazon S3 Transfer Acceleration

다양한 데이터 전송 및 스토리지 서비스
Amazon Elastic
Block Store
(Amazon EBS)
Amazon Simple
Storage Service
(Amazon S3)
Amazon Glacier
Data movement
OnlineOffline
AWS Snow family
AWS Storage Gateway family
AWS Direct Connect
AWS DataSync
Amazon S3
Transfer Acceleration
Storage partners
Amazon Kinesis Data Streams,
Amazon Kinesis Video Streams, &
Amazon Kinesis Firehose
Amazon Elastic File
System (Amazon EFS)

AWS 데이터 전송 서비스와 하이브리드 스토리지
Online
data transfer
Hybrid
storage
Offline
data transfer
Private
network
connections
to AWS
Load
streaming
data into
Amazon S3
Ship static
data into and
out of
Amazon S3
Access AWS
storage from
on-premises
Edge locations
for Amazon
S3 enabled
applications
Online
transfer of
active data
AWS
DataSync
AWS
Transfer
for SFTP
SFTP transfers
into Amazon S3
Storage and
compute in
disconnected
environments

오늘의 주제는 …
We’ll be talking about moving your data
• Data tied to applications
you’re migrating
• Data in bulk storage
(e.g., NAS filers)
• Data connected to
on-premises applications
• Data as part of continuous
edge & hybrid workflows
You have IT resources and want to move them to the cloud

왜 클라우드로 데이터 마이그레이션을 고려할까요?
Cost
effectiveness
Workforce
productivity
Business
agility
Operational
resilience
Access to
innovative
services
Disruption Speed Costs Channels Cloud
compatibility
클라우드로 데이터 마이그레이션을 고려하는 이유:
데이터 마이그레이션의 어려운 점:
While every cloud adoption journey is unique, all require a data migration step, which
can be hindered by blockers such as:

데이터 마이그레이션을 위한 5 가지 주요 질문
1) 어떤 데이터를 어디로 이전할 것인가?
4) 이전을 고려하고 있는 데이터 양과 예상 소요 시간?
2) 일회성 또는 지속적 복제?
3) 단방향 또는 양방향?
5) 네트워크 대역폭?
Amazon S3
Amazon EC2
Amazon
EFS
Amazon
EBS
Amazon
Aurora
Amazon
EMR
Amazon
Glacier
Amazon
RDS
AWS
IoT
Amazon
Redshift
Files Block
volumes
Databases IoT Streams

AWS Direct Connect
Reduce
bandwidth Costs
Consistent
network
performance
Compatible with
all AWS services
Private
connectivity to
VPC
Elastic Simple
• 온프레미스 데이터 센터와 AWS 데이터 센터 간 전용 네트워크 연결
• VLAN을 사용하여 전용 연결을 여러 가상 인터페이스로 나누어 사용 가능
• 퍼블릭 환경과 프라이빗 환경 간의 네트워크 분리
이점

활성 데이터 전송이 필요한 사용 사례
Migration of active
application data
Transferring data
for time sensitive
in-cloud analysis
Replication of data
for business
continuity
Online data transfer

AWS DataSync
온프레미스 스토리지와 AWS간 대량의 데이터 이동 및 복제를
간소화 및 자동화, 가속화하는 관리형 데이터 전송 서비스
Fast data
transfer
Cost-
effective
Enterprise
ready
Easy to use Secure and
reliable

AWS DataSync
• 증분 전송, 인라인 압축 및 스파스(sparse) 파일 감지, 인라인 데이터 검증과 암호화와 같은
네트워크 최적화를 통해 데이터를 빠르게 전송하고, 지정된 Amazon S3 버킷 또는 Amazon EFS
파일 시스템에 보관
Fast data
transfer
Easy to use
Secure and
reliable
Enterprise
ready
Cost-
effective
• AWS 관리 콘솔, 또는 AWS CLI, SDK를 통해서 관리 가능하고 Amazon CloudWatch를 사용하여
현재 진행 중인 전송의 상태를 모니터링하고 이전 데이터 전송의 내역을 확인
• 전송이 이루어질 때마다 전송 대상 데이터와 미사용 데이터 모두에 대해 무결성 점검을 통해
데이터가 소스에서 읽은 데이터와 일치하는지 확인하고 일관성을 검증
• PCI-DSS 를 준수하고 HIPAA 적격 상태이며 IAM, AWS CloudTrail과 통합
• 복사된 GB당 0.04 달러

DataSync는 어떻게 사용합니까?
On-premises NFS file
systems, Amazon S3 buckets, or
Amazon EFS file systems
데이터의 위치와 전송 옵션을
지정하여 작업 생성
Monitor in the
console or through
Amazon CloudWatch
작업을 시작하고
모니터링
VMware ESXi
8 vCPU
32 GB memory
DataSync 에이전트를 배포하고
AWS 계정과 연결
1 2 3

AWS DataSync 동작 방법
Shared
file system
NFS TLS
On-Premise
Amazon S3
bucket
AWS Storage resources
AWS
DataSync
Agent deployed
on-premises for
fast access to
local storage
Region
Amazon EFS
file system
AWS DataSync
agent
Accelerates Data
transfer over the
WAN, and
encrypts data
with TLS
Managed from the
console or AWS
Command Line
Interface (AWS CLI)
Service in AWS
writes or reads
data from AWS
storage services

AWS DataSync와 Storage Gateway 활용 방안
AWS DataSync transfers to Amazon S3 as part of migration incremental sync keeps Amazon S3 up to date1
NAS
Amazon S3
bucket
On-Premise Region
Applications
AWS
DataSync
AWS DataSync
agent
1

2 Latency-sensitive applications can access data through file gateway, can decommission NAS
NAS
Amazon S3
bucket
On-Premise Region
Applications
2
AWS
DataSync
AWS DataSync
agent
1

2 Latency-sensitive applications can access data through file gateway, can decommission NAS
Amazon S3
bucket
On-Premise Region
Applications

클라우드로 대용량 데이터 마이그레이션의 어려운 점
인터넷을 통해 대용량 데이터 이동은 몇 개월이 걸릴
수 있다
연결이 제한적인 원격 위치에서 클라우드에 항상
액세스할 수 있는 것은 아니다
기존 하드 드라이브의 전통적인 배송은 힘들고
오류가 발생하기 쉽다
AWS Snowball AWS Snowball Edge

다양한 환경에서 엣지 컴퓨팅 요구 증가
데이터 생성이 분산되어 있고 데이터 양이 상당히 많으며
네트워크에 액세스할 수 없거나 연결이 원활하지 않은
다양한 환경에서 이를 대처하기 위해 엣지 컴퓨팅 기능을 필요로 한다
Research Industrial Healthcare Transportation

엣지 컴퓨팅의 새로운 사용 사례
Transportation
Advanced driver application
systems where growing volumes of
instrument data require localized
processing and sequencing prior to
storage ingest
Aerospace
Commercial drone applications with
inline capture, transformation and
transcoding of imagery/video content
Industrial
Industrial IoT applications where
significant data volumes require
filtration and pre-processing prior
to storage ingest

AWS Snow Family
AWS Snowball
AWS Snowball Edge
Compute or Storage Optimized AWS Snowmobile
• 80-TB storage capacity
• 10GE networking
• Data encryption end-to-end
• Rugged 8.5-G impact case
• Rain and dust-resistant
• 42 or 100-TB storage capacity
• Rugged 8.5-G impact case
• Rain and dust resistant
• AWS Greengrass support for local
compute, messaging, and caching
• EC2/AMI support for edge
compute
• Optional GPU
• Exabyte-scale storage in a 45-ft
container
• Dedicated security personnel
• GPS tracking, alarm monitoring,
24/7 surveillance, and optional
additional security

Snowball Edge 옵션 요약
Amazon S3 Compatible Storage 42TB 100TB
Compute Comparable to m5d.2xlarge Comparable to m4.4xlarge
AWS Services available Amazon Lambda, File Gateway, Amazon EC2 Lambda, File Gateway, Amazon EC2
Memory 208GB 32GB
vCPUs 52 24
Disk Space for Instances 7.62TB 1TB
Clustering Available Available
Typical job lifetime Can be long lasting About 1 month
Networking Max 100Gb Max 40Gb
GPU Optional Nvidia Tesla V100 No
Storage
Optimized
Compute
Optimized

Snowball Edge 주요 특징
Amazon Simple Storage
Service (Amazon S3)
Compatible Endpoint
NFS File
Interface
Storage and compute
cluster
AWS Greengrass and
Lambda support
Line rate data
transfer
Hardware enabled data
encryption
Amazon Elastic Compute
Cloud (Amazon EC2)
Instance support

Snowball 작업 생성

SFTP (Secure File Transfer Protocol)
SFTP는 다양한 산업에서 비즈니스 파트너 간 데이터 교환에 널리 사용
Financial services
$
Retail
Healthcare … and more

AWS로 SFTP 워크플로우 이전 (Migration)
이점
• Durable storage in Amazon S3
• Processing, archival and retention of data
• Integration with AWS services
SFTP SFTP server and data
애플리케이션, 프로세스, 클라이언트
소프트웨어 구성 또는 동작을 변경하지
않고 계속해서 파일 교환 가능!

완전 관리형 서비스로, Amazon S3에서 SFTP를 통해 직접 파일을 송수신할
수 있도록 지원
Seamless migration
of existing workflows
Native integration
with AWS services
Simple
to use
Cost
effective
Fully managed
in AWS
Enterprise
ready

3 단계로 SFTP 설정 완료!
이제 AWS SFTP 서버 엔드포인트를 사용하여 데이터를 전송할 수 있습니다
Map your hostname Select your Amazon S3
bucket(s)
Set up your users
1 2 3

AWS Transfer for SFTP 적용 후
The same hundreds of users
now serviced by AWS Transfer,
without requiring changes
+ Enterprise ready
+ No end user disruption
+ Fully managed servers
+ Simple to use
+ Pay as you use
+ Native cloud integrations
AWS Cloud
AWS SFTP Amazon S3

고정 IP Address 를 이용한 SFTP 서버 액세스
AWS SFTP Amazon S3
AWS Cloud
VPC Endpoint
VPC
Network access control list
Instance
Instance
Instance

고정 IP Address를 이용한 SFTP 서버 액세스
AWS SFTP Amazon S3
AWS Cloud
VPC Endpoint
VPC
Network access control list
Network Load
Balancer

Existing Data
Archives
New Data
Corporate
Data Centers or
Offices
AWS Storage Gateway
HTTPS
NFS
SMB
iSCSI
VTL
AWS 클라우드 스토리지를 원활하게 사용할 수 있게 해주는 하이브리드 스토리지 서비스
On-Premises
Gateway
Service
Amazon S3
Amazon EBS
snapshots
Amazon Glacier

File gateway
파일 스토리지가 필요한 애플리케이션에 로컬 캐싱과 함께
Amazon S3의 데이터에 SMB 또는 NFS 기반 액세스 제공
Volume gateway
온프레미스에 로컬 캐시 또는 전체 볼륨을 제공하면서
AWS 클라우드에 볼륨의 전체 사본을 저장
Tape gateway
테이프 또는 가상 테이프 라이브러리 시스템에서
클라우드로 백업 작업을 원활하게 전환할 수 있는 방법 제공
AWS 스토리지 서비스에 연결하여 파일 및 볼륨, 가상 테이프 인터페이스 제공

AWS Storage Gateway 주요 기능들
Standard storage
protocols
Seamlessly connect on-premises
applications to AWS storage without
modifying applications
Fully managed cache
Frequently used data cached locally
For low-latency access
Optimized data transfer
Secures upload of changed data and
downloads requested data
AWS integrated
Manage on-premise gateways in AWS Management
Console and use your data across the entire portfolio
of AWS applications and services

File gateway 개요
File Gateway Objects in your
Amazon S3 bucket
NFS v3/v4
SMB v2/v3
• 업계 표준 NFS 및 SMB 파일 프로토콜을 사용하여 파일을 Amazon S3에
객체로 저장
• SMB, NFS 또는 S3 API 인터페이스를 통해 파일에 액세스할 수 있는
인터페이스 제공
• 소유권, 권한 및 타임스탬프를 비롯한 POSIX 유형 메타데이터 지원
• S3 버전 관리, 수명 주기 관리,크로스 리전 복제와 같은 버킷 정책 적용
주요 기능
On-Premise
HTTPS

Volume gateway 개요
• 업계 표준 iSCSI 프로토콜 지원
• 두 가지 모드 지원: cached와 stored
• Amazon EBS 스냅샷으로 클라우드에 저장
• 모든 스냅샷 스토리지는 압축되어 스토리지 비용을 최소화
주요 기능
Application
server
Amazon EBS
snapshots
ServiceVolume
Gateway
Volume stored in
Amazon S3
HTTPSiSCSI
On-Premise

• 가상 미디어 체인저와 가상 테이프 드라이브로 구성된 업계 표준 iSCSI 기반
가상 VTL로 제공
• Amazon S3에 저장된 가상 테이프에 쓰면서 기존 백업 애플리케이션과
워크플로를 계속 사용
• 백업 애플리케이션을 통해 해당 데이터를 가상 테이프 라이브러리에서
Amazon Glacier/Deep Archive로 아카이브하여 스토리지 비용을 추가로 절감
Tape gateway 개요
주요 기능
Backup
server
Tape library Tape shelfiSCSI HTTPS
Media
changer
Tape Gateway
Tape
drives
On-Premise

Gateway 유형
Virtual machines Amazon EC2
Hardware
appliance
Corporate data centers In AWS
Remote locations,
branch offices
WhereWhen
Leverage existing VM
infrastructure
In-cloud data
retrieval/access/DR
Out of the box
simplified experience

코드가 아닌 Endpoint 변경
방화벽 설정 변경 또는 클라이언트
소프트웨어가 필요 없음
더 먼 거리, 더 큰 파일, 더 큰 이점
Amazon CloudFront 글로벌 엣지
로케이션 활용
http://s3speedtest.com

AWS Edge
Location
Optimized
Throughput!
코드가 아닌 Endpoint 변경
방화벽 설정 변경 또는 클라이언트
소프트웨어가 필요 없음
더 먼 거리, 더 큰 파일, 더 큰 이점
Amazon CloudFront 글로벌 엣지
로케이션 활용
http://s3speedtest.com

s3speedtest.com

Next Step
• Getting Started 정보
• AWS Direct Connect
• https://aws.amazon.com/ko/directconnect/getting-started/
• AWS DataSync
• https://aws.amazon.com/ko/datasync/getting-started/
• AWS Snowball Family
• https://aws.amazon.com/ko/snowball/getting-started/
• AWS Transfer for SFTP
• https://aws.amazon.com/ko/sftp/getting-started/
• AWS Storage Gateway Family
• https://aws.amazon.com/ko/storagegateway/getting-started/
• Amazon S3
• https://aws.amazon.com/ko/s3/getting-started/

AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit Seoul 2019

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit Seoul 2019

Similar a AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit Seoul 2019 (20)

Más de Amazon Web Services Korea

Más de Amazon Web Services Korea (20)

AWS로 데이터 마이그레이션을 위한 방안과 옵션 - 박성훈 스토리지 스페셜리스트 테크니컬 어카운트 매니저, AWS :: AWS Summit Seoul 2019