Ignite 2017 で紹介された、Storage周りの新機能やロードマップなどをブレイクアウトセッションから紹介 新ZRS、Archive Storageなど

1. Ignite 2017 落穂拾い
Storage編
Takekazu Omi
takekazu.omi@kyrt.in
2017/10/18 R1.0.0

2. 『落穂拾い』（仏: Des glaneuses）
1857年
ジャン＝フランソワ・ミレー作
kyrt inc 22017/10/18

3. どこから - https://myignite.microsoft.com/
 Sessionを検索
 https://myignite
.microsoft.com
/sessions
kyrt inc 32017/10/18

4. 概要見るのは良いけど、パワポや
動画をダウンロードするのが面倒
kyrt inc 42017/10/18

5. Get-IgniteSession.ps1
 Ignite セッションをダウンロードするスクリプト、2017対
応済み
 https://gallery.technet.microsoft.com/Ignite-2016-
Slidedeck-and-296df316
 お勧め（全部落とすと290GBほどある）
 セッションタイトル(-Title)を指定する、パワポのみにする(-
NoVideos)
 Title は、 -ilike “*$Title*” でマッチ
kyrt inc 52017/10/18

6. ありがとう Michel！
kyrt inc 62017/10/18

7. Azure Blob Storage: Scalable,
efficient storage for PBs of
unstructured data
BRK2256
非構造化PBデータのためのスケーラブルで効率的なストレージ
https://myignite.microsoft.com/sessions/54932
2017/10/18 kyrt inc 7

8. Azure エコシステムと Blob Storage
 Azureサービス間でのBlob
の幅広い統合
 多くのシナリオを可能に
kyrt inc 82017/10/18
https://myignite.microsoft.com/sessions/54932 P12

9. 改善事項
1. 耐久性と可用性（Durable & Available）
2. セキュア＆コンプライアンス（Secure & Compliant）
3. 管理性とコスト効率（Manageable & Cost Efficient）
4. スケーラブル＆パフォーマンス（Scalable & Performant）
5. オープンで相互運用可能（Open & Interoperable）
kyrt inc 92017/10/18

10. kyrt inc 102017/10/18 https://youtu.be/YTkrHKIVzyI?t=25m20s

11. ZRS（現）
 LRS と同様に レプリカを3つ保持
 １つまたは 2 つのリージョン内のデータセンター間
で非同期的にデータをレプリケート
 制限
 汎用ストレージ アカウントのブロック BLOB のみ
 ZRS アカウントには、メトリックまたはログ機能が無い
kyrt inc 112017/10/18
https://docs.microsoft.com/ja-jp/azure/storage/common/storage-redundancy#zone-redundant-storage

12. 新しいZRS
Zone Redundant Storage の拡張
1. ３つの異なった、 Availability Zones への同期コミット
2. Strongly consistent で、3箇所の異なったData
center buildings に書き込む
3. public preview が今年の終わり、GAが来年を予定
4. Availability Zone の進み方で変更されるかも
5. Blobだけで無く、Table,File,Queueもサポート（？）
kyrt inc 122017/10/18

13. ZRS更新まとめ
新ZRSでは同期レプリカが別AZに配置
現ZRSは非同期レプリカがリージョン内別DCに
配置
※別AZはリージョン内別DCに配置を意味
新ZRSでは、Table、Queue、Fileをサポート
現ZRSより汎用的。但しセッション内で言及なし
kyrt inc 132017/10/18

14. Storage Service Encryption（SSE)
２つのパターンの暗号化をサポート
1. New – デフォルトで全てのアカウ
ントで、MS Key管理の暗号化有
効に、Coming soon（済み）
2. New - Customer 管理の暗号化
キー In Preview
kyrt inc 142017/10/18

15. New - “Secure Transfer”
New - “Secure Transfer”
オプションで、 HTTPS only
に設定可
 ARM Policy で設定
 Azure Security Center
 でモニタリング
kyrt inc 152017/10/18

16. New - Firewalls and Virtual Networks
特定のAzure VNETまたは外
部インターネットIPアドレス範
囲へのアクセスに制限可
Public Preview のアナウンス
kyrt inc 162017/10/18

17. New - AAD Authentication and RBAC
現行ではARM経由でStorage
Resouce Providerにアクセスする
時は、AAD, OAuth, RBACが効く
Blob Storage REST APIに、AAD,
Oauthサポートを追加
RBACとの統合は、コンテナスコー
プのみ
On Roadmap
kyrt inc 172017/10/18

18. New - Immutable (WORM) Storage
機能概要
 書込、変更、削除、保護
 Retention-interval based
policy
 Audit logging
 全部のblob tiers (hot, cool,
archive)でサポート
Feature Benefits
 SEC 17a-4(f) compliance
 Legal hold support
 低コストな compliance
archives
 Immutably store hot and
cold data in a single storage
account
kyrt inc 182017/10/18

19. New - Data Protection – Soft Delete
事故による削除からのりリカバリー
 設定項目
Number of days to retain (max: 365)
Can be turned off
 Blob level
DeleteBlob呼び出しによりエントリが生成
GA: H1 CY18
Future: Object Versioning
kyrt inc 192017/10/18

20. Tiered Object Storage
 Hot Tier
 Txコスト最小
 Cool Tier
 低容量コスト
 New - Archive Tier
 最小容量コスト
kyrt inc 202017/10/18
Blob REST API

21. New - Archive Storage
 New Storage Tier – Archive Storage
 長期保存データ向け、Cold storage
 Offline data – 読み出しレイテンーは時間単位
 Storage Tiers 間で一貫したAPI
 Blob REST APIによるアクセス
 Archive tier でもメータデータは常にオンライン
kyrt inc 212017/10/18

22. New - Blob Level Tiering
 Blob-Level Tiering（ブロブ レベル ティアリング） とは
 個々のブロブはTier間を移動可能
 すべてのTierが同じストレージアカウントに入る
 New API to set blob tier: SetBlobTier
 サービスからはすぐにAck が返る
 Get APIs (GetBlobProperties and ListBlobs) は現在のtireと archive
status を返す
 New headers "x-ms-access-tier” and “x-ms-archive-status”
 Future: Automated Lifecycle Management
kyrt inc 222017/10/18

23. Archive Storage まとめ
容量コストが低い
読み出すのは時間がかかる（メタデータは
別）
バックアップやディザスタリカバリのデータ
セット向け
独自リテンションの実装ができる
Blob単位でTierを変更できるので
kyrt inc 232017/10/18

24. kyrt inc 242017/10/18

25. kyrt inc 252017/10/18
日本の予定は不明

26. New - Storage Account Scalability
Storage Accountスケールターゲットを増加
1. 500TB → 5 PB storage capacity
2. 20K → 50K Requests/sec
3. 20Gbps → 50Gbps Bandwidth
More coming in late CY17 & CY18
kyrt inc 262017/10/18

27. Block Blob:最大 ５TBへ拡張
Large Block Blobs
Single Blob max increased 25x to 5TB
書き込みスループットの改善
Small Block Blobs
read latency の改善 blobs <4MB
kyrt inc 272017/10/18

28. New - Azure Storage Events
データ変更イベントが拾える
 PutBlob, PutBlockList, DeleteBlob
kyrt inc 282017/10/18

29. その他
Azure Data Box PREVIEW
AzCopy on Linux
Blobfuse FUSE adapter for Linux
Storage Metrics/Logs - Azure Monitor
Integration PREVIEW
kyrt inc 292017/10/18

30. Archive Storageとか、
どうなっているの？
kyrt inc 302017/10/18

31. Inside Microsoft Azure datacenter
hardware and software architecture
with Mark Russinovich
BRK3203
Inside Microsoft Azure datacenter
ハードウェアとソフトウェアアーキテクチャ
https://myignite.microsoft.com/sessions/54962
2017/10/18 kyrt inc 31

32.  顧客データ
PB～EBへ
 Storage System
EBからZBへ
 継続的なコスト低減
Gen4で0.005
kyrt inc 322017/10/18

33. クラウドでのstorage テクノロジーの進歩
kyrt inc 332017/10/18
HDD
Tape
SSD
$$$$
$$$
$
Access latency
Datatemperature
μs ms seconds hours
Hot
Frozen

34. Tape Storage
Azure Archival storage for blobs ではTape
システムを利用
IBM TS3500
kyrt inc 342017/10/18
https://youtu.be/1yUZ81dCqBg?t=53s
https://www.ibm.com/us-en/marketplace/ts3500

35. クラウドでのstorage テクノロジーの進歩
kyrt inc 352017/10/18
HDD
Tape
$$$
$
Access latency
Datatemperature
μs ms seconds hours
Hot
Frozen
Pelican
$$
SSD
$$$$

36. pelican
Microsoft Researchで研究
テープライブラリをサポートするのに十分な大
きさではないリージョンのアーカイブストレー
ジに展開予定
 かなり良いコスト効率を実現
kyrt inc 362017/10/18

37. 基本的な仕組み
 1ラックに、多くのストレージと、幾
つかのcompute サーバー(2台)を
入れる
 PCIe でラック全体に
 必要なHDDのみに電源を供給す
る
 最大ディスクの8％
 1152 HDD/522U
kyrt inc 372017/10/18

38. Project Pelican
https://www.microsoft.com/en-
us/research/project/project-pelican/
kyrt inc 382017/10/18

39. 次世代ストレージ
2017/10/18 kyrt inc 39

40. Project Silica
kyrt inc 402017/10/18
https://youtu.be/Lv8fDiTNHjk?t=1h1m13s

41. DNA – Project Palix
kyrt inc 412017/10/18
https://youtu.be/Lv8fDiTNHjk?t=1h3m50s

42. ストレージもいろいろありますね
終
kyrt inc 422017/10/18