SlideShare una empresa de Scribd logo
1 de 21
Где хранить зетабайты
    Дмитрий Алексеев
Какие еще зетабайты?

Объем хранимой цифровой информации растет на 50%
в год!

По оценкам, в 2009 г. в мире имелось 0,8 Zettabytes

В 2010 г. их стало уже 1,2 Zettabytes


К 2020 г. ожидается                   35 Zettabytes!
При этом:
- В IT бюджеты заложен рост 2-3%*
*Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010
Расходы на хранение тоже растут
           (хотя и не так быстро как байты)

Spending
 (US$ B)    Расходы на энергоснабжение и охлаждение              Installed Base
                                                                    (M Units)

$300        Расходы на администрирование и управление системой            50
                                                                          45
$250
           Расходы на новое оборудование
                                                                          40

$200                                                                      35
                                                                          30
$150                                                                      25
                                                                          20
$100
                                                                          15

 $50                                                                      10
                                                                          5
   $0                                                                     0
Как ЭФФЕКТИВНЕЕ
хранить большие объемы
Стоимость корпоративных систем хранения при объѐме ~1PB
 Стоимость комплекса оборудования                 Стоимость носителя
                 SAS      SATA Ent.                SATA Ent.
                 Disk     Disk        Tape Ent.    Disk         Tape Ent



                          $1/GB
  Оборудование   $2/GB                $0.5/GB     $0.4/GB      $0.1/GB


 Потребляемая                                      5w/TB       ~0w/TB
                 20w/TB   5w/TB       0.4w/TB
       энергия


Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и
потребляет (а также требует охлаждения) в 10-50 раз больше чем
библиотека при рекомендованном на 1ПБ количестве драйвов.

Таблица использует данные прайс-листа компании IBM на сентябрь 2011
У нас свой путь!


  Прочь от ленточного зоопарка
  Лента безнадежно устарела,
  морально и технологически!

  Даѐшь диски
  - Это современное решение
  - Они обеспечивают быстрый доступ
  - Электроэнергия у нас почти ничего не стоит
  - Upgrade обойдется дешево
На ленте хранится больше всего
данных цифровых архивов в мире.

Лента хранит больше, дольше и не потребляет электричество
*слайд из презентации IBM
6 мифов – что из них правда?

  Применение и Развитие
  Лента безнадежно устарела
  Надежность
  Дисковые системы догнали ленточные по надежности
  и являются 100% гарантом сохранности данных
  Производительность
  Ленту редко используют потому что она медленная
  Управление
  Процесс записи на ленту сложнее, чем на диски
  Энергопотребление
  Современные дисковые массивы потребляют совсем
  не много энергии
  Условия хранения
  Хранить ленту необходимо в специальных
  помещениях, при этом периодически перематывать
РАЗВИТИЕ – сегодня и завтра

  Лента безнадежно устарела?
  Февраль 2011 новая спецификация и выпуск
  накопителей StorageTek T10000C 5 Тбайт (FUJIFILM)
  Емкость без компрессии 5.0 Тбайт
  Скорость без компрессии 240 Мбайт/с


  Май 2011 IBM анонсировал новый стандарт 3599 с
  поддержкой емкости до 4Тбайт (FUJIFILM)
  Тип привода TS1140
  IBM 3592 Advanced Data 4 Тбайта
  IBM 3592 Advanced Economy 500 Гбайт
  IBM 3592 Advanced WORM 4 Тбайта


  На сегодняшний день можно говорить об опережающем росте
  «ленточных» технологий:
  Скорость обновления дисковых решений : ~20% год
  Скорость обновления ленточных решений: ~40% год
В августе 2012 г. завершена спецификация поколения 6!

03 октября IBM объявила о начале поставок драйвов с ноября с.г.!
НАДЕЖНОСТЬ - 99,9%

 Ленточные картриджи и дисковые системы
 одинаковы по надежности - Безусловно нет.

 Дисковые системы более уязвимы к физическому
 воздействию и сбоям энергоснабжения, и срок их
 службы ограничен 3-4 годами, в то время как:


 После 12 лет хранения — полностью читаемыми
 оказались 99,945% носителей (более 16 000 лент).
 В 2010 году, в NERSC* было произведено считывание 14 805 823
 метров магнитной ленты, что равняется расстоянию от г. Сан-
 Франциско до г. Перт (Австралия)
 В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14
 файлов в сумме занимали 108 метров магнитной ленты, что
 приблизительно равно длине самолѐта Боинг 777, на котором
 можно долететь из Сан-Франциско в Перт.
 *Национальный вычислительный центр энергетических исследований США
НАДЕЖНОСТЬ - 99,9%

 Ленточные картриджи не являются 100% гарантом
 сохранности данных но:

 У них нет постоянно вращающихся частей

 У них нет электронных компонентов и
 управляющих контролеров (одна из проблемных
 частей жестких дисков)

 Они устойчивы к ударным нагрузкам, так как в них
 отсутствуют хрупкие части – например,
 считывающие головки и микроэлектроника

 Они не греются.
ПРОИЗВОДИТЕЛЬНОСТЬ

  Ленту редко используют потому что она
  медленная?

  IBM 3592 привод 3592 E05
  без компрессии 104 Мбайт/с
  с компрессией 286 Мбайт/с
  Ultrium LTO 5
  без компрессии 140 Мбайт/с
  с компрессией 280 Мбайт/с
  StorageTek T10000C
  без компрессии 240 Мбайт/с
  с компрессией 460 Мбайт/с
Сравнение СКОРОСТИ
  передачи данных
Используя в библиотеке одновременно несколько приводов можно
значительно увеличить скорость за счет нескольких потоков записи

                                max sustained data rate
   3.5" HDD 15K rpm
   3.5" HDD 10K rpm                                                         HDD
   3.5" HDD 7.2K rpm

            T10000
        IBM TS1120

       LTO Ultrium4                                                         Tape drive
       LTO Ultrium3
             DLT-S4

          SDLT600
             Blu-ray
         PDD (read)                                                         Optical Disk
      DVD-ROM 8×
                       0   20      40     60        80    100   120   140

                                               MB/sec
УПРАВЛЕНИЕ

 Процесс записи на ленту такой же как на диск?
 ТЕПЕРЬ ДА

 Исторически применялось специализированное
 ПО:
 Резервное копирование (пример BakBone)
 Иерархическое хранение (пример XenData)

 Новая технология обращения к ленте LTFS
 Технология партирования данных наружу в
 формате понятном стандартным файловым
 системам
Энергопотребление - GREEN

    Дисковые массивы потребляют лишь немногим
    больше лент..
    ! Это далеко не так!
                   Storage System Comparison
      Watts
           500
Relative    400
Power @
typical     300                                   15K 3.5"
R/W                                               7200 3.5"
            200
operation                                         Tape
load        100

             0
                  100TB   200TB   400TB   800TB
УСЛОВИЯ ХРАНЕНИЯ

 Хранить ленту необходимо в специальных
 помещениях, при этом периодически
 перематывать?


 Начиная с 5 поколения LTO Ultrium – все
 изменилось.

 Но даже предыдущие поколения лент могут
 гарантированно сохранять данные более 30 лет,
 что подтверждено историей и практикой их
 использования
Правильное использование решений хранения –
Универсальных систем нет


Дисковые системы HDD, RAID
- оперативные данные

Оптические диски DVD, Blue Ray
- небольшие архивы, back-up

Магнитная лента
- Большие архивы и их back-up
Иерархическое хранение НИКТО НЕ ОТМЕНЯЕТ
              (пример XenData, StorNext)


            $7
                                                       Combination Tape +
                  $6,365,950
                                   Floor space
                                                       Disk leads to perfect
                                   Power & Cooling     solution
                                   Maintenance
                                   Prod + DR Carts
                                                        – High capacity SATA disk can
                                                          offer lower cost access to
Millions




                                   Hardware
           $3.5
                                                          online data
                                                        – Tape is less expensive and
                                          $2,255,346
                                                          consumes less energy, but is
                                                          not often the best choice for
                               $946,405                   online access to data
                                                        – A blended solution provides
            $0                                            online access to the most
                  SATA Disk     Tape       Blended
                                           Disk and       recent data, with longer term
                                             Tape         storage on energy-efficient tape
250TB of storage
FUJIFILM - технологии вдохновляют

   Fujifilm Advanced Research Lab
 Fujifilm invests nearly $4 million dollars every
  day in research and development, using its
  enormous library of proprietary chemistry and
  advanced thin-film engineering expertise to
  create new products and advance existing
  businesses as customer needs evolve.
                                                               Fujifilm Advanced Research Laboratories (opened in April, 2006)

     Fujifilm’s Three Advanced Research Laboratories
       Advanced Core Technology Laboratories
       Building future core technologies centered on photonics, nanotechnology, and functional materials
      Organic Synthesis Chemistry Research Laboratories
       Carrying out R&D related to highly functional organic materials in such fields
        as the organic electronics and the medical imaging/ life-science fields
      Life Science Research Laboratories
        Development of core technologies and products related to medical therapy and health
        in such fields as protein/DNA analysis and diagnostic systems, drug discovery
        and drug discovery support, regeneration therapy, and healthcare
Спасибо за внимание!

Más contenido relacionado

La actualidad más candente

Оптические диски Verbatim
Оптические диски VerbatimОптические диски Verbatim
Оптические диски VerbatimOxana Landgraf
 
Преимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуПреимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуFujitsu Russia
 
Преимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуПреимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуFujitsu Russia
 
Белнетэксперт - СХД
Белнетэксперт - СХДБелнетэксперт - СХД
Белнетэксперт - СХДSergey Polazhenko
 
IBM System Storage October 2012 ERC Forum
IBM System Storage October 2012 ERC ForumIBM System Storage October 2012 ERC Forum
IBM System Storage October 2012 ERC ForumSergey Kostenko
 
Сервисы Fujitsu – заглянем внутрь!
Сервисы Fujitsu – заглянем внутрь!Сервисы Fujitsu – заглянем внутрь!
Сервисы Fujitsu – заглянем внутрь!Fujitsu Russia
 
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»Fujitsu Russia
 

La actualidad más candente (9)

Оптические диски Verbatim
Оптические диски VerbatimОптические диски Verbatim
Оптические диски Verbatim
 
Преимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуПреимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользу
 
Преимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользуПреимущества систем хранения от Fujitsu вам на пользу
Преимущества систем хранения от Fujitsu вам на пользу
 
Белнетэксперт - СХД
Белнетэксперт - СХДБелнетэксперт - СХД
Белнетэксперт - СХД
 
Системы хранения данных
Системы хранения данныхСистемы хранения данных
Системы хранения данных
 
IBM System Storage October 2012 ERC Forum
IBM System Storage October 2012 ERC ForumIBM System Storage October 2012 ERC Forum
IBM System Storage October 2012 ERC Forum
 
Сервисы Fujitsu – заглянем внутрь!
Сервисы Fujitsu – заглянем внутрь!Сервисы Fujitsu – заглянем внутрь!
Сервисы Fujitsu – заглянем внутрь!
 
Fujitsu ETERNUS CS
Fujitsu ETERNUS CSFujitsu ETERNUS CS
Fujitsu ETERNUS CS
 
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»
Вебинар «Ускоряем и трансформируем современный бизнес с Fujitsu ETERNUS AF»
 

Similar a Fujifilm - where zettabytes lives @ hpc day 2012 kiev

Дмитрий Алексеев
Дмитрий АлексеевДмитрий Алексеев
Дмитрий АлексеевEgor Sulkin
 
Software Defined Storage
Software Defined StorageSoftware Defined Storage
Software Defined StorageCisco Russia
 
IBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байтеIBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байтеSasha_Zavorot
 
IBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность  в каждом байтеIBM FlashSystem-Бескомпромиссность  в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байтеYaryomenko
 
Флеш-технологии ЕМС – тенденции развития.
Флеш-технологии ЕМС – тенденции развития.Флеш-технологии ЕМС – тенденции развития.
Флеш-технологии ЕМС – тенденции развития.Cisco Russia
 
Решения Fujitsu для резервного копирования и архивирования
Решения Fujitsu для резервного копирования и архивированияРешения Fujitsu для резервного копирования и архивирования
Решения Fujitsu для резервного копирования и архивированияFujitsu Russia
 
Дедупликацию в каждый ЦОД
Дедупликацию в каждый ЦОДДедупликацию в каждый ЦОД
Дедупликацию в каждый ЦОДКРОК
 
Net Аpp. Лучший фундамент для облака
Net Аpp. Лучший фундамент для облакаNet Аpp. Лучший фундамент для облака
Net Аpp. Лучший фундамент для облакаYulia Sedova
 
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищAlexander Reytman
 
Isilapp — Extreme Cloud Storage on FreeBSD
Isilapp — Extreme Cloud Storage on FreeBSDIsilapp — Extreme Cloud Storage on FreeBSD
Isilapp — Extreme Cloud Storage on FreeBSDAndrew Pantyukhin
 
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp Технологии эффективного хранения данных, ключевые дифференциаторы NetApp
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp Yaryomenko
 
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...Yaryomenko
 
51
5151
51JIuc
 
Review of all-flash array market and benefits
Review of all-flash array market and benefitsReview of all-flash array market and benefits
Review of all-flash array market and benefitsBogdan Vakulyuk
 
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)Ontico
 
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Ontico
 
Решения Dell для обеспечения непрерывности бизнеса
Решения Dell для обеспечения непрерывности бизнесаРешения Dell для обеспечения непрерывности бизнеса
Решения Dell для обеспечения непрерывности бизнесаDellTeam
 
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...КРОК
 

Similar a Fujifilm - where zettabytes lives @ hpc day 2012 kiev (20)

Дмитрий Алексеев
Дмитрий АлексеевДмитрий Алексеев
Дмитрий Алексеев
 
Software Defined Storage
Software Defined StorageSoftware Defined Storage
Software Defined Storage
 
IBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байтеIBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байте
 
IBM FlashSystem-Бескомпромиссность в каждом байте
IBM FlashSystem-Бескомпромиссность  в каждом байтеIBM FlashSystem-Бескомпромиссность  в каждом байте
IBM FlashSystem-Бескомпромиссность в каждом байте
 
Флеш-технологии ЕМС – тенденции развития.
Флеш-технологии ЕМС – тенденции развития.Флеш-технологии ЕМС – тенденции развития.
Флеш-технологии ЕМС – тенденции развития.
 
Решения Fujitsu для резервного копирования и архивирования
Решения Fujitsu для резервного копирования и архивированияРешения Fujitsu для резервного копирования и архивирования
Решения Fujitsu для резервного копирования и архивирования
 
Дедупликацию в каждый ЦОД
Дедупликацию в каждый ЦОДДедупликацию в каждый ЦОД
Дедупликацию в каждый ЦОД
 
Mmx cvk-2015
Mmx cvk-2015Mmx cvk-2015
Mmx cvk-2015
 
Net Аpp. Лучший фундамент для облака
Net Аpp. Лучший фундамент для облакаNet Аpp. Лучший фундамент для облака
Net Аpp. Лучший фундамент для облака
 
Использование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищИспользование ленточных технологий для сокращения стоимости файловых хранилищ
Использование ленточных технологий для сокращения стоимости файловых хранилищ
 
Isilapp — Extreme Cloud Storage on FreeBSD
Isilapp — Extreme Cloud Storage on FreeBSDIsilapp — Extreme Cloud Storage on FreeBSD
Isilapp — Extreme Cloud Storage on FreeBSD
 
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp Технологии эффективного хранения данных, ключевые дифференциаторы NetApp
Технологии эффективного хранения данных, ключевые дифференциаторы NetApp
 
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...
EMC DATA DOMAIN. Выгоды для заказчика. Сравнение с традиционной системой резе...
 
NetApp HA&models
NetApp HA&modelsNetApp HA&models
NetApp HA&models
 
51
5151
51
 
Review of all-flash array market and benefits
Review of all-flash array market and benefitsReview of all-flash array market and benefits
Review of all-flash array market and benefits
 
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
За счет чего Tarantool такой оптимальный / Денис Аникин (Mail.Ru)
 
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
Технологии хранения для больших проектов / Сергей Платонов (RAIDIX)
 
Решения Dell для обеспечения непрерывности бизнеса
Решения Dell для обеспечения непрерывности бизнесаРешения Dell для обеспечения непрерывности бизнеса
Решения Dell для обеспечения непрерывности бизнеса
 
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...
Оптимизация резервного копирования средствами дедупликации. Symantec netbacku...
 

Más de Volodymyr Saviak

Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...
Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...
Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...Volodymyr Saviak
 
Altair - compute manager your gateway to hpc cloud computing with pbs profess...
Altair - compute manager your gateway to hpc cloud computing with pbs profess...Altair - compute manager your gateway to hpc cloud computing with pbs profess...
Altair - compute manager your gateway to hpc cloud computing with pbs profess...Volodymyr Saviak
 
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievExtreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievVolodymyr Saviak
 
Hp cmu – easy to use cluster management utility @ hpcday 2012 kiev
Hp cmu – easy to use cluster management utility @ hpcday 2012 kievHp cmu – easy to use cluster management utility @ hpcday 2012 kiev
Hp cmu – easy to use cluster management utility @ hpcday 2012 kievVolodymyr Saviak
 
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...Volodymyr Saviak
 
Mellanox hpc update @ hpcday 2012 kiev
Mellanox hpc update @ hpcday 2012 kievMellanox hpc update @ hpcday 2012 kiev
Mellanox hpc update @ hpcday 2012 kievVolodymyr Saviak
 
Petrenko hpc day 2011 Kiev
Petrenko hpc day 2011 KievPetrenko hpc day 2011 Kiev
Petrenko hpc day 2011 KievVolodymyr Saviak
 
Kindratenko hpc day 2011 Kiev
Kindratenko hpc day 2011 KievKindratenko hpc day 2011 Kiev
Kindratenko hpc day 2011 KievVolodymyr Saviak
 
Mellanox hpc day 2011 kiev
Mellanox hpc day 2011 kievMellanox hpc day 2011 kiev
Mellanox hpc day 2011 kievVolodymyr Saviak
 
Massive solutions hpc day 2011 kiev
Massive solutions hpc day 2011 kievMassive solutions hpc day 2011 kiev
Massive solutions hpc day 2011 kievVolodymyr Saviak
 

Más de Volodymyr Saviak (15)

Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...
Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...
Technical supercomputers laboratory. & insitute of cybernetics of ukraine @ h...
 
Altair - compute manager your gateway to hpc cloud computing with pbs profess...
Altair - compute manager your gateway to hpc cloud computing with pbs profess...Altair - compute manager your gateway to hpc cloud computing with pbs profess...
Altair - compute manager your gateway to hpc cloud computing with pbs profess...
 
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kievExtreme networks - network design principles for hpc @ hpcday 2012 kiev
Extreme networks - network design principles for hpc @ hpcday 2012 kiev
 
Hp cmu – easy to use cluster management utility @ hpcday 2012 kiev
Hp cmu – easy to use cluster management utility @ hpcday 2012 kievHp cmu – easy to use cluster management utility @ hpcday 2012 kiev
Hp cmu – easy to use cluster management utility @ hpcday 2012 kiev
 
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...
Nvidia kepler architecture performance efficiency availability @ hpcday 2012 ...
 
Mellanox hpc update @ hpcday 2012 kiev
Mellanox hpc update @ hpcday 2012 kievMellanox hpc update @ hpcday 2012 kiev
Mellanox hpc update @ hpcday 2012 kiev
 
Hp kiev hpcday_20121012
Hp kiev hpcday_20121012Hp kiev hpcday_20121012
Hp kiev hpcday_20121012
 
Apc hpc day 2011 kiev
Apc hpc day 2011 kievApc hpc day 2011 kiev
Apc hpc day 2011 kiev
 
SGI HPC DAY 2011 Kiev
SGI HPC DAY 2011 KievSGI HPC DAY 2011 Kiev
SGI HPC DAY 2011 Kiev
 
Golovinskiy hpc day 2011
Golovinskiy hpc day 2011Golovinskiy hpc day 2011
Golovinskiy hpc day 2011
 
Petrenko hpc day 2011 Kiev
Petrenko hpc day 2011 KievPetrenko hpc day 2011 Kiev
Petrenko hpc day 2011 Kiev
 
Kindratenko hpc day 2011 Kiev
Kindratenko hpc day 2011 KievKindratenko hpc day 2011 Kiev
Kindratenko hpc day 2011 Kiev
 
Mellanox hpc day 2011 kiev
Mellanox hpc day 2011 kievMellanox hpc day 2011 kiev
Mellanox hpc day 2011 kiev
 
Massive solutions hpc day 2011 kiev
Massive solutions hpc day 2011 kievMassive solutions hpc day 2011 kiev
Massive solutions hpc day 2011 kiev
 
Nvidia hpc day 2011 kiev
Nvidia hpc day 2011 kievNvidia hpc day 2011 kiev
Nvidia hpc day 2011 kiev
 

Fujifilm - where zettabytes lives @ hpc day 2012 kiev

  • 1. Где хранить зетабайты Дмитрий Алексеев
  • 2. Какие еще зетабайты? Объем хранимой цифровой информации растет на 50% в год! По оценкам, в 2009 г. в мире имелось 0,8 Zettabytes В 2010 г. их стало уже 1,2 Zettabytes К 2020 г. ожидается 35 Zettabytes! При этом: - В IT бюджеты заложен рост 2-3%* *Source: IDC, White Paper Sponsored by EMC, The Digital Universe Decade - Are You Ready? Doc.# IDC_925, May 2010
  • 3. Расходы на хранение тоже растут (хотя и не так быстро как байты) Spending (US$ B) Расходы на энергоснабжение и охлаждение Installed Base (M Units) $300 Расходы на администрирование и управление системой 50 45 $250 Расходы на новое оборудование 40 $200 35 30 $150 25 20 $100 15 $50 10 5 $0 0
  • 4. Как ЭФФЕКТИВНЕЕ хранить большие объемы Стоимость корпоративных систем хранения при объѐме ~1PB Стоимость комплекса оборудования Стоимость носителя SAS SATA Ent. SATA Ent. Disk Disk Tape Ent. Disk Tape Ent $1/GB Оборудование $2/GB $0.5/GB $0.4/GB $0.1/GB Потребляемая 5w/TB ~0w/TB 20w/TB 5w/TB 0.4w/TB энергия Дисковая систем стоит в 2-4 раза больше чем ленточная библиотека и потребляет (а также требует охлаждения) в 10-50 раз больше чем библиотека при рекомендованном на 1ПБ количестве драйвов. Таблица использует данные прайс-листа компании IBM на сентябрь 2011
  • 5. У нас свой путь! Прочь от ленточного зоопарка Лента безнадежно устарела, морально и технологически! Даѐшь диски - Это современное решение - Они обеспечивают быстрый доступ - Электроэнергия у нас почти ничего не стоит - Upgrade обойдется дешево
  • 6. На ленте хранится больше всего данных цифровых архивов в мире. Лента хранит больше, дольше и не потребляет электричество *слайд из презентации IBM
  • 7. 6 мифов – что из них правда? Применение и Развитие Лента безнадежно устарела Надежность Дисковые системы догнали ленточные по надежности и являются 100% гарантом сохранности данных Производительность Ленту редко используют потому что она медленная Управление Процесс записи на ленту сложнее, чем на диски Энергопотребление Современные дисковые массивы потребляют совсем не много энергии Условия хранения Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать
  • 8. РАЗВИТИЕ – сегодня и завтра Лента безнадежно устарела? Февраль 2011 новая спецификация и выпуск накопителей StorageTek T10000C 5 Тбайт (FUJIFILM) Емкость без компрессии 5.0 Тбайт Скорость без компрессии 240 Мбайт/с Май 2011 IBM анонсировал новый стандарт 3599 с поддержкой емкости до 4Тбайт (FUJIFILM) Тип привода TS1140 IBM 3592 Advanced Data 4 Тбайта IBM 3592 Advanced Economy 500 Гбайт IBM 3592 Advanced WORM 4 Тбайта На сегодняшний день можно говорить об опережающем росте «ленточных» технологий: Скорость обновления дисковых решений : ~20% год Скорость обновления ленточных решений: ~40% год
  • 9. В августе 2012 г. завершена спецификация поколения 6! 03 октября IBM объявила о начале поставок драйвов с ноября с.г.!
  • 10. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи и дисковые системы одинаковы по надежности - Безусловно нет. Дисковые системы более уязвимы к физическому воздействию и сбоям энергоснабжения, и срок их службы ограничен 3-4 годами, в то время как: После 12 лет хранения — полностью читаемыми оказались 99,945% носителей (более 16 000 лент). В 2010 году, в NERSC* было произведено считывание 14 805 823 метров магнитной ленты, что равняется расстоянию от г. Сан- Франциско до г. Перт (Австралия) В 14 файлах обнаружилось по одному нечитаемому блоку. Все 14 файлов в сумме занимали 108 метров магнитной ленты, что приблизительно равно длине самолѐта Боинг 777, на котором можно долететь из Сан-Франциско в Перт. *Национальный вычислительный центр энергетических исследований США
  • 11. НАДЕЖНОСТЬ - 99,9% Ленточные картриджи не являются 100% гарантом сохранности данных но: У них нет постоянно вращающихся частей У них нет электронных компонентов и управляющих контролеров (одна из проблемных частей жестких дисков) Они устойчивы к ударным нагрузкам, так как в них отсутствуют хрупкие части – например, считывающие головки и микроэлектроника Они не греются.
  • 12. ПРОИЗВОДИТЕЛЬНОСТЬ Ленту редко используют потому что она медленная? IBM 3592 привод 3592 E05 без компрессии 104 Мбайт/с с компрессией 286 Мбайт/с Ultrium LTO 5 без компрессии 140 Мбайт/с с компрессией 280 Мбайт/с StorageTek T10000C без компрессии 240 Мбайт/с с компрессией 460 Мбайт/с
  • 13. Сравнение СКОРОСТИ передачи данных Используя в библиотеке одновременно несколько приводов можно значительно увеличить скорость за счет нескольких потоков записи max sustained data rate 3.5" HDD 15K rpm 3.5" HDD 10K rpm HDD 3.5" HDD 7.2K rpm T10000 IBM TS1120 LTO Ultrium4 Tape drive LTO Ultrium3 DLT-S4 SDLT600 Blu-ray PDD (read) Optical Disk DVD-ROM 8× 0 20 40 60 80 100 120 140 MB/sec
  • 14. УПРАВЛЕНИЕ Процесс записи на ленту такой же как на диск? ТЕПЕРЬ ДА Исторически применялось специализированное ПО: Резервное копирование (пример BakBone) Иерархическое хранение (пример XenData) Новая технология обращения к ленте LTFS Технология партирования данных наружу в формате понятном стандартным файловым системам
  • 15. Энергопотребление - GREEN Дисковые массивы потребляют лишь немногим больше лент.. ! Это далеко не так! Storage System Comparison Watts 500 Relative 400 Power @ typical 300 15K 3.5" R/W 7200 3.5" 200 operation Tape load 100 0 100TB 200TB 400TB 800TB
  • 16. УСЛОВИЯ ХРАНЕНИЯ Хранить ленту необходимо в специальных помещениях, при этом периодически перематывать? Начиная с 5 поколения LTO Ultrium – все изменилось. Но даже предыдущие поколения лент могут гарантированно сохранять данные более 30 лет, что подтверждено историей и практикой их использования
  • 17. Правильное использование решений хранения – Универсальных систем нет Дисковые системы HDD, RAID - оперативные данные Оптические диски DVD, Blue Ray - небольшие архивы, back-up Магнитная лента - Большие архивы и их back-up
  • 18. Иерархическое хранение НИКТО НЕ ОТМЕНЯЕТ (пример XenData, StorNext) $7 Combination Tape + $6,365,950 Floor space Disk leads to perfect Power & Cooling solution Maintenance Prod + DR Carts – High capacity SATA disk can offer lower cost access to Millions Hardware $3.5 online data – Tape is less expensive and $2,255,346 consumes less energy, but is not often the best choice for $946,405 online access to data – A blended solution provides $0 online access to the most SATA Disk Tape Blended Disk and recent data, with longer term Tape storage on energy-efficient tape 250TB of storage
  • 19. FUJIFILM - технологии вдохновляют Fujifilm Advanced Research Lab  Fujifilm invests nearly $4 million dollars every day in research and development, using its enormous library of proprietary chemistry and advanced thin-film engineering expertise to create new products and advance existing businesses as customer needs evolve. Fujifilm Advanced Research Laboratories (opened in April, 2006) Fujifilm’s Three Advanced Research Laboratories  Advanced Core Technology Laboratories Building future core technologies centered on photonics, nanotechnology, and functional materials  Organic Synthesis Chemistry Research Laboratories Carrying out R&D related to highly functional organic materials in such fields as the organic electronics and the medical imaging/ life-science fields  Life Science Research Laboratories Development of core technologies and products related to medical therapy and health in such fields as protein/DNA analysis and diagnostic systems, drug discovery and drug discovery support, regeneration therapy, and healthcare
  • 20.