Quantum Stornext

Борщев Дмитрий
Pre-Sales, Quantum Corp,
Россия
d.borshev@quantum.com
РЕШЕНИЯ КОМПАНИИ QUANTUM
ДЛЯ BIGDATA
Sep 2013
КОМПАНИЯ
QUANTUM
Крупные клиенты в России
3
Решения Quantum для защиты и хранения
данных
StorNext
Lattus
DXi-Series
Scalar Series
 StorNext - кластерная высокоскоростная файловая система для управления и
обеспечения совместного доступа к данным в многоуровневых системах хранения.
 Lattus - высокоскоростная система объектного хранения данных нового
поколения с любым уровнем отказоустойчивости.
 DXi – системы репликации и дедубликации данных, которые обеспечивают
максимальную производительность и минимальную стоимость владения в своем
классе.
 Scalar – ленточные системы хранения c приложением iLayer реализует
долгосрочное архивное хранение данных, в т.ч. отказоустойчивые решения.
4
© 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and
uncertainties, does not necessarily represent the company’s outlook and is for planning purposes only.
НЕМНОГО
ПРО BIGDATA
Где хранятся большие объемы данных
Телевидение и развлечения
Редактирование, кодирование и др
Наборы цифровых архивов
Государство
Видеонаблюдение
Аудит / regulatory records
Наука и Здравоохранение
Данные испытаний и исследований
Истории болезни пациентов и др.
Нефть и Газ
Сейсмические исследования
Большие объемы документов
2009
Видео на предприятиях
Постобработка видеоматериалов
Видеонаблюдение
6
2014
Source:
Worldwide File-Based vs. Block-Based
Storage Capacity Shipments, 2009–2014
© 2011 Quantum Corporation. Company Confidential. Forward-looking information is
based upon multiple assumptions and uncertainties, does not necessarily represent the
company’s outlook and is for planning purposes only.
Требования к Системам для работы с BigData
Простое внедрение и
управление
Отсутствие жесткой привязки к
оборудованию
Надежность технологии
хранения
Широкий выбор протоколов
доступа
ГЕО-распределенная
инфраструктура
Возможность построение
иерархичной системы
хранения (экономика)
7
© 2010 Quantum Corporation. Company Confidential. Forward-looking information is
based upon multiple assumptions and uncertainties, does not necessarily represent the
company’s outlook and is for planning purposes only.
STORNEXT
ДЛЯ BIGDATA
StorNext наши заслуги
Более 1/2 EB данных управляется StorNext
Более 60,000 file system клиентов внедрено
Все 4 основные
Телевещательные компании и
более 20 кабельных сетей США
7 из 7 ведущих видеостудий
Основные научные и геномисследовательские институты
Ведущие выскокотехнологичные комании
Заказчики в России BigData
10
Клиенты в области Науки по Миру
GWDG (University of Goettingen and Max Planck Institutes of Goettingen), 2* S10K and 1*i6K and
StorNext
RRZ (University of Hamburg) i6K
UKE (University Hospital of Hamburg) i6K
MHH (Medizinische Hochschule Hannover) i6K
Helmholtz Zentrum Berlin i6K
Humbold Universitaet Berlin i6K
FVB (Forschungsverbund Berlin) i6K
FMP (Leibniz Institut fuer Molekulare Pharmakologie Berlin) i6K
IAP (Institut fuer Atmosphaerenphysik Kuehkungsborn) i6K
FSU (Friedrich Schiller Universitaet Jena) i6K
MPI (Max Planck Institut fuer Anthropologie Leipzig) i6K
Universitaets Klinikum Leipzig i6K
Аппаратное решение Quantum для StorNext
End-to-End Data Management Solution
StorNext
Deduplication
StorNext
SAN Clients
QD6000
StorNext
Replication
PRIMARY TIER
G30x
Gateway
Servers
QD6000/QS1200
StorNext DLC
CIFS/NFS
SECONDARY TIER
QD6000
GigE TCP/IP
Infiniband IP
M330
Metadata
Controllers
StorNext
AEL500/6000
12
StorNext Storage
Manager
© 2011 Quantum Corporation. Company Confidential. Forward-looking information is
based upon multiple assumptions and uncertainties, does not necessarily represent the
company’s outlook and is for planning purposes only.
LATTUS
StorNext аппаратные системы
Metadata Appliances
Совместный
доступ
Подключение
через
SAN/LAN
Comes with
StorNext File
System
M330 Controller
G300 Gateways
Системы
Архивирования
• Общая файловая система с доступом SAN / LAN
• Простое развертывание
• Многопользовательские одновмременный доступ с
различных платформ и к различным системам хранения
G302
G301
Q-Series Storage
Высокопроиз
водительные
дисковые
системы
• Специально для Big Data applications
• Гарантированная производительность
• Уверенность в стабильноести, все оборудование
QS1200
сертифицировано Quantum
QD6000
• Комплексное решение от единого поставщика
QM1200
AEL Archives
Both Come with
Storage Manager
and EDLM
• Простое унифицированое решение для Big Data
• Встроенная система Storage Manager, управление
иерархичным хранением данныз
• Встроенный функционал EDLM автоматически проверяет и
переносит данные с плохих лент
AEL6000
13
AEL500
• Ниже TCO с новой моделью лицензирование (по слотам)
Stornext для BigData
Quantum Stornext – уникальное решение для высокоскоростного доступа и
хранения больших объемов данных.
Quantum Stornext – практически единственный продукт, который поддерживает все
популярные платформы,ОС (Win/Lin/Mac/Unix) и протоколы (FC,IP,NFS/CIFS)
Quantum Stornext – решение которое поставляется в виде отдельного ПО или в
виде аппаратно-программного комплекса, рассчитанного на определенную
производительность.
Quantum Stornext – это отсутствие привязки к оборудованию, вы можете
оптимально использовать существующую у вас инфраструктуру, а также внедрять в
нее новые технологии.
Quantum Stornext – это решение, позволяющее построить иерархичную систему
хранения данных с оптимизацией уровней хранения, с применением дисковых
массивов и ленточных библиотек.
14
© 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and
uncertainties, does not necessarily represent the company’s outlook and is for planning purposes only.
LATTUS ДЛЯ
BIGDATA
«Длинный хвост» ценности данных
Все осознают ценность исторических данных
Но возможность
длительного хранения
всех данных –
бесценна!
Ценность
Новые данные
имеют высокую
ценность
Возраст
16
Диски высокой емкости и время восстановления
17
Традиционные проблемы с репликацией
RAID 6
Репликация
RAID 6
RAID 6
18
RAID 6
• RAID Rebuilds = снижение производительности
• RAID Rebuilds = увеличение административных
расходов
• Replication = дорогое решение, дублирование данных,
трудное в настройке.
• Подверженность одиночным ошибкам bit-error
• Высокие затраты на Power & Cooling
Quantum Lattus объектное хранилище
19
Что такое Lattus Object Storage?
Новый тип хранения основанный на алгоритме Forward
Error Correction
– “Fountain” erasure coding – надежная технология для передачи данных
по плохим каналам связи (космическая связь и тп)
– Подразумевает изначальное наличие ошибок– каждый компонент
когда-либо сломается
Долговечность данных при менее высоких CAPEX и
OPEX
– Low-cost, low-power, low-cooling disk
– Durability protection from geographic distribution as well
Подходит для большинства задач
– HTTP REST, WebDAV,S3, NAS (NFS, CIFS) , StorNext
Минимальная конфигурация 20 storage nodes,
неограниченное масштабрование
20
Система объектного хранения LATTUS
Масштабирование: сотни Петабайт
Долговечность данных: целостность данных и
надежность выше чем у Raid6 или Ленточек
Многосайтовость: отсутствие трудностей, присущих
репликации RAID
Высокая производительность: Гигабайты/сек
САМОВОССТАНОВЛЕНИЕ: контроль над
аппаратными компонентами системы
МИНИМАЛЬНО ОБСЛУЖИВАЕМАЯ СИСТЕМА:
более эффективное чем обычное облачное хранение
21
Конфигурации Lattus
Lattus-X
Lattus-M
StorNext Clients
NAS
Access
StorNext
Other Apps
Tier 1 Disk
HTTP://REST
Lattus
SDISK
Tape
Lattus
22
Lattus и технология QDynamcs
Self-healing: постоянный
мониторинг целостности
данных на уровне объектов
на S10 (ноды хранения).
Высокая
производительность:
распределенность системы–
отсутствие проблем времени
Rebuild RAID
Автоматическая миграция:
автоматизированный процесс
распределения данных при
добавлении нового
оборудования
23
Как это работает: политики отказоустойчивости данных
Политики отказоустойчивости данных предоставляют
широкий выбор уровня защищенности данных
Пример политики: 20/4
–
–
20/4 означает: файлы распределяются на 20 дисках/нодах/стойках (в зависимости от того
где вы поставите галочку)
Данные защищены от любых 4-х ошибок: отказы дисков/нод хранения/целых стоек в
ЦОД/сайтов (в зависимости от того где вы поставите галочку диски/ноды хранени/стойки)
20/4 означают что
–
5 дисков/нод хранения/стоек должны единовременно
выйти из строя чтобы вы потеряли данные
– Вероятность возникновения bit error 0%
Идеально подходит как для больших так и не
очень больших файлов
 Примеры таких политик:
20/4
24
20/11
18/7
Как работает Lattus: Алгоритм распределения данных
QSpread
Простая математика
75
5
QSpread
кодирование
X-Y=2
5
75
25

Из блоков составляются
математические уравнения

Уравнения распределяются
по:
 Дискам
 Нодам хранения
 Шкафам
 Сайтам

Набор таких уравнений
позволяет восстановить
отдельно взятый объект
2X+Y=19
QSpread
декодирование
7
Алгоритм разбивает данные
на блоки
Ваш файл
7
X+Y=12

Преимущество Lattus в конфигурации: Геокластер
StorNext MDC
Lattus A10
ЦОД 3
QSpread на 3 ЦОДа
ЦОД 1
StorNext MDC
26
ЦОД 2
Защищает от потери:
- Целого ЦОД
- Стойки
- Ноды хранения
- Диска
Lattus A10
Меньше потребление электроэнергии
Lattus оптимизирован под низкое
потребление электроэнергии и высокую
плотность данных
Technology
Емкость ТБ на Unit
Watts на доступный
ТБ емкости
BTU на доступный
ТБ емкости
27
RAID6
9.6
RAID6 +
3 Copy Lattus 18/7
Mirror Cloud Store QSpread
4.8
4.0
20.6
Выше плотность
25.0
50.0
60.0
8.2
Ниже энергопотреб.
75.0
150.0
180.0
27.9
Ниже кондиционирование
Стоимость хранения 1ПБ данных на
Lattus против. RAID6 + копия эквивалентная по надежности
Cost of Ownership
Disk Failure Protection
Standard Storage
Server
Quantum Lattus
System
RAID6 + Mirror
20/4 Durability Policy
Savin
gs
4
4
Raw Storage
2.5 TB
1.6 TB
Cost per Storage Node
$19,200
$15,000
16TB
20TB
156
80
$2,995,200
$1,200,000
Disk Replacements / Month
12
2
Disk Operations (FTE)
.3
.05
500 W
140 W
78,000 W
11,200 W
3
1
13
3
Acquisition Cost
$2,995,200
$1,200,000
Maintenance Costs (3 Yr)
$1,078,272
$423,000
Power + Cooling Costs (3 Yr)
$338,224
$48,565
Datacenter Hosting (3 Yr)
$234,000
$54,000
Operations
$135,000
$22,500
$4,780,696
$1,757,065
Raw Capacity / Node
Number of Nodes Required
Total Storage Cost
Power consumption per Node
Total Power Consumption
Rack Units per Storage Node
Number of Datacenter Cabinets
Total 3 Year Cost of
28Ownership
36%
Lower
Overhead
Lower CapEx
60%
83%
86%
77%
Lower
Maintenance
Lower Power
and Cooling
Smaller
Footprint
$3M Savings
over 3 Years
63%
Отказоустойсивость и Динамичные политики
 Код данных будет автоматически восстановлен
независимо от ошибки: диска, ноды хранения, стойки
или сайта
 Политики отказоустойчивости хранения (20/4) могут
быть изменены в любой момент без необходимости
перекопирования данных
 Апгрейд до многосайтовой структуры
 Измемение политики в зависимости от требований
отказоустойчивости
 Коды регенерации данных (уравнения)
автоматически ребалансируются при изменении
конфигурации системы
29
1 шкаф = ~1ПБ данных
Lattus-X
Lattus-M
37 S10 storage nodes
3 C10 controller nodes
1 SSD per controller
2 rack switches
1 A10 access node
Cables included
45U rack – optional
39 S10 storage nodes
3 C10 controller nodes
1 SSD per controller
2 rack switches
20 Lattus M HW keys
Cables included
45U rack – optional
30
Lattus
1.
Неограниченное масштабирование
–
–
–
–
2.
Капитальные & Операционные расходы
ниже
–
–
–
3.
Высокая надежность
Экономия электроэнергии
Стоимость обслуживания
Самовосстановление и миграция
–
–
31
Масштабируется до сотен ПБ
Высокая скорость, низкая задержка
Большое количество протоколов доступа
Геокластерная конфигурация
100 лет ,1 триллион объектов без единой ошибки.
Экстремальная отказоустойчивость данных
ЛЕНТОЧНЫЕ
БИБЛИОТЕКИ
QUANTUM
SCALAR ДЛЯ
BIGDATA
Системы хранения Scalar известны более 30 лет
Common iLayer Library Management; Vision Central Storage Management
Scalar i40 Scalar i80
Scalar i500
Начальный уровень
Средний уровень
• 25 – 80 cartridge slots
Масштаби
• 1 – 5 HH drives
руемость
• 0 – 5 I/E slots
• 41 – 409 cartridge slots
• 1 – 18 FH drives
• 0 – 54 I/E slots
Scalar i6000
Высший уровень
• 100 – 12,004 cartridge slots
• 1 – 96 FH drives
• 24– 528 I/E slots
• Monitor/Alert/Resolution, Adv. • Adds Storage Networking
Управле
Reporting, Partitioning,
– Native
ние
Persistent SN & WWN,
– I/O Blade
Autoleveling
• EDLM
•
•
•
•
Шифрова
• SKM
ние
• SKM, Q-EKM, RSA
• KMIP support
• SKM, Q-EKM
Adds Dual Robot
Adds EDLM
Adds HighDensity
Adds Extended I/E
© 2010 Quantum Corporation. Forward-looking information is based upon multiple
assumptions and uncertainties, does not necessarily represent the company’s outlook and
is for planning purposes only.
Масштабирование в соответствии с ростом данных
Надежная роботика, которую используют даже наши
конкуренты
Минимальный размер 19” стойка
– Наименьший размер в Enterprise секторе в области ленточных библиотек
Емкость по требованию (Capacity-on-Demand)
– Программная активация дополнительной емкости (слотов)
– Быстрое увеличение емкости без задержек
Унификация компонентов систем i500 среднего уровня,
i6000 enterprise уровня
© 2010 Quantum Corporation. Company Confidential. Forward-looking information is
based upon multiple assumptions and uncertainties, does not necessarily represent the
company’s outlook and is for planning purposes only.
Ленточные библиотеки Quantum Scalar




Библиотеки
Quantum
славятся
своей
качественной роботикой, более 30 лет.
Основное преимущество перед конкурентами
– геометрические размеры. Библиотеки
Quantum Scalar встают в стандартные 19”
стойки, позволяют оптимально использовать
пространство
серверной,
не
нарушая
стройные ряды серверных стоек.
Библиотеки
Quantum
обеспечивают
максимальную плотность данных на единицу
площади, оптимально масштабируясь.
Quantum всегда находится на передовой в
разработках
и
усовершенствованиях
технологий хранения на лентах.
© 2010 Quantum Corporation. Company Confidential. Forward-looking information is
based upon multiple assumptions and uncertainties, does not necessarily represent the
company’s outlook and is for planning purposes only.
Подведем итог
Лидирующая компания специализирующаяся на защите,
архивированию и восстановлению данных
Высокотехнолигичные дисковые решения интегированы с
не менее известными системами хранения на лентах
Комплексное решение для защиты филиалов и ГВЦ
Уникальное решение для быстрого доступа к «Большим
данным» StorNext интегрированное с системой
дедупликации и архивирования данных, управляемое
централизованно системой Storage Manager, с помощью
гибких политик, с возможностью построения распределенных
систем хранения, в т.ч. ГЕО-кластерных систем на
платформе LATTUS
36
© 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and
uncertainties, does not necessarily represent the company’s outlook and is for planning purposes only.
Взаимодействие с Quantum
Взаимодействие с Quantum:
– Вопросы стоимости решений, выбора партнера : Александр Шмаков
(Alexander.Shmakov@quantum.com)
– Технические вопросы по конфигурации решений: Дмитрий Борщев
(d.borshev@quantum.com)
37
© 2010 Quantum Corporation. Forward-looking information is based upon multiple assumptions and
uncertainties, does not necessarily represent the company’s outlook and is for planning purposes only.
Борщев Дмитрий
Pre-Sales, Quantum Corp,
Россия
d.borshev@quantum.com
© 2012 Quantum Corporation. Company Confidential. Forward-looking information is based upon multiple assumptions and uncertainties,
does not necessarily represent the company’s outlook and is for planning purposes only.