НОВЫЕ ТЕХНОЛОГИИ ПОСТРОЕНИЯ СЕРВЕРНОЙ АРХИТЕКТУРЫ ДЛЯ СОВРЕМЕННЫХ ЦОД – ОБОБЩЕННЫЕ СЕРВЕРНЫЕ СИСТЕМЫ

НОВЫЕ ТЕХНОЛОГИИ ПОСТРОЕНИЯ
СЕРВЕРНОЙ АРХИТЕКТУРЫ ДЛЯ
СОВРЕМЕННЫХ ЦОД – ОБОБЩЕННЫЕ
СЕРВЕРНЫЕ СИСТЕМЫ
2015
Александр Буравлев
Терминология
Дата-центр (от англ. data center), или центр хранени
я и обработки данных (ЦОД/ЦХОД) — это специали
зированное здание для размещения серверног
о и сетевого оборудования и подключения
абонентов к каналам сети Интернет
Обобщенные серверные системы – класс серверных систем
в которых при проектировании и производстве
объединяются несколько узлов в рамках одного шасси на
основании единых для всех узлов подсистем из ряда
питания, охлаждения и управления.
Решения Для Вертикальных Рынков
………
IT
инфраструктура
Телеком
Датаком
Транспорт
Блэйд Центры
Серверные
Системы
Здравоохранение
Образование
Продуктовые Группы
и Линейки
Стоечные серверы
Пьедестальные серверы
Системы Хранения Данных
Виртуализированные системы для Облачных вычислений
Клиентские
Устройства
 Aquarius
Десктопы
Ноутбуки
занимается
обобщенными системами с 2008 г.
Планшеты
Тонкие Клиенты/Моноблоки
«Бастион»
Специализированные
Сетевые Платформы
Компьютеры,
Серверы Высокой
Работоспособности
 Партнеры
(ODM-ы
и разработчики
Системные
продуктыAquarius
и
Серверы для неподготовленных помещений
Сетевые Решения
Intel, Microsoft, Pegatron Group, Wistron
Компьютеры для уличного использования
Информационные Киоски
Celestica, Jabil, Gigabyte, AIC, Yandex
HPC/Tехнический Компьютинг
компонент) :
Group, Quanta,
Повестка Дня
• Технологические Улучшения
–
–
–
–
Размеры, Конструктив
Подсистема Питания
Подсистема Охлаждения
Подсистема Управления
• Практические Реализации
–
–
–
–
Вычислительные Узлы
Узлы Хранения (холодное и JBOD)
Преимущества, Недостатки
Модель Использования
“Open Rack Standard 1.2”
“EIA 310 D” www.ihs.com
Размеры, Конструктив
23” / 600 mm
Удаляем верхнюю крышку, рельсы,
фронтальную панель
Экономия Веса
~ 50…200 Кг
на 20..40 серверов
- Увеличиваем полезную ширину
19” => 21”
- Меняем шаг установки:
1RackUnit (44,45мм) => 1OpenUnit (48мм)
Объединяем стойки
в триплет
Вес стойки
~175 Кг =>~ 75 Кг
Подсистема Питания
Меняем PSU
1)
9+2
1.7 KВт, 12В
2х40 штук 450Вт AC
220, ATX
2) 12В Вертикальная шина питания
3) Добавляем Контроллер
4) Выбрасываем
~30 кабелей
питания из горячего коридора
 Удешевление подсистемы
 Уменьшение частоты и упрощение обслуживании
 Повышение эффективности (N+N -> N+1, N+2)
Подсистема Охлаждения 1-2
Вентилятор
Эффективность
Типичное/максимальное значение
энергопотребления на сервер
40 мм
0,06 м3/мин*Вт
1 RU Сервер ~ 56/70 Вт
60 мм
0,09 м3/мин*Вт
2 RU Cервер ~ 40/50 Вт
80 мм
0,16 м3/мин*Вт
2 OU Cервер ~ 27/34 Вт
120 мм
0, 27 м3/мин*Вт
Обобщенное охлаждение ~ 17…28 Вт
При условиях:
- 80% нагрузки от пиковой
- Типовая конфигурация узла на базе 2xE5-2600 80W, 4xSATA HDD, 4x16GB RAM.
- 1U сервера рассчитаны на базе Intel 2600GZ
- Twin на базе F627R3-FT
Подсистема Охлаждения 2-2
«-»
«+»
ОБОБЩЕННЫЕ
Большая эффективность в метрике зат
раченных ватт на перемещенные м3 во
здуха через сервер
При разной нагрузке на сервер (~375\80
\0 Вт) вентилятор обеспечивает охлажд
ение сервера под максимальной нагруз
кой. Поэтому через остальные серверы
идет холодный воздух, который переме
шивается с горячим
ИНДИВИДУАЛЬНЫЕ
- Возможность подстраивать их работ
у под нагрузку конкретного сервера
- Отсутствие подмеса холодного возд
уха через неработающий узел
Меньшая энерго-эффективность
Хороши для
Для задач с балансировщиком
нагрузки (программным или апп
аратным), выравнивающим нагр
узку на серверы в стойке.
Для задач с заведомо неравном
ерной нагрузкой на серверы в
стойке
Подсистема Управления
Нужно мониторить и управлять
выделенными подсистемами
питания и охлаждения
Один-ый контроллер
(х86, IPMI, 10\100GbE)
Дубли-ый контроллер
(х86, IPMI, 10\100GbE)
Дубли-ый контроллер
(х86, IPMI, 10\100GbE)
Один-ая плата упрвл
ения вентиляторами
Дубли-ая плата управ
ления вентиляторами
Дубли-ая плата управ
ления вентиляторами
Возможно централизовать управление серверами
Открыли исходный код для управления
Open Cloud System (OCS)
Реализации Серверных Узлов
Частно
Фирменные
2 OU / 3 Узла
1RU 1 Узел
- 2xXeon E5v3
- 16xDIMM DDR4
- 2x10GbE
- 2x8PCI-E LP
- 6xSATA SSD HS
- 2xXeon E5v2
- 16xDIMM DDR3
- 2x10GbE
- 1x8PCI-E LP
- 8хSATA
2 OU / 4 Узла
1RU 2 Узла
- 2xXeon E5v3
- 16xDIMM DDR4
- 2x10GbE
- 2x8PCI-E LP
- 2xSATA SSD HS
- 2xXeon E5v3
- 16xDIMM DDR4
- 2x10GbE
- 1x8PCI-E LP
- 2хSATA HS
12 RU / 24 Узла
1RU 1 Узел
- 2xXeon E5v3
- 16xDIMM DDR4
- 2x10/40GbE
- 1x8PCI-E LP
- 8х2,5” либо 4х3,5”
- 2xXeon E5v3
- 16xDIMM DDR4
- 2x10GbE
- 1x8PCI-E LP
- 8хSATA HS
Lenovo
Частно
Фирменные
“Flex System” (10RU/19”)
Supermicro
Частно
Фирменные
“Fat Twins” (4RU, 19”)
……
37 моделей
Пример Реализации 1
Пример Реализации -2
Частно
Фирменные
Реализации Узлов Хранения
Cold Storage
2 OU, 30x3.5” SAS HotSwap
- Intel Atom C2xxx (2,4,8 cores)
- До 32GB RAM
- 1x10GbE
- x8PCI-E G2
Конфигурации
1x10GbE:15xHDD, 1:30, 1:60, 1:120
2 OU, 3x12*3.5” SAS HotSwap
JBOD
2 OU, 30x3.5” SAS HotSwap
- 2 INT mini-SAS 6G (SASx4) ports
- 1 EXT mini-SAS 6G (SASx4) port
- SES, SMP management
2 RU, 24x3.5” SAS HotSwap
- 2 EXT SAS 12G
- SES, SMP management
Модель Использования
 «Вычислительная Ферма»
 (Технический Компьютинг,
Ферма Виртуальных машин )
 64 вычислительных узла
 25 КВт
 «Конвергентная»
 24 вычислительных узла
 12 узлов хранения (336х3.5”)
 12,5 КВт
 «Хранения»
 15 вычислительных узла
 15 узлов хранения (420х3.5”)
 12,5 КВт
Реализации Компоновки Стойки







Горячие\Холодные коридоры.
Воздушное охлаждение до +35…40 С
Частно
Фирменные
От 12 до 28 КВт
От 42 до 48 U высотой, от 1080 до 1200 мм глубиной, 21/19”
Oт 20 до 84 серверных узлов в стойке (1, 2 и 3 узла на полке)
Холодное хранение на Intel Avoton или АRM 32-bit
JBOD на 28 или 30х3.5” SAS, Hot Swap
Каких ждать изменений
•
•
•
•
опция встроенного аккумулятора (1OU, 14 К Вт, 40 c)
Intel Purley (2017), ARM 64-bit (2016)
PCI-E Storage ?
Open Stack, Ceph, Lustra ?
«+»
 Высокая плотность размещения
 Высокая эффективность OPEX
 Там где открытый стандарт - возможность воспроизвод
ства по конструкторской документации
«-»
Преимущества и Недостатки
 Высокая цена при малых масштабах
 Высокая гранулярность
Теряется эффективность при <10 КВт/Стойку
 Бедная подсистема расширения и ввода-вывода
 Отсутствие сертификаций корпоративного ПО
Заключение
Обобщенные серверные системы разработаны для
сегмента «WEB2.0» и эффективны при построении
частной или публичной облачной инфраструктуры
(эластичность и горизонтальное масштабирование в
основе их архитектуры)
Выбор типа оборудования для эффективного построения
облачных сервисов
требует рассмотрения множества
входящих параметров.
Обращайтесь в Aquarius для получения квалифицированной
технической консультации и коммерческого предложения.
Yandex 2015
Microsoft OCS, Конструкция








12 «полок» по 2 серверных узла
Общее шасси на 24 узла
Обобщенное резервированное (5+1) питание
Обобщенное резервированное охлаждение (3+3)
Выделенный контроллер управления
Габариты: 12U, 19”, 1160 мм
Энергопотребление : 9.6 КВт
Т эксплуатации: 10…+35 C
Обслуживание сзади :
- Блоки питания горячей замены
- Вентиляторы горячей замены
- интерконнект
Обслуживание спереди :
- Узлы,
- Диски горячей замены
Microsoft OCS, Узел
 2 х Intel® Xeon® E5-2600 V3
 До 512GB; 8GB/16GB/32GB DDR4 до 2133MT/s; 16
DIMM slots
 Intel® C610, встроенный RAID 0/1/10
 Intel Quick Path Interconnect (QPI) links; 6.4 GT/s;
8.0 GT/s; 9.6 GT/s
 4 х 3.5” посадочных места: ● SATA HDD (7.2K rpm),
 4 х 2.5” посадочных места: ● SATA SSD,
 4хM.2 SSD modules
 ASPEED AST1050 iBMC
 IPMI V2.0 compliant; Chassis Manager
 One mezzanine slot
 1х10GbE DA/SFP+ port
 1х 40GbE QSFTP+ port
 Централизованное питание 12V DC