опыте создания суперкомпьютера Уфимского государственного

Департамент инфраструктурных решений
Павел Синицын,
менеджер по продажам отдела продаж
бизнес-серверов
Опыт создания суперкомпьютера
Уфимского государственного
технического университета
Научно-практическая конференция «Информационная система
инновационного вуза» 30 мая 2008 г.
www.it.ru
1
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Этапы создания суперкомпьютера
•
•
•
•
•
•
Формализация требований (ТЗ)
Проектирование подсистем
Закупка оборудования
Монтаж систем
Пусконаладочные работы
Тестирование суперкомпьютера
Важно: исполнителей может быть много, но у
проекта должен быть ОДИН куратор
www.it.ru
2
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Проектирование подсистем
- проектирование вычислительной системы
www.it.ru
3
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Проектирование подсистем
- проектирование системы охлаждения
www.it.ru
4
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Проектирование подсистем
- проектирование системы энергоснабжения
www.it.ru
5
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Проектирование подсистем
- планирование размещения оборудования и
кабельных трасс
www.it.ru
6
Опыт создания суперкомпьютера Уфимского
государственного технического университета
… и вот … результаты проектирования
www.it.ru
7
Опыт создания суперкомпьютера Уфимского
государственного технического университета
… и вот … результаты проектирования
www.it.ru
8
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Характеристики суперкомпьютера
Технические характеристики суперкомпьютера УГАТУ
Число вычислительных узлов / процессоров / вычислительных ядер
266 / 532 / 2128
Конструктив узла
Количество монтажных шкафов вычислительного кластера
Тип процессора
блейд-сервер IBM типа HS21XM
6
четырехъядерные процессоры Intel Xeon
5345 2,33 ГГц
Пиковая производительность
Производительность на тесте Linpack
Тип системной сети
Скорость передачи сообщений между узлами
Тип управляющей (вспомогательной) сети
Тип сервисной сети
Оперативная память
Дисковая память вычислительных узлов
Дисковая память системы управления
Тип системы хранения данных
Площадь помещения, где установлен СК
Минимальная необходимая площадь
Потребляемая мощность вычислительного кластера
Потребляемая мощность установки в целом
Вес вычислительного кластера
20 Тфлопс
15,45 Тфлопс
InfiniBand 4х SDR
до 10 Гбит/сек
Gigabit Ethernet
Gigabit Ethernet
2,16 Тбайт
19,5 Тбайт
7,2 Тбайт
IBM DS3400, дублированная
53 м2
38,4 м2 (при высоте потолка 3 м)
85 кВт
130 кВт
5,4 тонн
www.it.ru
9
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Характеристики суперкомпьютера
(продолжение)
Система бесперебойного электропитания:
Тип
оn-line
Исполнение
модульное
Количество монтажных шкафов
4
Максимальная мощность
160 (120+40) кВт
Резервирование
3+1, «горячая замена» компонентов
Вес системы
2,45 тонн
Климатическая система:
Тип
модульная, замкнутого типа, на основе
воздушно-водяного теплообменника
Холодопроизводительность
110 кВт
Резервирование
1+1
Теплоноситель
Водный раствор этиленгликоля
Количество холодильных машин
2
Вес системы
3,6 тонн
www.it.ru
10
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Уникальность настоящего проекта
1. Кластер построен на оборудовании IBM и Cisco (первая
поставка «тяжелого» IB-оборудования в Россию.
2. Реализация в системной сети кластера технологии
«неблокируемого» IB.
3. Системный софт: сертифицированный RHEL v.4,
параллельная файловая система,
планировщик/сборщик, компиляторы – коммерческие
продукты.
4. Использование модульной климатической установки
замкнутого типа Rittal RiMatrix5.
5. Единая система управления климатической установкой
и системой гарантированного электропитания.
www.it.ru
11
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Контактные лица вендоров
• От IBM:
 ИП – Свидрицкий Андрей ASvidritsky@ru.ibm.com
 Системный консультант – Горбас Сергей sgorbas@ru.ibm.com
• От Cisco:
 Консультант – Абрамян Артур aabramya@cisco.com
• От Rittal:
 ИП – Башкиров Владимир v.bashkirov@rittal.ru
• От Intel:
 Консультант – Соркин Александр alexander.m.sorkin@intel.com
www.it.ru
12
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Команда АйТи
• Сотрудники уфимского офиса во главе с
директором Бакиевым О.
• Сотрудники ДИР
www.it.ru
13
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Практика расчета производительности кластера
•
Единая методика расчета, результаты которой приводятся на TOP500 (WorldWide) и TOP50
(Россия) – TOP500-Tool-v3.6-1 автор: Jay Urbanski urbanski@us.ibm.com
•
•
•
•
TOP500 Estimator Tool
Customer Name
Cluster Name
Country
•
•
•
•
•
•
•
•
•
•
•
•
•
# of Nodes
# of CPU cores/Node
GHz Rating
RAM / CPU Core (GB)
CPU Type
Interconnect
Performance
Rpeak
(Peak performance)
Estimated Rmax
(Actual performance)
Efficiency
(Percentage of peak)
www.it.ru
УГАТУ
IBM System Cluster 1350
Russia
Main Blades
266
8
2,33
1
Clovertown
Infiniband 4x
GFLOPS
19 833,0
14 577
73,50%
14
Опыт создания суперкомпьютера Уфимского
государственного технического университета
Практика расчета производительности кластера
Часть 2
Комментарий:
Последний TOP500 (ноябрь 2007):
кластер УГАТУ занял 181 место (Rpeak =19,858 Tflops,
Rmax=9,287 Tflops), если бы были готовы результаты
тестирования по методикам Linpack Benchmark
(завершено 24 января 2008 г. Rmax=15,454 Tflops), то в
TOP500 заняли бы 76 место.
www.it.ru
15
Опыт создания суперкомпьютера Уфимского
Опыт создания суперкомпьютера
государственного технического университета
Уфимского государственного
технического университета
Синицын Павел
117218
Менеджер по продажам отдела
продаж бизнес-серверов
Москва, ул. Кржижановского, 29, корп. 2, (а/я 116)
E-mail: @it.ru
www.it.ru
Тел.: +7 (495) 974-79-79 ● 974-79-80 ● 127-90-10 ● 127-90-12
Факс: +7 (495) 974-79-90 ● 129-12-75
16