На пути к созданию систем экзафлопсного уровня производительности Алексей Коптев, Директор по продажам ОАО “Т-Платформы” (Дубна) 07.10.2011 О КОМПАНИИ Основана в 2002 году Более 200 суперкомпьютерных проектов Собственные разработки аппаратного и программного обеспечения, многочисленные патенты Один из лидеров мирового суперкомпьютерного рынка Полный спектр решений и услуг в области HPC Шесть решений в рейтинге TOP500 самых мощных суперкомпьютеров мира (2007-2008г., 2011г. – СКИФ “Cyberia”, ТГУ) Центральный офис в Москве (Россия) с представительствами в Германии, Украине, на Тайване и в Китае ИЗМЕРЕНИЯ FLOPS - Floating point OPerations per Second Количество выполняемых операций с плавающей запятой в секунду Гигафлопс 109 - миллиард операций в секунду Терафлопс 1012 - триллион операций в секунду Петафлопс 1015 - квадриллион операций в секунду Экзафлопс 1018 - квинтиллион операций в секунду 3 ЭКЗАФЛОПСНЫЙ РУБЕЖ: КОГДА? ЗАЧЕМ? 1 Эфлопс ?? 1 Пфлопс Roadrunner 1 Tфлопс 1 Гфлопс ASCI Red Терроризм Финансовый кризис Эпидемии Изменения климата Старение популяции Нехватка ресурсов Землетрясения Загрязнение окружающей среды CRAY-2 1986 11 лет 1997 11 лет 2008 11 лет?? 2018 Суперкомпьютер «Ломоносов» Суперкомпьютер "Ломоносов”- самый мощный вычислительный комплекс в Восточной Европе с пиковой производительностью в 1,3 Пфлопс. Cуперкомпьютер использует 6 типов вычислительных узлов и процессоры различных архитектур. • • • • • 1,3 Пфлопс На базе TB2-XN и TB2-TL QDR InfiniBand 40Гб/с 3-уровневая система хранения данных объемом 1,8 ПБ Операционная система ClustrX Т-Platforms Edition ЭКЗА-ЗАДАЧИ Энергетика - качественно новые ядерные реакторы - индивидуальные катализаторы - новые источники топлива Климат предсказание локального влияния глобальных климатических сдвигов Астрофизика 1 расчет процесса образования сверхновой за 8 недель при 20% реальной эффективности Эфлопс Биология - 100 милисекунд сворачивания белка за секунды вместо 3 лет на петафлопе - конструирование наномеханизмов с нуля Социоэкономика поддержка стратегических решений за счет интеграции экологических, энергетических и социальных моделей ЭКЗА-ЗАДАЧИ: ЭНЕРГЕТИКА • Получение более глубоких знаний о базовых процессах, таких как сгорание: более эффективное использование жидкого топлива • компьютерный дизайн индивидуальных катализаторов «из первых принципов»: выделение большего количества энергии из любого сырья • Качественный рывок в дизайне и оптимизации ядерных реакторов • Новые способы поиска оптимальных решений инженерных проблем: несколько пета-моделей отдельных подсистем устройства рассчитываются одновременно. При этом оптимизация параметров происходит на уровне глобальной экза-модели целого устройства ЭКЗА-ЗАДАЧИ: КЛИМАТ • Значительное увеличение разрешения моделей: понимание локального влияния глобальных изменений климата • Значительное улучшение представления физических, климатических и биологических процессов в климатических моделях • Возможность глубокого исследования факторов неопределенности в климатических моделях через масштабные ансамблевые вычисления Некоторые вопросы: • С ускорением глобальных изменений климата, на региональном уровне возникают значительные погодные сдвиги. Могут ли модели предсказывать их? • Таяние льдов Гренландии и Антарктики может поднять уровень моря на 6 метров. Насколько велика вероятность? • Уровень кислотности воды в океане меняется с ростом cодержания СО2 в атмосфере. Когда эти изменения приведут к разрушению коралловых рифов? ЭКЗА-ЗАДАЧИ: АСТРОФИЗИКА • Моделирование формирования галактик, эволюции звезд, образования сверхновых звезд • Для корректного моделирования критических аспектов взрыва, приводящего к образованию сверхновых (например, эволюции магнитных полей ядра звезды и их роли в образовании сверхновой) требуется новый уровень разрешения • Один расчет процесса образования сверхновой звезды займет около 8 недель при 20%-ной реальной производительности приложения на экзафлопсном компьютере ЭКЗА-ЗАДАЧИ: БИОЛОГИЯ • Возможность корректно воссоздавать микро-системы: выход на новый уровень пространственно-временного разрешения моделей • Моделирование клетки как единой системы • Чтобы смоделировать 100 милисекунд процесса сворачивания белка, петафлопсной системе понадобится 3 года. Экзафлопсные системы смогут воспроизвести полный цикл сборки белка за секунды • Результат – возможность конструировать новые вещества и нано-механизмы с заранее заданными свойствами • Возможность включать в одну модель системы разного масштаба: от микроорганизмов до целых экосистем ЭКЗА-ЗАДАЧИ: СОЦИОЭКОНОМИЧЕСКОЕ МОДЕЛИРОВАНИЕ • Интеграция детализированных моделей производства и использования энергии, социо-экономических моделей с высоким пространственновременным разрешением, а также экологических моделей Земли, отражающих влияние человека на окружающую среду • Результат: поддержка принятия решений о стратегиях глобального экономического развития благодаря оценке последствий этих стратегий для окружающей среды • Различные способы ответа на глобальные изменения климата могут комплексно оцениваться для поиска оптимального варианта стратегии ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ Эфлопс на современных технологиях 5000 МВт При сохранении текущего тренда >500 МВт Необходимо 20 МВт Производительность Linpack на Ватт Энергопотребление и тепловыделение Исторический тренд Цель для Эфлопс Тяжелые узлы 1 Тренд Тор10 Лучшие ожидания Легкие узлы 2 Тренд Тор1 Легкие узлы 1 Тяжелые узлы 2 ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ Ограничение объема ОЗУ 100 млн. чипов памяти при 1ГБ на ядро Надежность, энергопотребление Ограничение пропускной способности ОЗУ Текущая эволюция чипов памяти Нет массового доступа к технологии Ограничение скорости работы с СХД Механические компоненты на дисках – ограничение времени позиционирования Флэш-память: недостаточно циклов записи Проблемы хранения и эффективного использования метаданных Копирование на диск при записи контрольных точек уже сегодня занимает 50% времени счета 13 ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ Программное обеспечение Выражение параллелизма и локальности, управление параллелизмом Алгоритмы Средства управления Средства разработки Недостаточная степень параллелизма Необходима новая среда разработки от языков программирования до средств отладки 14 НЕКОТОРЫЕ НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ Разработка энергоэффективных технологий изготовления микросхем Поиск альтернативных технологий для организации памяти и процессорной логики, обеспечивающих меньшее энергопотребление «Трехмерные» микросхемы: технологии их упаковки, связи между кристаллами и их охлаждения Оптический интерконнект Разработка энергоэффективных методов определения и коррекции ошибок Технологии автоматического использования резервных компонентов в случае отказа Прототип оптического интерконнекта, ORNL 15 ВЫВОДЫ Параллелизм на уровне миллиардов процессов Энергопотребление Новые архитектуры, «легкие процессоры», интерконнект и системное ПО с иным уровнем масштабируемости и отказоустойчивости 16 ЭКЗАФЛОПСНЫЕ ИНИЦИАТИВЫ ASC «Программа Передового Имитационного моделирования и вычислений» Национальное агентство ядерной Безопасности Министерства Энергетики США «Имитационное моделирование для энергетики, экологии и Глобальной безопасности» Управление по науке Министерства Энергетики США 10-летний план $1.6 – 2 млрд/год Эфлопс к 2018-2019 г.г. 1995 «Международный проект по разработке ПО уровня экзаскейл» США, Евросоюз Япония, Англия Инициатива Научного совета «Большой Восьмерки» «Суперкомпьютинг уровня экзаскейл» €10 млн Эфлопс к 2022 г. «Европейская инициатива CRAY по разработкам уровня экзаскейл» СRAY, Университет Эдинбурга, СКЦ Швейцарии «Моделирование и вычисления уровня экзаскейл» Еврокомиссия €24млн на 3 прототипа 2007 2009 2010 СОТРУДНИЧЕСТВО С ВЭБ Наблюдательный совет государственной корпорации «Банк развития и внешнеэкономической деятельности (Внешэкономбанк)» под руководством Председателя Правительства Российской Федерации В. Путина принял решение о поддержке проекта, реализуемого компанией «Т-Платформы» в области инновационных российских суперкомпьютерных технологий. Разработка инновационных отечественных суперкомпьютерных технологий и их экспорт на международный рынок Развитие инноваций в стратегических компьютерных технологиях и электронной промышленности Диверсификация российского экспорта за счет наиболее высокотехнологичной продукции отрасли ИКТ Укрепление позиций России в ряду мировых технологических лидеров 18 CLUSTRX СИСТЕМНОЕ ПО БЕЗ АРХИТЕКТУРНЫХ ОГРАНИЧЕНИЙ ПО МАСШТАБИРУЕМОСТИ – ПУТЬ К ОПЕРАЦИОННОЙ СИСТЕМЕ УРОВНЯ ЭКЗАСКЕЙЛ Мета-OС уровня кластера, а не уровня вычислительного узла Единое решение для всей инфраструктуры Облегченное оптимизированное ядро Linux (CNL) Оптимизированное управление памятью на уровне ядра Легко масштабируемая система управления и мониторинга Поддержка гетерогенных систем Режим экономии электроэнергии Масштабируемость на уровне десятков петафлопс 19 Наши вопросы Что нужно сегодня владельцам СКЦ от производителей HPC? Простота управления и использования Энергоэффективность, охлаждение Масштабируемость интерконнекта и системного ПО Отказоустойчивость Доступность масштабируемых параллельных алгоритмов, приложений Новые среды разработки, отладки «Облачная» архитектура, виртуализация Цена / производительность ??? Спасибо за внимание! Алексей Коптев, Директор по продажам ОАО “Т-Платформы” E-mail: alexey.koptev@t-platforms.ru