методы и средства решения задачи планирования вычислений в
реклама
К.Н. БИБИКОВ Научный руководитель – М.М. РОВНЯГИН, ассистент Национальный исследовательский ядерный университет «МИФИ» МЕТОДЫ И СРЕДСТВА РЕШЕНИЯ ЗАДАЧИ ПЛАНИРОВАНИЯ ВЫЧИСЛЕНИЙ В СУПЕРКОМПЬЮТЕРНЫХ СИСТЕМАХ С ГИБРИДНОЙ CPU/GPU АРХИТЕКТУРОЙ На основе проведенного анализа существующих систем управления распределенными вычислениями и их недостатков, а также отсутствием системы планирования вычислений с гибридной CPU/GPU архитектурой, обосновывается необходимость в разработке новой системы решения задач планирования. В настоящее время наиболее актуальной задачей в гибридных CPU/GPU системах является увеличение производительности. Одной из причин является существование множества задач на вычисление, в которых время выполнения полностью зависит от объема входных данных. В гибридной системе планировщику важно знать до начала вычисления, на каком ядре (CPU или GPU) оно выполнится с наилучшим показателем производительности [1]. Использовать стандартные средства PBS в гибридных системах недостаточно, так как планировщик не будет обладать статистикой по результатам выполненных ранее вычислений, и построить систему более производительной не получится. Рассмотрим основные возможности систем управления распределёнными вычислениями на примере Torque. Данный менеджер является продолжением семейства систем управления PBS. В системе управления Torque существует встроенный планировщик, в котором реализован алгоритм FCFS (First Come First Served) [2]. Весь функционал, предоставляемый разработчиками систем управления кластерами, условно можно разделить на группу команд управления ресурсами и команды мониторинга. Стоит отметить, что для гибридных CPU/GPU систем, функциональных возможностей PBS недостаточно, возникает потребность в предварительной оценке вычисления на ядрах. Предлагается способ планирования вычислений на узлах кластера, который будет взаимодействовать с CPU и GPU. Выполнение задач на GPU предполагается реализовать на графических процессорах фирмы NVIDIA, используя архитектуру CUDA [3]. Архитектура планировщика изображена на рисунке 1а. График зависимости времени выполнения задачи от объема входных данных изображен на рисунке 1б. Рис. 1а. Архитектура планировщика Рис. 1б. Производительность выполнения задачи на узле На рисунке 1б присутствует точка, до которой наилучшие показатели производительности достигаются путем вычисления данных на CPU. Принцип работы ядра планировщика схож с протоколом TCP во время выбора размера окна (TCP Reno). Работа TCP Reno заключается в подборе максимального числа передач, в зависимости от качества связи, которые можно безошибочно выполнить без подтверждения [4]. Планировщик ориентируется на статистику запусков задач и на возможности оборудования. Данная статистика позволяет планировщику регулировать размер передаваемых данных на GPU перед выполнением. Итоги. Предложены методы и средства решения задачи планирования вычислений на узлах кластера с гибридной CPU/GPU архитектурой. Также предложены методы машинного обучения в решении задачи планирования. Список литературы 1. В.И. Воловач. Учебно-методическое пособие по выполнению курсового проекта по дисциплине «Распределенные программно-информационные системы» // ПВГУСТольятти, 2013. – 40 с. 2. Основные возможности менеджера ресурсов Torque (PBS) (статья) URL: https://software.intel.com/ru-ru/articles/PBSCapabilities 3. Д.Сандерс, Э.Кэндот Технология CUDA в примерах Введение в программирование графических процессоров: ДМК Пресс, 2013. – 232 с.: ил. 4. Компьютерные сети. Системный подход (презентация на англ. яз.) URL: http://web.cs.wpi.edu/~cs3516/b09/slides/tcp-cong-control.ppt
