Частная облачная инфраструктура университета Докладчик: Гмарь Д.В. ФГБОУ ВПО «Владивостокский государственный университет экономики и сервиса» (ВГУЭС), 2013 Эффективность ИТ службы большее количество сервисов большое проникновение сервисов больший масштаб сервисов бюджет 2007г неизменный - 79 сотрудников управления ИТ 2013г - 58 сотрудников управления ИТ, ~ в 9 раз больше назначенных прав в ИТ-системах Минимизация затрат на поддержку важнее чем первоначальные затраты Традиционная инфраструктура ЦОД Catalyst 3560 1 1X 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 SERIES Сеть доступа PoE-48 Catalyst 3560 48 15X 17X 31X 33X 47X 16X 32X 34X 48X SYST RPS 1 3 2 4 1 1X 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 SERIES PoE-48 48 15X 17X 31X 33X 47X 16X 32X 34X 48X SYST RPS STAT DUPLX SPEED POE 1 3 2 4 Catalyst 3560 2X 18X STAT DUPLX SPEED POE MODE 1 2X 18X MODE 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1X 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 31X 33X 47X 16X 32X 34X 48X STAT DUPLX SPEED POE 2X 18X SERIES PoE-48 48 15X 17X SYST RPS 1 3 2 4 MODE Catalyst 3560 1 1X 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 31X 33X 47X 16X 32X 34X 48X STAT DUPLX SPEED POE 2X 18X SERIES PoE-48 48 15X 17X SYST RPS 1 3 2 4 Ядро сети MODE Опорная сеть 1 FAN STATUS 2 Группа коммутаторов ЦОД 3 4 5 6 Сеть внешнего взаимодействия 7 8 9 C6509-E-FAN WS-C6509-E INPUT 1 100-240V ~ 16A 60/50 Hz INPUT 1 100-240V ~ 16A 60/50 Hz INPUT 2 100-240V ~ 16A 60/50 Hz INPUT 2 100-240V ~ 16A 60/50 Hz L L RU N TAL INS RU N TAL INS INPUT OK 1 CISCO SYSTEMS, INC. FAN OK OUTPUT FAIL INPUT OK 1 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. CISCO SYSTEMS, INC. FAN OK OUTPUT FAIL 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. Частная облачная инфраструктура ВГУЭС Виртуализация рабочих станций Сеть хранения данных Виртуализация Резервное и серверов архивное хранение 24Гб/с 10Гб/с Профили пользователей Ядро сети Опорная сеть Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1X 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 15X 17X 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 31X 33X SERIES PoE-48 SERIES PoE-48 SERIES PoE-48 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 47X SYST RPS 1 STAT DUPLX SPEED POE 3 2 16X 2X 18X 32X 34X 4 48X MODE Catalyst 3560 1X 15X 17X 31X 33X 47X SYST RPS 1 STAT DUPLX SPEED POE 3 2 16X 2X 18X 32X 34X 4 48X MODE 1 Catalyst 3560 FAN STATUS 1 1X 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 15X 17X 31X 33X 47X 16X 32X 34X 48X SYST RPS 1 STAT DUPLX SPEED POE 2 3 2 2X 18X 4 MODE Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1X 11X 13X 23X 2X 12X 14X 24X SYST RPS 3 STAT DUPLX SPEED POE 1 2 MODE Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1X 11X 13X 23X 2X 12X 14X 24X 11X 13X SYST RPS 4 STAT DUPLX SPEED POE 1 2 MODE Catalyst 3560 5 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1X 13 14 15 16 17 18 19 20 21 22 23 24 13 14 15 16 17 18 19 20 21 22 23 24 23X SYST RPS STAT DUPLX SPEED POE 1 2X 12X 14X 1X 11X 13X 23X 2X 12X 14X 24X 1Гб/с 2 24X MODE Catalyst 3560 6 SYST RPS STAT DUPLX SPEED POE 1 2 MODE 7 Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1X 11X 13X 23X 2X 12X 14X 24X SYST RPS STAT DUPLX SPEED POE 1 2 MODE 8 Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 1X 13 11X 13X 12X 14X 14 15 16 17 18 19 20 21 22 23 24 23X SYST RPS STAT DUPLX SPEED POE 9 1 2X 2 24X MODE C6509-E-FAN Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Сеть доступа 24 1X 11X 13X 23X 2X 12X 14X 24X SYST RPS WS-C6509-E STAT DUPLX SPEED POE 1 2 MODE INPUT 1 100-240V ~ 16A 60/50 Hz INPUT 1 100-240V ~ 16A 60/50 Hz INPUT 2 100-240V ~ 16A 60/50 Hz INPUT 2 100-240V ~ 16A 60/50 Hz L INPUT OK 1 CISCO SYSTEMS, INC. Сервера СУБД L RU N TAL INS RU N TAL INS FAN OK OUTPUT FAIL INPUT OK 1 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. CISCO SYSTEMS, INC. FAN OK OUTPUT FAIL 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. Межсетевой экран CISCO ASA 5510 series Adaptive Security Appliance POWER STATUS ACTIVE VPN FLASH всего 14 серверов Сеть внешнего взаимодействия Будущее лет через 5? Веб-серверы Интернет MS AD СУБД Рабочие станции КИС Межсетевой экран Публичное облако Ядро сети 1 FAN STATUS Опорная сеть 2 Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1X 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 15X 17X 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 31X 33X SERIES PoE-48 SERIES PoE-48 SERIES PoE-48 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 47X SYST RPS 1 STAT DUPLX SPEED POE 3 2 16X 2X 3 18X 32X 34X 4 48X MODE Catalyst 3560 1X 15X 17X 31X 33X 47X SYST RPS 1 STAT DUPLX SPEED POE 4 3 2 16X 2X 18X 32X 34X 4 48X MODE Catalyst 3560 1 1X 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 15X 17X 31X 33X 47X 16X 32X 34X 48X SYST RPS 5 1 STAT DUPLX SPEED POE 3 2 2X 18X 4 MODE Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1X 11X 13X 23X 2X 12X 14X 24X SYST RPS 6 STAT DUPLX SPEED POE 1 2 MODE Catalyst 3560 7 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 1X 11X 13X 23X 2X 12X 14X 24X 11X 13X 12X 14X SYST RPS STAT DUPLX SPEED POE 1 2 MODE 8 Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1X 13 14 15 16 17 18 19 20 21 22 23 24 13 14 15 16 17 18 19 20 21 22 23 24 23X SYST RPS STAT DUPLX SPEED POE 1 2X 2 24X MODE 9 Catalyst 3560 C6509-E-FAN 1X 11X 13X 23X 2X 12X 14X 24X 11X 13X 12X 14X SYST RPS STAT DUPLX SPEED POE WS-C6509-E 1 2 MODE Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 1X 13 14 15 16 17 18 19 20 21 22 23 SERIES PoE-24 SERIES PoE-24 SERIES PoE-24 24 23X SYST RPS INPUT 1 100-240V ~ 16A 60/50 Hz STAT DUPLX SPEED POE INPUT 1 100-240V ~ 16A 60/50 Hz 1 2X 2 24X MODE Catalyst 3560 1 2 3 4 5 6 7 8 9 10 11 12 1X 13 11X 13X 14 15 16 17 18 19 20 21 22 23 24 23X SYST RPS STAT DUPLX SPEED POE INPUT 2 100-240V ~ 16A 60/50 Hz INPUT 2 100-240V ~ 16A 60/50 Hz 1 2X 12X 14X 1X 11X 13X 23X L 2X 12X 14X 24X 1 INPUT OK 1 FAN OK OUTPUT FAIL INPUT OK 1 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. CISCO SYSTEMS, INC. 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 SYST RPS RU N TAL INS RU N TAL INS CISCO SYSTEMS, INC. 2 24X MODE Catalyst 3560 L FAN OK OUTPUT FAIL STAT DUPLX SPEED POE 1 2 MODE 2 SWITCH MUST BE IN OFF “O” POSITION TO INSTALL/ REMOVE POWER SUPPLY. FASTENER MUST BE FULLY ENGAGED PRIOR TO OPERATING POWER SUPPLY. 0 серверов Сеть доступа Этапы виртуализация серверной инфраструктуры 2009 - 70 физических серверов, бесплатные гипервизоры VMWare, Citrix 2010 – 30 виртуальных серверов, VMWare vSphere Enterprise Plus 4.1 2013 – 14 физических, более 110 виртуальных серверов, отказоустойчивость, vSphere 5.1, vCloud Director Электропотребление : 2012 - 20кВт/ч, 2013 – 12 кВт/ч Экономия за счет правильного лицензирования виртуальной среды MS Core Infrastructure Server Suite Data Center Standard 2-сокета, VM не ограничено 2-сокета, 3-VM 19 994 руб. 81 756 руб. Во ВГУЭС - 62 Windows Server на 3-х гипервизорах: 62*19 994 – 3* 81 756 = 994 360 руб. (экономия) Получаемые преимущества доступность, отказоустойчивость и масштабируемость сервисов и ресурсов снижено потребление электроэнергии увеличение производительности труда Планы обновление кластера 1.5Тб ОЗУ, 64 ядра, 56 Тб SAN виртуализация СУБД 10 Гбит/c соединения с ядром сети реплики контроллеров домена в публичном облаке Проблемы связанные с ПК в университете большой парк ПК университета: высокие трудовые затраты на обслуживание рост системных требований риски, связанные с действиями пользователей высокий уровень шума, потребления энергии Варианты решения проблем централизованное терминальные виртуализация управление ПК (MS System Center) станции (MS RDS, NComputing) рабочих станций (VMWare View 5.2, Citrix XenDesktop) Виртуализация рабочих станций выгодна когда можно выделить большую группу ПК с набором однотипных задач когда необходимо часто изменять состав ПО Полученные выгоды трансляция изменений на весь пул станций, возврат до эталонного образа поддержка нулевых клиентов (6 Вт/ч) изолированная отделение среда, безопасность и контроль профилей пользователя Экономика проекта Расходы за 5 лет ПК (рублей) VDI (рублей) Клиентское устройство Windows + SA / VDA VMWare View 5.2 Ресурсы ЦОД Зарплата с налогами 19 000 19 500 3 500+3 000 0 0 14 000 (70 часов) 4 500 5 600 4 000 2 000 (10 часов) Электроэнергия ИБП Итого 8 400 1200 9 000 200 49 100 37 200 Полученный результат установлено 430 нулевых клиентов сокращено 5 ставок = 1,1 млн. руб. в год мощность ИБП снижена с 9кВт*А до 1 кВт*А на 1 класс компьютерного центра Перспективы внедрения 3D графика, пакеты компьютерного дизайна виртуализация рабочих станций сотрудников, защищаемого сегмента сети 800 виртуальных рабочих станций к 2015г. Резервное и архивное копирование до 2012 года резервное архивное копирование средствами отдельных систем копирование на LTO-3 средствами Linux Сегодня: Microsoft System Center DPM Централизация, автоматизация БД MS SQL, 64 дня, 15 минут профили сотрудников и студентов, 64 дня файловые сервера, 48 дней состояние систем серверов Windows, 14 дней MS SC DPM: преимущества актуальные отчеты о состоянии резервных копий экономия времени на настройку планов резервного копирования и восстановление Планы на 2013 год обеспечить внедрить архивное хранение в течение 5 лет систему резервного копирования виртуальных машин (Veam Backup & Replication) Мониторинг инфраструктуры Графики MS Cacti SC Operations Manager (2012) MS SC Operations Manager: преимущества мониторинг узлов сети и работоспособности приложений отслеживание нарушений целостности БД оповещение по SMS и e-mail при неполадках построение графиков работоспособности и производительности серверов от инструмента мониторинга к управленческому инструменту принятия решений Спасибо за внимание, до встречи в облаках! Докладчик : Гмарь Дмитрий, начальник отдела разработки и администрирования КИС Владивостокский Государственный Университет Экономики и Сервиса, dmitriy.gmar@vvsu.ru