GRIS - Indico
реклама
Enabling Grids for E-sciencE Информационная система Бережная А., Котляр В. Институт физики высоких энергий г. Протвино www.eu-egee.org EGEE-II INFSO-RI-031688 Службы gLite Enabling Grids for E-sciencE CLI API Доступ Информация и Мониторинг Авторизация Аутентификация Службы Безопасности Каталог Каталог Метаданных файлов и реплик Storage Element Перемещение данных Управление данными EGEE-II INFSO-RI-031688 Службы Обнаружения Службы информации и мониторинга Computing Element Управление загрузкой Службы управления заданиями EGEE Tutorial for grid users 30.11.2007 2 Информационная система (ИС) Enabling Grids for E-sciencE • Что? – Система сбора информации о состоянии ресурсов. • Зачем? – Для получения информации о Грид-ресурсах и их статусе. – Для получения информации о вашем задании. – Сопоставлять запросы задания и доступные Грид-ресурсы • Как? –Мониторинг и публикация новых данных относительно состояния ресурса –Известная/стандартная модель данных • Кто? – Пользователи, ищущие конкретный ресурс. – RB/WMS распределяющие и управляющие заданиями. – Другие сервисы мониторинга EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 3 Сервисы ИС Enabling Grids for E-sciencE • Модель данный gLite основана на Grid Laboratory Uniform Environment (GLUE) Schema • В gLite используются 2 основных ИС : – Berkeley DB Information Index (BDII) Сбора информации сохранения информации о ресурсах публикации их статуса. построена на основе LDAP (Light-weight Directory Access Protocol), специализированной базы данных, оптимизированной для чтения, поиска и получения информации. – Relational Grid Monitoring Architecture (R-GMA) для сбора мониторирования публикации информации пользовательского уровня. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 4 GLUE Schema Enabling Grids for E-sciencE • Описывает информацию Грид-ресурсов, сохраненную в ИС • Основные программные компоненты разработанны так, чтобы быть частью базового middleware ГРИД каждого проекта. • GLUE не требует сборки полной системы middleware, а выбирает компоненты так, чтобы решить конкретные вопросы интероперабельности • Существующая версия отображена в –LDAP –XML –ClassAd (Condor Matchmaking language) EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 5 Структура GLUE Schema Enabling Grids for E-sciencE Основные объекты Site +UniqueID:string +Name:string +Description:string +EmailContact:string +UserSupportContact:string +SysAdminContact:string +... * Service +UniqueID:string +Name:string +Type:serviceType_t +Version:string +Endpoint:uri +... * * Storage Element Computing Element +UniqueID:string +Name:string +Architecture:SEArch_t +SizeTotal:int32 +SizeFree:int32 +InformationServiceURL:string +Port:int32 +... +UniqueID:string +Name:string +ImplementationName:CEIm pl_t +Info.LRMSType:lrms_t +Info.LRMSVersion:string +Info.GRAMVersion:string +... * data Service +Key:string +Value:string EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 6 Примеры GLUE Schema(I) Enabling Grids for E-sciencE Атрибуты для CE ¤ Базовый Класс для CE (objectclass: GlueCETop) : нет атрибутов ¤ CE (objectclass: GlueCE) • GlueCEUniqueID: уникальный идентификатор CE • GlueCEName: удобочитаемое имя сервиса ¤ CE Status (objectclass: GlueCEState) • GlueCEStateRunningJobs: количество запущенных заданий • GlueCEStateWaitingJobs: количество ждущих заданий • GlueCEStateTotalJobs: общее количество заданий (running + waiting) • GlueCEStateStatus: состояние очередей: • в очереди • работают • закрыты • ….. • GlueCEStateWorstResponseTime: наихудшее возможное время между представлением задания и началом его выполнения EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 7 Примеры GLUE Schema (II) Enabling Grids for E-sciencE Атрибуты для SE ¤ Базовый класс (objectclass: GlueSETop) : нет атрибутов ¤ Aрхитектура (objectclass: GlueSLArchitecture) – GlueSLArchitectureType: тип оборудования (диск, ленты, ….) ¤ Протокол доступа (objectclass: GlueSEAccessProtocol) – GlueSEAccessProtocolType: тип протокола доступа или передачи файлов – GlueSEAccessProtocolPort: номер порта – GlueSEAccessProtocolVersion: версия протокола – GlueSEAccessProtocolAccessTime: время доступа к файлу по этому протоколуl EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 8 Примеры GLUE Schema (III) Enabling Grids for E-sciencE Смешанные атрибуты ¤ Связь между CE и одним или более SE (objectclass: GlueCESEBindGroup) – GlueCESEBindGroupCEUniqueID: уникальный ID для CE – GlueCESEBindGroupSEUniqueID: уникальный ID для SE EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 9 GRISs, Site-BDII и BDII Enabling Grids for E-sciencE http://www.XXX.org/index.conf Top BDII Top BDII Top BDII Information Index Top Level Site Level Site 3 Site 2 Site-BDII Site 1 GIIS CE GRIS SE GRIS MON GRIS Site N Site-BDII GIIS CE GRIS SE GRIS MON GRIS WMS GRIS LFC GRIS FTS GRIS Resource Level EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 10 GRISs, Site-BDII и BDII Enabling Grids for E-sciencE • Resource level: Grid Resource Information Server (GRIS) – GRIS запущен на каждом CE, SE, RB, MyProxy, etc.. – Plugins собирают статическую и динамическую информацию об определенном ресурсе и делают ее доступной, чтобы быть опубликованной GRIS. • Site level: Grid Index Information Server (GIIS) – – – – Собирает информацию со всех GRIS's сайта. Сохраняет эту информацию на Berkeley DB. Делает ее доступной для Top level Information Index. Называется site BDII. • Top level: Berkeley DB Information Index (BDII) – Собирает информацию со всех GIIS's. – Сохраняет эту информацию Berkeley DB. – Опрашивает только сайты, которые определены в файле конфигурации (доступны через http). EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 11 LDAP Enabling Grids for E-sciencE • Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch) • Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа • LDAP может использоваться, как протокол доступа для большого числа баз данных EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 12 Структура данных LDAP Enabling Grids for E-sciencE ► Lightweight Directory Access Protocol: древовидная структура данных o = grid (корень DIT) ►DIT (Directory Information Tree) c= US c=Switzerland c=Spain ►Путь от узла к корню DIT определяет встроенное уникальное имя ( DN): st = Geneva “id=pml,ou=IT,or=CERN,st=Geneva,\ c=Switzerland,o=grid” or = CERN ou = IT objectClass:person cn: Patricia M. L. phone: 5555666 office: 28-r019 EGEE-II INFSO-RI-031688 id = pml ou = EP id=gv EGEE Tutorial for grid users 30.11.2007 id=fd 13 Недостатки LDAP Enabling Grids for E-sciencE LDAP не поддерживает агрегатные запросы на различные объекты • запрос основывается только на атрибутах объекта. • MDS не позволяет приложениям добавлять свои собственные данные • относительно статичное описание данных для публикации схема EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 14 R-GMA Enabling Grids for E-sciencE R-GMA: Relation Grid Monitoring Architecture Динамические данные о заданиях Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы – – – – Данные представляются в виде таблиц. Структура данных определяется по колонкам. Каждая запись есть строка (tuple). Язык запросов - Structured Query Language (SQL). Поддерживает различные типы запросов: – streams – archives – latest-value R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 15 Системы мониторинга Enabling Grids for E-sciencE http://rocmon.jinr.ru:8080/ Cистема учета использования ресурсов для LCG-сайтов РДИГ. Доступна статистика по: выполненным на сайтах задачам от различных виртуальных организаций затраченному процессорному времени средним значениям использованной физической памяти времени нахождения задач в очереди. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 16 Мониторинг РДИГ Enabling Grids for E-sciencE http://rocmon.jinr.ru:8080/ EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 17 Мониторинг Грид Enabling Grids for E-sciencE http://goc.grid.sinica.edu.tw/gstat/ Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее. Частота обновления информации – 5 минут EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 18 Грид операционный центр Enabling Grids for E-sciencE http://goc.grid.sinica.edu.tw/gstat/ EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 19 Мониторинг Грид Enabling Grids for E-sciencE http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html Java апплет, отображающий real-time прохождение задач в LCG EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 20 Real-time мониторинг Enabling Grids for E-sciencE http://gridportal.hep.ph.ic.ac.uk/rtm/applet.html EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 21 Enabling Grids for E-sciencE Спасибо за внимание EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30.11.2007 22
