gLite DMS
реклама
Enabling Grids for E-sciencE
Система управления данными в
gLite
Олешко С.Б.
Петербургский институт ядерной физики
г.Гатчина
www.eu-egee.org
EGEE-II INFSO-RI-031688
Сервисы gLite
Enabling Grids for E-sciencE
CLI
Available
gLite
Implementation
API
Access
Information &
Monitoring
Authorization
Application
Monitoring
Auditing
Service
Discovery
Authentication
Security Services
Metadata
Catalog
File & Replica
Catalog
Storage
Element
Data
Movement
Accounting
Job
Provenance
Package
Manager
Connectivity
Computing
Element
Workload
Management
Data Management
EGEE-II INFSO-RI-031688
Information &
Monitoring Services
Workload Mgmt Services
2
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
3
Свойства и требования
Enabling Grids for E-sciencE
• Гетерогенность
– Данные хранятся на различных
устройствах (диски, ленты),
использующих различные методы
доступа
• Распределенность
– Данные хранятся на различных сайтах,
где отсутствует общая разделяемая
файловая система
– Данные могут перемещаться между
различными сайтами
– Необходим общий интерфейс к
устройствам
Storage Resource Manager
(SRM)
– Необходим способ определения
местоположения файлов
File and Replica Catalogs
– Необходима управляемая,
надежная передача файлов
File transfer and placement
services
• Различные административные
домены
– Данные хранятся там, куда обычный
доступ вам запрещен
EGEE-II INFSO-RI-031688
– Необходима общая модель
безопасности
Реализация контроля доступа
(ACL), основанного на
применении Grid DNs
4
Введение
Enabling Grids for E-sciencE
• Предпосылки:
– пользователи и программы являются источником и
потребителем данных
– основным экземпляром данных принят файл (мы работаем с
файлами, а не с объектами или реляционными таблицами
данные = файлы
• Файлы:
– в основном записываются один раз, читаются многократно
– размещены на Элементах Хранения - Storage Elements (SEs)
– могут существовать несколько реплик одного файла на различных
сайтах
– доступны для пользователей Грид “отовсюду”
– местоположение м.б. определено WMS (data requirements в JDL)
• Также…
– WMS может пересылать небольшой объём данных с заданием или
от выполненного задания: Input and Output Sandbox
– файлы могут копироваться с локальной файловой системы (WNs,
UIs) в Грид (SEs), и наоборот
EGEE-II INFSO-RI-031688
5
Сервисы DMS
Enabling Grids for E-sciencE
• Storage Element – общий интерфейс к ресурсам памяти
– Storage Resource Manager
– Native Access protocols
– Transfer protocols
Castor, dCache, DPM, …
rfio, dcap
gsiftp
• I/O Servers – обеспечивает POSIX I/O для пользователя gLite-I/O
• Catalogs – определение местоположения файлов
–
–
–
–
File Catalog
Replica Catalog
File Authorization Service
Metadata Catalog
LCG File Catalog (LFC)
AMGA Metadata Catalog
• File Transfer – управляемая надёжная передача файлов
– Data Scheduler
– File Transfer Service
(в разработке)
gLite FTS
(обеспечивает физическую передачу)
– File Placement Service
gLite FPS
(взаимодействие FTS и каталогов
способом транзакций)
EGEE-II INFSO-RI-031688
6
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
7
Требования к gLite SE
Enabling Grids for E-sciencE
• Storage Element - это сервис, который позволяет
пользователю или приложению сохранять данные для
будущего использование
• Управление локальными ресурсами памяти (диски) и
интерфейс к Mass Storage Systems (ленты), таким как
– HPSS, CASTOR, DiskeXtender (UNITREE), …
• Способность управлять различными системами хранения
данных единым способом и прозрачно для пользователя
(обеспечивается через SRM интерфейс)
• Поддержка основных протоколов передачи данных
– GridFTP обязательно
– Другие по возможности (https, ftp, etc…)
• Поддержка “привычного” протокола доступа для
ввода/вывода удалённых файлов
– POSIX (like) I/O client library for direct access of data (GFAL)
EGEE-II INFSO-RI-031688
8
Пример из жизни
Enabling Grids for E-sciencE
Она запускает задачу, которой нужны:
•данные реконструкции физического события
•данные симуляции
В CERN
на dCache
•некоторые файлы с данными анализа
Результаты также должны быть где-то
сохранены
В Nikhef
на classic SE
EGEE-II INFSO-RI-031688
В Fermilab
на дисковом массиве
9
Пример из жизни
Enabling Grids for E-sciencE
dCache
gLite DPM
Система, независимая
ни от dCache ни от Castor
Castor
SRM
Собственная система, свой
протокол и параметры
Я общаюсь с ними от
Как
вашего имени
пользователь,
Я буду
выделять место
для ваших
файлов
вы должны
И я знать
буду использовать
все эти
протоколы передачи
системы!!!
данных, чтобы
пересылать ваши
файлы туда
Нет связи с
dCache или classic SE
EGEE-II INFSO-RI-031688
10
Storage Resource Management
Enabling Grids for E-sciencE
•
Данные хранятся на disk pool servers или Mass Storage Systems
•
Управление этими ресурсами должно обеспечивать:
– Прозрачный доступ к файлам (migration to/from disk pool)
– Выделение места для файлов (Space reservation)
– Получение информации о статусе файлов (File status notification)
– Управление временем жизни файлов (Life time management)
• SRM (Storage Resource Manager) сервис реализует все эти требования:
– SRM это Грид сервис, который реализует взаимодействие с локальными
ресурсами хранения данных и обеспечивает Грид-интерфейс для
внешнего мира
– SRM – это протокол управления ресурсами хранения данных, а не
протокол доступа к файлам или протокол передачи файлов.
•
SRM разработан, чтобы служить единым интерфейсом для
управления дисковыми (или ленточными) ресурсами.
•
В gLite взаимодействие с SRM обычно скрыто за сервисами более
высокого уровня (DM tools и APIs)
EGEE-II INFSO-RI-031688
11
Поддерживаемые протоколы
Enabling Grids for E-sciencE
Протоколы доступа к файлам в gLite SE 3.0:
Протокол
Тип
GSI
Описание
GSIFTP(GridFTP)
Передача файлов
Да
Аналог FTP
gsidcap (GSI dCache
Access Protocol)
Ввод/вывод
Да
Удалённый доступ
insecure RFIO (Remote
File Input/Output Protocol)
Ввод/вывод
Нет
Удалённый доступ
secured RFIO (gsirfio)
Ввод/вывод
Да
Удалённый доступ
* Протокол file сейчас используется только для доступа к файлам на
локальном компьютере (т.е. на UI или WN), но не к файлам на Грид SE
** GridFTP сейчас является обязательным для каждого из типов SE,
поддерживаемых в gLite и основным для передачи файлов в Грид.
EGEE-II INFSO-RI-031688
12
Типы SE в gLite (I)
Enabling Grids for E-sciencE
• Classic SE:
–GridFTP сервер
–Insecure RFIO daemon (rfiod) – ограниченный доступ для LAN
–Только одно дисковое устройство или дисковый массив
–Нет возможности управлять квотами (только partitioning)
–Не поддерживает SRM интерфейс
• Mass Storage Systems
–Комплексная иерархическая система хранения: front-end диски
и back-end ленты
–GridFTP для front-end (file transfere)
–File access: insecure RFIO (CASTOR), gsidcap для dCache
(front-end disk pool)
–Поддерживает SRM интерфейс (пока только для Castor)
EGEE-II INFSO-RI-031688
13
Типы SE в gLite (II)
Enabling Grids for E-sciencE
• Disk pool managers (dCache and gLite DPM)
–Обеспечивает централизованное управление
распределёнными серверами хранения данных
–Физические диски и массивы объединены в общую
(виртуальную) иерархическую файловую систему с единой
точкой входа в SE
–Диски могут быть динамически добавлены в пул
–GridFTP сервер
–Secure remote access protocols (gsidcap for dCache, gsirfio for
DPM)
–SRM интерфейс
EGEE-II INFSO-RI-031688
14
gLite Storage Element
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
15
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
16
Именование файлов
Enabling Grids for E-sciencE
•
•
Symbolic Link в пространстве логических имён (logical filename space)
Logical File Name (LFN)
[lfn:<anything_you_want>]
– Имя, созданное пользователем для того чтобы ссылаться на некоторый элемент
данных, напр. “lfn:cms/20030203/run2/track1”
•
Globally Unique Identifier (GUID)
[guid:<40_bytes_unique_string>]
– Внутренний (машинный) идентификатор элемента данных, напр.
“guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”
•
Site URL (SURL)
[<sfn | srm>://<SE_hostname>/<some_string>]
(or Physical File Name (PFN) or Site FN)
– Физическое местоположение реплики элемента данных в системе хранения данных,
напр. “srm://pcrd24.cern.ch/flatfiles/cms/output10_1”
(SRM)
“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” (Classic SE)
•
Transport URL (TURL)
[<protocol>://<some_string>]
– Временный указатель на реплику + протокол доступа: распознаётся SE, напр.
“rfio://lxshare0209.cern.ch//data/alice/ntuples.dat”
Symbolic Link 1
.
.
Symbolic Link n
File and Replica Catalog
EGEE-II INFSO-RI-031688
LFN
GUID
Physical File SURL 1
TURL 1
.
.
.
.
Physical File SURL n
TURL n
SRM
17
Взаимодействие с SRM
Enabling Grids for E-sciencE
4
Клиент
1
5
SRM
2
3
Ресурс
1. Клиент запрашивает SRM файл с указанным SURL (Site URL)
2. SRM запрашивает ресурс, где находится файл
3. Ресурс сообщает о доступности файла и его расположении
4. SRM возвращает TURL (Transfer URL), т.е. место, откуда может быть
получен файл
5. Клиент взаимодействует с ресурсом, используя протокол, определённый в
TURL
EGEE-II INFSO-RI-031688
18
Каталоги (File and Replica
Catalog)
Enabling Grids for E-sciencE
• Главная цель - определить, где размещены файлы в Grid
• File and Replica Catalog - это сервис, который реализует это и
поддерживает соответствие между LFNs, GUIDs и SURLs.
• В gLite поддерживаются 2 типа каталогов:
– Replica Location Server (RLS) - старый
Local Replica Catalog (LRC)
Replica Metadata Catalog (RMC)
– LCG File Catalog (LFC) – по умолчанию
• Тип используемого пользователем каталога определяется
переменной окружения LCG_CATALOG_TYPE: edg для RLS, lfc
для LFC
• Оба каталога между собой несовместимы!!! Однако есть
средства миграции из RLS в LFC
• Файл данных только тогда может считаться Грид-файлом,
когда он физически присутствует на каком-либо SE и
зарегистрирован в каталоге
EGEE-II INFSO-RI-031688
19
Свойства LFC
Enabling Grids for E-sciencE
•
•
•
•
•
•
•
•
•
•
Поддержка курсоров для
больших запросов
Таймауты и повтор запросов
от пользователя
Транзакции с использованием
API
Иерархическое пространство
имён
Единый каталог, где LFN –
основной ключ
Интегрированная GSI
авторизация и аутентификация
Поддержка ACL
Интеграция с VOMS
Поддержка системных
метаданных (размер файла,
дата создания,…) + поле для
пользовательских метаданных
База данных: Oracle или
MySQL
EGEE-II INFSO-RI-031688
File
Catalog
SE
SE
gLite
UI
SE
20
Взаимосвязи в LFC
Enabling Grids for E-sciencE
System Metadata
User defined string
“size” => 10234
“cksum_type” => “MD5”
“cksum” => “yy-yy-yy”
LFN
GUID
/grid/dteam/dir1/dir2/file1.root
Xxxxxx-xxxx-xxx-xxx-
User metadata
Symlink
Symlink
Symlink
/grid/dteam/mydir/mylink
/grid/dteam/mydir/mylink
/grid/dteam/mydir/mylink
EGEE-II INFSO-RI-031688
Replica
Replica
Replica
srm://host.example.com/foo/bar
Replica
srm://host.example.com/foo/bar
host.example.com
srm://host.example.com/foo/bar
host.example.com
srm://host.example.com/foo/bar
host.example.com
host.example.com
21
Структура LFC
Enabling Grids for E-sciencE
LFC имеет иерархическую структуру
/grid/<VO_name>/ <you create it>
LFC Namespace
Defined by the user
• Все члены данной ВО имеют права чтения/записи в
соответствующую директорию
• Если соответствующей директории нет, то это означает, что
данный LFC сервер не поддерживает эту ВО
• Команды работы с LFC похожи на соответствующие команды
в UNIX (с префиксом lfc-)
• Переменная окружения $LFC_HOST должна содержать имя
LFC сервера
EGEE-II INFSO-RI-031688
22
Команды LFC
Enabling Grids for E-sciencE
lfc-chmod
Изменить права доступа к файлу/директории LFC
lfc-chown
Изменить владельца и группу для файла/директории LFC
lfc-delcomment
Удалить комментарии, связанные с файлом/директорией
lfc-getacl
Показать ACL для файла/директории
lfc-ln
Создать символическую ссылку на файл/директорию
lfc-ls
Вывести список файлов в директории
lfc-mkdir
Создать директорию
lfc-rename
Переименовать файл/директорию
lfc-rm
Удалить файл/директорию
lfc-setacl
Установить/изменить ACL для файла/директории
lfc-setcomment
Добавить/заменить комментарий
EGEE-II INFSO-RI-031688
23
Средства работы с данными
Enabling Grids for E-sciencE
• LCG Data Management tools (обычно называемые lcg-utils)
позволяют копировать файлы между UI, CE, WN и SE,
регистрировать в File Catalogs и реплицировать данные
между SEs.
• Поскольку lcg-utils используют ИС, то должна быть
правильно установлена переменная окружения
LCG_GFAL_INFOSYS, которая указывает на BDII сервер
• Почти все команды требуют обязательного параметра (если
не установлена переменная LCG_GFAL_VO)
--vo <vo_name>
EGEE-II INFSO-RI-031688
24
lcg-utils
Enabling Grids for E-sciencE
Replica Management
lcg-cp
Копировать файл из Грид на локальный компьютер (UI)
lcg-cr
Копировать файл на SE и зарегистрировать его в каталоге
lcg-del
Удалить один файл (или реплику, или все реплики)
lcg-rep
Репликация между SE и регистрация реплики
lcg-gt
Получить TURL для данных SURL и протокола передачи
lcg-sd
Установить статус “Done” для данного SURL в SRM запросе
File Catalog Interaction
lcg-aa
Добавить синоним в LFC для данного GUID
lcg-ra
Удалить синоним в LFC для данного GUID
lcg-rf
Зарегистрировать в LFC файл, размещённый на SE
lcg-uf
Удалить регистрацию в LFC файла, размещённого на SE
lcg-la
Список всех синонимов для данного SURL, GUID или LFN
lcg-lg
Получить GUID для данного LFN или SURL
lcg-lr
Список всех реплик для данного GUID, SURL или LFN
EGEE-II INFSO-RI-031688
25
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
26
Базовые понятия FTS
Enabling Grids for E-sciencE
• Задание (Job) – состоит из множества файлов, которые
должны быть переданы от источника к получателю (могут
иметь дополнительные параметры для GridFTP) +
информация о user proxy
• Файл (File) – ссылка на пару физических имён
источник/получатель в формате SURL или GridFTP (для
globus-url-copy)
• Статус файла (File State)– состояние процесса передачи
отдельного файла
• Статус задания (Job State) – общее состояние процесса
передачи, как функция всех статусов файлов, составляющих
задание
• Канал (Channel) – однонаправленное соединение между двумя
сайтами для передачи файлов. Различают 2 типа каналов:
– production (dedicated network pipe) – обычно между Tier-0, Tier-1 и
основными Tier-2 центрами
– nonproduction (open network) – не обеспечивают production QoS
EGEE-II INFSO-RI-031688
27
Job states
Enabling Grids for E-sciencE
•Submitted – задание послано FTS, но
ему ещё не назначен канал
•Pending – канал назначен и файлы
задания ожидают передачи
•Active – идёт передача некоторых
файлов задания
•Canceling – задание назначено на
аварийное завершение
•Done – все файлы задания
переданы успешно
•Failed – передача некоторых файлов
задания завершилась неудачно
•Canceled – задание снято
•Hold – требуется вмешательство, т.к.
состояние некоторых файлов не
может быть разрешено
автоматически (напр.: много
повторов передачи)
EGEE-II INFSO-RI-031688
28
Основы GridFTP
Enabling Grids for E-sciencE
• Протокол доступа и передачи данных для безопасного и
эффективного перемещения данных
• Стандартизован Global Grid Forum
• Расширяет стандартный FTP протокол
– поддержка Grid Security Infrastructure (GSI) на базе технологии
“шифрования открытым ключом” или Kerberos
- управление передачей данных для внешних программ (third-party
control of data transfer)
- параллельная передача данных
- чередование передачи данных (striped data transfer)
- частичная передача данных (partial file transfer)
- автоматическое согласование размера буфера/окна TCP
- поддержка надёжной и возобновляемой (reliable and restartable)
передачи данных
- встроенные средства для мониторинга выполнения процесса
передачи
EGEE-II INFSO-RI-031688
29
GridFTP - реализация
Enabling Grids for E-sciencE
• GridFTP – это основа большинства систем передачи файлов
• Функция повторения операции ограничена
– Повтор только в случае проблем с сетью; нет возможности
восстановления передачи в случае отказа сервера GridFTP
• GridFTP управляет одновременно только одной передачей
– Нет возможности оптимизации групповой передачи
– Нет возможности диспетчеризации параллельных передач
• Необходима служба верхнего над GridFTP уровня, которая
обеспечит надёжную диспетчеризируемую передачу файлов
– FTS/FPS
– Globus RFT (layer on top of single gridftp server)
– Condor Stork
EGEE-II INFSO-RI-031688
30
Передача данных
(непосредственный контроль)
Enabling Grids for E-sciencE
Client
Source Storage
Element
Data Flow
Channel
Control
Channels
Destination Storage
Element
• Хотя транспортный протокол может быть надёжным,
информация о статусе находится у клиента – это неудобно и
ненадёжно (уязвимо)
• Клиент может знать только состояние отдельного задания, не
имея представления об общем состоянии передачи данных
между SEs.
– SE может переполниться запросами на репликацию
– Может быть несколько репликаций одних и тех же данных одновременно
– Отдельный сайт очень слабо может управлять балансом (оптимизацией)
сетевых ресурсов
EGEE-II INFSO-RI-031688
31
Передача данных (сервис
передачи)
Enabling Grids for E-sciencE
• Использование сервиса для
передачи данных
– клиент соединяется с сервисом,
выдавая запрос на передачу
– сервис контролирует состояние
передачи
– клиент периодически возобновляет
соединение, получает информацию
о статусе или отменяет задание
– сервис имеет информацию об
общей картине, а не только об
отдельном задании
балансировка загрузки
диспетчеризация заданий
EGEE-II INFSO-RI-031688
•Submit new request
•Monitor progress
•Cancel request
Client
SOAP via https
Transfer
Service
Source
Storage
Element
Data
Flow
Control
Destination
Storage
Element
32
Архитектура gLite FTS/FPS
Enabling Grids for E-sciencE
• File Transfer/Placement Service (FTS,FPS)
– База данных заданий на передачу файлов
(Job DB)
– Предоставляет Transfer Web Service
интерфейс для клиента (submit, cancel, status)
– Имеет Web Interface
– Mодифицирует Catalog если необходимо
Web Monitor
FTS/FPS
WebService
Job DB
• Transfer Agent
– Основные действия
Получает задания из Transfer Job Database
Управляет передачей через множество каналов
Moниторирует статус и модифицирует Transfer
Job Database
Transfer Agent
Actions
• Transfer Service (glite-url-copy)
– Фактически выполняет передачу: SRM – SRM, Channel
glite-url-copy
gsiftp – SRM, gsiftp – gsiftp
glite-url-copy
– Moниторирование
Channel
glite-url-copy
glite-url-copy
EGEE-II INFSO-RI-031688
glite-url-copy
glite-url-copy
33
Передача данных в gLite FTS
(итоги)
Enabling Grids for E-sciencE
• Передача файлов асинхронная
• Понятие канала, как однонаправленного соединения между
сайтами
• Задание может включать передачу нескольких файлов, но все
они должны использовать один и тот же канал
• Пользователь может запрашивать состояние задания через
JobID
• За передачу физических файлов отвечает FTS,
регистрацией/поиском в каталогах занимается FPS (File
Placement Service)
• ВО, использующие канал для передачи файлов, могут вводить
свои собственные правила для диспетчеризации заданий
(напр. задания профессора более приоритетные, чем задания
студента)
EGEE-II INFSO-RI-031688
34
Команды gLite FTS
Enabling Grids for E-sciencE
Для пользователя
• glite-transfer-submit - Запуск нового задания на передачу данных.
Возвращается JobID.
• glite-transfer-cancel - Аварийно завершить задание
• glite-transfer-list - Получить список всех заданий с указанным
статусом
• glite-transfer-status - Получить статус данного задания
Для администратора
• glite-transfer-channel-add - Создать новый канал передачи
• glite-transfer-channel-drop - Удалить канал передачи
• glite-transfer-channel-list - Получить список всех доступных
каналов
• glite-transfer-channel-set - Изменить параметры канала
• glite-transfer-channel-signal - Изменить статус задания(всех
заданий для данного канала). Используется для разрешения
ситуации со статусом “Hold”
EGEE-II INFSO-RI-031688
35
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
36
Свойства GFAL API
Enabling Grids for E-sciencE
• GFAL (Grid File Access Library) – это API, имеющий POSIX
интерфейс для операций с файлами, расположенными на SE
• Позволяет удалённую работу с файлами (особенно полезно,
если нужен доступ к части очень большого файла)
• Библиотеки на C и могут быть включены в программы на
C/C++
• Есть Java API
• SE должен поддерживать протокол secure rfio (поэтому для
classic SEs использовать нельзя)
• Скрывает взаимодействие с SRM для пользователя
EGEE-II INFSO-RI-031688
37
Data Management API
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
38
GFAL: переменные окружения
Enabling Grids for E-sciencE
• Для некоторых функций GFAL необходимо
взаимодействие с каталогом, а он ВО-зависим,
поэтому должны быть установлены следующие
переменные окружения:
–
–
–
–
LCG_GFAL_VO
LCG_GFAL_INFOSYS
LCG_CATALOG_TYPE
LFC_HOST
• Кроме того:
– LCG_RFIO_TYPE
– LD_LIBRARY_PATH
EGEE-II INFSO-RI-031688
39
GFAL: доступные API
Enabling Grids for E-sciencE
• C API
– Файл заголовков gfal_api.h.
– Вызов функции – добавление префикса gfal_ к POSIX имени
функции (open(), read()…), например gfal_open, gfal_read,...
– Список аргументов и возвращаемые значения – идентичны
POSIX.
– Переменная errno устанавливается в соответствии с Posix
Error Codes в случае ошибки.
• Java API (C API Wrapper)
– Поддерживает три основных Java Objects, которые должны
быть импортированы в Java-программу.
GFalFile : обработка и чтение/запись в файлы
GFalDirectory : обработка и управление директориями
(создание, удаление, список)
GFalUtilities : управление файлами (переименование, удаление,
свойства)
EGEE-II INFSO-RI-031688
40
GFAL: функции I/O API (1)
Enabling Grids for E-sciencE
int gfal_access (const char *path, int amode);
int gfal_chmod (const char *path, mode_t mode);
int gfal_close (int fd);
int gfal_creat (const char *filename, mode_t mode);
off_t gfal_lseek (int fd, off_t offset, int whence);
int gfal_open (const char * filename, int flags, mode_t mode);
ssize_t gfal_read (int fd, void *buf, size_t size);
int gfal_rename (const char *old_name, const char *new_name);
ssize_t gfal_setfilchg (int, const void *, size_t);
int gfal_stat (const char *filename, struct stat *statbuf);
int gfal_unlink (const char *filename);
ssize_t gfal_write (int fd, const void *buf, size_t size);
EGEE-II INFSO-RI-031688
41
GFAL: функции I/O API (2)
Enabling Grids for E-sciencE
int gfal_closedir (DIR *dirp);
int gfal_mkdir (const char *dirname, mode_t mode);
DIR *gfal_opendir (const char *dirname);
struct dirent *gfal_readdir (DIR *dirp);
int gfal_rmdir (const char *dirname);
EGEE-II INFSO-RI-031688
42
Пример выполнения gfal_open
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
43
Ссылки
Enabling Grids for E-sciencE
• Examples in gLite3 User Guide (Appendix F)
– https://edms.cern.ch/file/722398//gLite-3-UserGuide.pdf
• GFAL C API Description:
– http://grid-deployment.web.cern.ch/griddeployment/documentation/LFC_DPM/gfal/html/
• GFAL JAVA API
– https://grid.ct.infn.it/twiki/bin/view/GILDA/APIGFAL
• GFAL Java API code and libraries:
– https://grid.ct.infn.it/twiki/pub/GILDA/APIGFAL/GFAL_Java_API.zip
• On-line JavaDoc of Java API:
– https://grid.ct.infn.it/twiki/GFAL/
• GFAL Excercises (C/Java):
– https://grid.ct.infn.it/twiki/bin/view/GILDA/UsingGFAL
EGEE-II INFSO-RI-031688
44
Enabling Grids for E-sciencE
• Задачи Системы Управления Данными (DMS)
• Storage Element (SE) и SRM
• File Catalogs и DM tools
• Перемещение данных (File Transfer Service)
• gLite I/O API
• JDL атрибуты для работы с данными
EGEE-II INFSO-RI-031688
45
Sandboxes
Enabling Grids for E-sciencE
• InputSandbox – файл (список файлов) на локальном диске UI,
которые будут переданы через узел WMS на WN при запуске
задания. Все имена файлов должны быть различны (даже если
они в разных директориях).
• OutputSandbox – файл (список файлов), которые в результате
выполнения задания создаются на узле WMS и могут быть
переданы на UI при помощи команды glite-job-output (edg-job-getoutput).
Эти файлы не могут быть на SE, т.е. нельзя использовать
LFN(Logical File Name). Существует ограничение на размеры файлов
для Sandboxes, т.е. файлы должны быть небольшого размера
(ориентировочно < 100Mb).
EGEE-II INFSO-RI-031688
46
InputData(deprecated)
Enabling Grids for E-sciencE
• InputData – строка (список строк), представляющие в одном из
допустимых форматов (LFN, GUID, ..) имена входных файлов.
Они используются WMS только для получения PFN (Physical
File Name), по которым затем WMS на этапе matchmaking
сможет определить CE, имеющий максимальное количество
физических файлов (реплик) на ближайшем SE (CloseSE). В
зависимости от префикса имени файла будет выбираться тип
каталога для определения PFN (RLS, StorageIndex, DLI). По
умолчанию для lfn: и guid: используется RLS.
• StorageIndex – URL сервиса gLite Storage Index. Если указан, то
для определения PFN файлов с lfn: и guid будет
использоваться этот каталог.
• DataCatalog - URL сервиса LCG Data Location Interface. Если
указан, то для определения PFN файлов с lfn: и guid будет
использоваться этот каталог.
EGEE-II INFSO-RI-031688
47
InputData (пример)
Enabling Grids for E-sciencE
InputData = {
"lfn:/mydata/file1",
"lfn:/mydata/file2",
"guid:135b7b23-4a6a-11d7-87e7-9d101f8c8b70"
};
// Do not need to specify this attribute if you want to use the VO
// default StorageIndex catalog
StorageIndex =
"http://lxb1434.cern.ch:8080/EGEE/glite-data-/FiremanCatalog";
EGEE-II INFSO-RI-031688
48
DataRequirements
Enabling Grids for E-sciencE
DataRequirements - более гибкая форма задания атрибутов для
требований на входные файлы. Состоит из групп, в каждой из
которых могут быть указаны 3 атрибута:
• InputData - строка (список строк), представляющие в одном из
допустимых форматов (LFN, GUID, ..) имена входных файлов.
• DataCatalogType – тип каталога, который будет использоваться
для данной группы
RLS - LCG Replica Location Service
SI – gLite Storage Index
DLI - LCG Data Location Interface
• DataCatalog - URL сервиса каталога (может определятся, если
он отличается от каталога по умолчанию для ВО)
EGEE-II INFSO-RI-031688
49
DataRequirements (пример)
Enabling Grids for E-sciencE
DataRequirements = {
[
DataCatalogType = "DLI";
DataCatalog = "https://cms.org:8877/dli";
InputData = {"lfn:/my/test.data1",
"guid:44rr44rr77hh77kkaa3”};
],
[
DataCatalogType = "SI";
DataCatalog = "https://glite.org:9443/StorageIndex";
InputData = {"lfn:/eo/test.file", "guid:ddffrg5451"};
],
[
DataCatalogType = "RLS";
DataCatalog = "https://eu-datagrid.org/RLS";
InputData = {"lfn:/atlas/test.file", "guid:ggrgrg5656"};
],
[
DataCatalogType = "RLS";
InputData = {"lfn:/myvo/test.file","guid:adbdefgilm1234"};
],
....
};
EGEE-II INFSO-RI-031688
50
DataAccessProtocol
Enabling Grids for E-sciencE
Если определён атрибут InputData либо DataRequirements, то
должен быть указан атрибут DataAccessProtocol, который
определяет список имён протоколов, которые приложение
может использовать для доступа к файлам.
DataAccessProtocol = {
“file”,
“gridftp”
};
EGEE-II INFSO-RI-031688
51
OutputSE
Enabling Grids for E-sciencE
• OutputSE – представляет URL того SE, где пользователь хочет
сохранять выходные файлы. Используется RB для
определения CE, “ближайшего”(close) к данному SE.
Следует использовать осторожно, т.к. разные брокеры поразному интерпретируют присутствие этого атрибута.
Например LCG RB аварийно завершает задачу, если нет CE,
определённого, как “ближайший” для OutputSE.
EGEE-II INFSO-RI-031688
52
OutputData
Enabling Grids for E-sciencE
• Пока не реализовано в gLite 3.0
• Позволяет пользователю автоматически пересылать на SE и
регистрировать в каталоге выходные файлы задания.
• Для каждого файла могут быть определены 3 атрибута:
• OutputFile (обязательный) – имя выходного файла
• StorageElement (необязательный) – SE, где должен быть сохранён
файл
• LogicalFileName (необязательный) – LFN, под который должен быть
зарегестрирован файл в каталоге
EGEE-II INFSO-RI-031688
53
OutputData (пример)
Enabling Grids for E-sciencE
OutputData = {
[
OutputFile = "dataset_1.out ";
LogicalFileName = "lfn:/test/result1";
],
[
OutputFile = "dataset_2.out ";
StorageElement = "se001.cnaf.infn.it";
],
]
OutputFile = "cms/dataset_3.out";
StorageElement = "se012.to.infn.it";
LogicalFileName = "lfn:/cms/outfile1";
],
[
OutputFile = "dataset_4.out ";
]
};
EGEE-II INFSO-RI-031688
54
