C. Средства управления микроданными

Документирование и распространение
данных переписи населения и опроса
Липо Серво, ЭСКАТО ООН, Бангкок,
survo.unescap@un.org
для
Обучающего семинара ЕЭК ОНН по технологии
переписи для стран-членов СПЕКА, г. Астана, 7-8
июня 2007г.
Содержание
A. Систематическое документирование данных
переписи
B. Для чего нужно распространять
микроданные?
C. Средства управления микроданными
A. Систематическое документирование
данных переписи
Качественный набор данных переписи
является..
• Четко задокументированным
• Исключает возможность непредвиденных случаев
• Позволяет пользователю
– Быстро приступить к работе
– Найти необходимые данные
– Понять, что определяют данные и как они создаются
– Оценить качество данных
Развитие технологии документирования
• Наличие стандартов документирования =>
международные стандарты по метаданным
• Национальная практика =>лучшая
международная практика
• Специальные средства => средства
структурирования, базы данных
• Текстовые словари кодов => словари кодов XML
Содержание метаданных в центральной
базе данных
• Управление определениями, методологическая
информация, информация по переменным,
информация по сбору данных одновременно
• Обеспечивает согласованность хранилищ данных
• Эффективный подход к планированию, сбору
данных, обработке, анализу и распространению
Лучшие виды практики документирования
данных
• Пояснительный материал
– Требуется минимум материалов для обеспечения долгосрочной
устойчивости и функциональности набора данных
• Контекстуальная информация
– Материал о контексте, в рамках которого проводился сбор
данных, и об использовании данных
– Позволяет вторичному пользователю полностью понять
предпосылки и процессы сбора данных
• Материалы каталогизации
– Библиографический учет набора данных, для
соответствующего признания и ссылки
– Базовый инструмент, используемый для поиска ресурсов
• http://www.esds.ac.uk/news/goodPractice.pdf
B. Для чего нужно распространять
микроданные?
Неиспользованный потенциал микроданных для
национального развития
•
Даже самым тщательным образом спланированное
составление таблиц не могут извлечь всю исчерпывающую
информацию из данных переписи
•
Разнообразие, несоответствия и связанные причины
наилучшим образом анализируются при помощи
микроданных, н-р,
– Прослеживание влияния политических вмешательств на
целевые группы
– Определение масштабов несоответствий внутри страны
• Качество исследования способствует
=> увеличению результатов сбора данных
=> Более эффективной постановке национальной
политики
=> Более эффективному использованию общественных
ресурсов
Факторы, препятствующие распространению
данных
- Обсуждение
• Вопросы конфиденциальности данных
• Неясность или отсутствие национального
законодательства
• Ограниченные полномочия
статистического агентства
• Вопросы качества данных
• Низкий уровень использования данных
пользователями
Международные инициативы
• Марракешский план действий в области статистики,
http://www.surveynetwork.org/home/docs/Marrakech_Action_Pla
n_for_Statistics.pdf
• Международная сеть по обследованию домашних хозяйств,
http://www.surveynetwork.org/
• Средство управления микроданными IHSN
• ЭСКАТО-Всемирный банк-PARIS21 проект по улучшению
доступа к исследованию микроданных в Азии и Тихом
Океане
Проект ЭСКАТО по улучшению доступа к
исследованию микроданных в Азии и Тихом
Океане, 2007-2008гг.
• Обследование домашних хозяйств, перепись
населения и жилищного фонда, не обследование
предприятий
• Оценка состояния распространения микроданных
• Региональный реестр и архив данных по переписи
жилищного фонда
• Региональная защита и обучающие семинары
• Обучение на практике и техническая помощь по
документации и сохранению анонимности
C. Средства управления микроданными
Средства управления микроданными – Резюме
Набор средств программного обеспечения для
документирования, архивирования, распространения и
хранения микроданных
1. Редактор метаданных
– Данные документального обследования в
соответствии с международными стандартами
2. CD-Rom формирователь
– Создает информационные средства,
ориентированные на пользователя, такие как CD,
вебсайты для распространения и архивирования
данных
3. Проводник
– Для просмотра метаданных
– Для перевода данных в разные форматы
Загрузка и использование
• Пакет средств распространения можно закачать с
http://www.surveynetwork.org/home/?lvl1=tools&lvl2=
documentation&lvl3=toolkit
• Кроме редактора метаданных, все компоненты
пакета средств бесплатны
• Редактор Nesstar Editor: одна свободная лицензия
для БС всемирного Банка участников МАР (н-р,
Афганистан, Грузия, Республика Кыргызстан,
Молдова, Таджикистан)
Редактор метаданных
• Данные документального обследования в
соответствии с международными стандартами
• Инициатива документирования данных (ИДД)
• Дублинская инициатива по ключевым метаданным
(ДИКМ)
• Данные и метаданные в одном файле
• Данные могут импортироваться из разных
форматов, в т.ч. пакетов статистических данных
• Создает документацию обследования в
формате PDF
Расширяемый язык разметки (XML)
• Язык для описания данных с
использованием управляющих кодов
(тэгов)
• Концептуально тэги аналогичны полям
базы данных
• Файлы XML – это обычные текстовые
файлы
• Можно редактировать текстовыми
редакторами
• Файлы XML, как и базу данных, можно:
• Искать и запрашивать
• редактировать
• Обучающая программа:
http://w3schools.com/xml
Пример файла XML
<titl> многочисленный индикаторный кластер Опрос 2005 </titl>
<altTitl> MICS </altTitl>
<AuthEnty> Национального агентство по статистике (NSO) </AuthEnty>
<fundAg abbr= «ЮНИСЕФ">Детский фонд ООН </fundAg>
<collDate date= "2005-01" event="start"/>
<collDate date= "2005-03" event="end"/>
<nation> Popstan </nation>
<geogCover> национальный </geogCover>
<sampProc> 5,000 домохозяйств, два многослойных этапа
</sampProc>
<respRate> 98 процентов </respRate>
Преимущества XML
• Создание исчерпывающего контрольного списка
элементов метаданных
• Возможность использования содержимого файла
путем определения присутствия или отсутствия
специальных тэгов в файле
• Создание каталога базы данных, где можно
запрашивать элементы ключевых метаданных
• Возможность трансформировать файл в формат,
более ориентированный на пользователя, такой
как HTML, PDF
• Файлами XML можно обмениваться в сети или
Интернете при помощи веб-услуг или протокола SOAP
CD-ROM формирователь
• Интегрируется с редактором метаданных
• Создает средства, ориентированные на
пользователя (CD-Rom, вебсайт) для
распространения и архивирования данных
(формат HTML)
• Позволяет изготовление по заказу
– Брэндинг: внешний вид и качества CD или вебсайта
– Содержание: единое или многочисленные обследования
Процесс работы CD-ROM формирователя
1
Создать новый проект CD-ROM
2
3
Добавить обзор в проект и
выбрать его тип и брэндинг
Нажать клавишу Save для
создания интерфейса HTML
4
• Выбор
составляющего
обзора путем
открытия файла DDIXML или Nesstar
•Брэндинг обзора
определяет внешний
вид и качество CD
•Тип обзора
определяет
содержание
метаданных по
умолчанию
Через несколько минут, Ваш
проект CD готов к публикации!
Пример вывода данных CD-ROM формирователем
Демонстрация редактора метаданных
Оперативный показ с набором данных Popstan, на
экране на английском и русском языках
Спасибо!
Обсуждение, вопросы, ответы