1 А.Ю. Афонин, М.И. Нежурина Анализ ресурсов зарубежных образовательных порталов и формирование предложений по оценке их качества Аннотация В статье образовательных рассматриваются порталов (ИОП) вопросы и анализа информационных образовательных интернет-ресурсов. Приводятся базовые положения предлагаемой методики анализа ИОП, основные критерии оценки и направления исследования. Авторы приводят результаты исследования зарубежных ИОП и интернет-ресурсов (распределение ресурсов по предметным областям, по уровням образования, по типам материалов, по технологии предоставления материалов и т.д.). Сделаны выводы о направлениях развития методики анализа ИОП и использовании результатов исследований для гармонизации ИОП и повышения их качества. 1. Методика проведения анализа образовательных порталов В последнее время все больше внимания при проектировании, создании и сопровождении информационных образовательных порталов уделяется вопросам, связанным с обеспечением качества. понятие Современное качества информационных образовательных порталов определяется совокупностью большого числа объективных и субъективных факторов. Для предупреждения влияния случайных и субъективных факторов на уровень качества необходим системный подход не только к основным процессам жизненного цикла информационного образовательного портала (маркетинг, проектирование, разработка, сопровождение и т.д.), но и к процессам и процедурам мониторинга и оценки качества. Адекватная образовательных и эффективная порталов становится оценка все качества более информационных актуальной исследовательской задачей на современном этапе. Решение этой задачи предполагает реализацию целого ряда этапов: научно- 2 • Методологическое осмысление путей решения поставленной задачи по анализу зарубежных образовательных образовательных порталах и ресурсов предложение на информационных некоторой универсальной предмет исследования, методики исследования; • Обзор ресурсов и создание выборки на формулирование основных критериев оценки содержания порталов; • Анализ выбранных ресурсов по предложенным в методике критериям, выработана методика проведения анализа; • Систематизация и обобщение выбранных ресурсов, построение схем, диаграмм, сравнительных таблиц; • Выработка рекомендаций по дальнейшей реализации проектов построения системы информационно-образовательных порталов. 1.1. Основные положения методики исследования портальных ресурсов Рекомендации по разработке универсальной методики проведения анализа образовательных порталов с целью оценки качества предполагают использование трех составляющих: а) объективная информация, сбор и анализ которой, может осуществляться в автоматическом режиме: посещаемость отдельных страниц портала, навигация посетителей портала по информационным разделам, индекс популярности отдельных ресурсов и т.п., б) субъективная информация, полученная в результате экспертных оценок: удобство навигации, скорость загрузки, восприятие цветовой гаммы портала и т.п. в) объективная и субъективная информация, характеризующая содержательную составляющую портала и возможности работы с ней, то есть оценка пользовательских предпочтений. 1.2. Создание выборки образовательных порталов и интернет-ресурсов для проведения дальнейшего анализа (оптимальное число исследуемых ресурсов - 20-25) 3 При составлении выборки необходимо учитывать: • географические аспекты (наличие ресурсов из разных географических территорий); • наличие ресурсов государственных, коммерческих и общественных (некоммерческих) организаций; • наличие среди исследуемых ресурсов международных образовательных порталов и каталогов; • наличие среди исследуемых ресурсов образовательных порталов ведущих учебных заведений (как регионального, так и федерального или государственного масштаба). Для практической реализации предлагаемых методических решений был проведен анализ некоторых зарубежных информационных образовательных порталов и ресурсов (“The Gateway to Educational Materials”, The International Distance Learning Course Finder, «MERLOT» – Multimedia Education Resource for Learning and On-line Teaching, “The World Lecture Hall” и других). При анализе данных этих порталов основное внимание уделялось контенту, т.е. содержательной составляющей. По результатам анализа каждый ресурс (портал) был охарактеризован с помощью следующих основных критериев: - Краткая характеристика ресурса (название ресурса, тип ресурса, краткое описание, год создания, организации-учредители); - Наличие системы персонификации и авторизации (возможные типы пользователей, регистрационные поля); - Распределение ресурсов по категориям (гуманитарные науки, технические и прикладные науки, фундаментальные исследования и т.д.) и предметным областям или предметам (математика, физика, международное право и т.д.); - Соотношение ресурсов для различных уровней образования (наличие классификатора ресурсов по уровням образования: начальное образование, среднее образование, среднее специальное образование, высшее образование, дополнительное образование, а также процентное соотношение ресурсов по каждому уровню образования); - Соотношение ресурсов по типам материалов (основные типы ресурсов: onlineкурс, учебный план, тест, кейс, руководство, учебная программа, практикум, 4 статья, мультимедиа-фрагмент и т.д., а также процентное соотношение материалов по каждому типу); - Соотношение платных, частично-платных и бесплатных ресурсов, а также условия получения доступа к платным ресурсам; - Наличие дополнительных функций и сервисов в структуре информационного образовательного портала (перечень сервисов, соотношение сервисов и типов пользователей); - Характеристика встроенных методов поиска и организации поисковых запросов, рубрикация информации; - Дополнительная информация. Численные значения отдельных характеристик исследованных порталов (таких как, количество ресурсов, распределение ресурсов) определялись путем создания соответствующих запросов в поисковой системе. Причем, необходимо принимать во внимание, что выборка производилась при общем количестве портальных ресурсов не менее 40 000. В качестве примера приводим сведения по одному из проанализированных ресурсов. 2. Пример анализа образовательного портала: Интернет-ресурс “The Gateway to Educational Materials” («доступ» к образовательным материалам) Таблица 1. Общая характеристика каталога ресурсов “The Gateway to Educational Materials”. Адрес ресурса в сети http://www.thegateway.org Интернет Общее количество ресурсов 43125 (по состоянию на ноябрь 2002 года) Представленные типы Курсы, статьи, учебные планы, учебные ресурсов программы, практикумы, задания, тесты, руководства, пособия, учебники, кейсы, Количество авторизованных 438 каталогизаторов ресурсов Дополнительные сведения 9 Каталог поддерживается Департаментом образования правительства США; 5 9 Имеется детализированная поисковая система с более чем 10000 ключевых слов; Таблица 2. Ресурсы каталога “The Gateway to Educational Materials” (по основным категориям). Категория Количество ресурсов Средний прирост числа ресурсов (в месяц)* Гуманитарные науки 8812 69 Образовательные технологии 1693 22 Иностранные языки 1361 19 Медицина 2518 36 Науки о языках 5537 80 Математика 4098 56 Философия 746 31 Физическая подготовка 454 11 Религия 600 40 Общие науки 9126 71 Общественные науки 11026 106 333 12 Профессиональное обучение * По данным за сентябрь – ноябрь 2002 года 6 Гуманитарные науки (19%) Образовательные технологии (4%) Иностранные языки (3%) Медицина (5%) Науки о языках (12%) Математика (9%) Философия (2%) Физическая подготовка (1%) Религия (1%) Общие науки (20%) Общественные науки (23%) Профессиональное обучение (1%) Рис. 1. Соотношение ресурсов каталога “The Gateway to Educational Materials” по основным категориям. Таблица 3. Распределение ресурсов каталога “The Gateway to Educational Materials” по уровням образования (в соответствии с классификацией Департамента образования правительства США) Количество Уровни образования ресурсов Из них бесплатных Высшее образование 4744 4721 Профессиональное образование 1934 1909 Дополнительное образование (для взрослых) 3477 3429 Колледж-образование 2767 2727 Среднее образование 23537 23467 Начальное (дошкольное) образование 6666 6644 43125 42897 Всего: 7 начальное (дошкольное) образование среднее образование колледж-образование доп. образование (для взрослых) профессиональное образование высшее образование 0 5000 10000 15000 20000 25000 Рис. 2. Графическое распределение ресурсов каталога “The Gateway to Educational Materials” по уровням образования. 8 Таблица 4. Распределение ресурсов по предметам/предметным областям в категории «Общие науки» каталога “The Gateway to Educational Materials” и соотношение общего числа ресурсов к ресурсам для высшего и профессионального образования. Предмет/предметная Всего Из них для Из них для область ресурсов высшего профессионального образования образования Сельское хозяйство 233 97 7 Астрономия 584 148 14 Биологические науки 2697 366 49 Биология 1648 342 114 Ботаника 562 170 38 Карьера 275 49 24 Химия 868 249 12 Науки о земле 1760 313 84 Экология 1413 246 26 Эмбриология 122 56 - Инженерия 688 170 66 Энтомология 124 21 16 Другие предметы 1017 137 177 Геология 591 160 9 Гистология 284 140 - История 469 44 11 Неформальное образование 167 63 59 Вопросы воспитания 756 205 2 Металлургия 28 3 - Метеорология - - - Естествознание 648 198 69 Океанография 358 48 21 Палеонтология 178 27 3 Фармакология 38 13 4 1460 293 61 Физические науки 9 Физика 1397 322 57 Развитие навыков 1075 314 70 Науки о космосе 909 154 14 Технологии 1439 251 78 Таблица 5. Распределение ресурсов по предметам/предметным областям в категории «Образовательные технологии» и соотношение общего числа ресурсов к ресурсам для высшего и профессионального образования. Предмет/предметная Всего Из них для Из них для область высшего профессионального образования образования 33 10 7 Карьера 33 16 5 Образовательные 383 32 28 История 23 12 11 Неформальное 100 20 10 Вопросы воспитания 289 22 9 Интеграция технологий 1030 57 25 2 - - 507 23 14 Выработка навыков 94 10 6 Обучение 66 9 3 Технологии 605 57 32 Планирование 211 8 - Аудио- и визуальное ресурсов оборудование средства образование в аудиторию Языковые лаборатории Мультимедиа образование преподавателей технологий 10 Таблица 6. Соотношение некоторых типов ресурсов в каталоге “The Gateway to Educational Materials”. Тип ресурса Количество в каталоге % от общего числа ресурсов Online-курс 791 1,83 Учебный план 3900 9,04 Тест 730 1,69 Руководство 4641 10,76 Кейс 362 0,84 Учебник 76 0,17 Учебная программа 11 0,03 Практикум 160 0,37 Научная статья 1270 2,95 Мультимедиа фрагмент 1996 4,63 Мультимедиа фрагмент Научная статья Практикум Учебная программа Учебник Кейс Руководство Тест Учебный план Online-курс 0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000 Рис. 3. Соотношение некоторых типов ресурсов в каталоге “The Gateway to Educational Materials” 11 Таблица 7. Распределение типов ресурсов по уровням образования в каталоге “The Gateway to Educational Materials”. Уровни образования (см. таблицу 1.3) Тип ресурса Началь- Среднее ное Колледж (взрослых) Профессио- Выс- нальное шее 12 438 14 43 28 256 392 1894 77 451 129 957 33 491 50 79 45 32 1020 2381 205 233 117 685 - 19 64 47 21 211 28 35 - - 2 5 1 9 - - 1 1 - 87 - 6 13 54 - 50 - 102 139 979 733 812 58 31 61 301 Online-курс Учебный план Тест Руководство Дополнительное Кейс Учебник Учебная программа Практикум Научная статья Мультимедиа фрагмент 2500 2000 1500 1000 500 0 Online-курс Учебный план Начальное Колледж Руководство Среднее Проф. Кейс Научная статья Мультимедиа фрагмент Дополнит. (взросл.) Высшее Рис. 4. Соотношение наиболее распространенных типов ресурсов в каталоге “The Gateway to Educational Materials” по уровням образования 12 Таблица 8. Распределение количества ресурсов по основным типам пользователей на примере категории «Образовательные технологии». Типы пользователей* Предмет/предметная область Преподаватель Тьютор 17 13 8 30 Карьера 21 17 10 27 Образовательные средства 355 288 70 181 История 18 11 - 23 Неформальное 100 89 45 - Вопросы воспитания 289 83 19 - Интеграция технологий в 699 1030 338 771 2 2 - 1 Мультимедиа образование 507 455 138 461 Выработка навыков 84 60 34 72 Обучение преподавателей 66 66 61 66 Технологии 605 588 330 209 Планирование технологий 211 178 60 - Аудио- и визуальное Консультант Обучающийся оборудование образование аудитории Языковые лаборатории Анализ выбранных ресурсов по предложенным в методике критериям. По результатам проделанной исследовательской работы была выработана методика проведения анализа, кратко изложенная в следующей схеме: 1. Краткая характеристика выборки a. Географическое расположение b. Организации-учредители c. Типы проанализированных порталов и интернет-ресурсов 2. * Анализ процентного соотношения ресурсов Один и тот же ресурс может быть предназначен для различных типов пользователей 13 a. по типам пользователей (обучаемый, обучающий, менеджер) b. по уровням образования c. по типам представленных материалов 3. Анализ вероятности получения требуемых ресурсов в зависимости от конкретного запроса (тип пользователя ⇒ уровень образования ⇒ тип ресурса ⇒ конкретный запрос) 4. Выводы и рекомендации 3. Интегральная оценка образовательных ресурсов по итогам анализа После проведения анализа образовательных порталов и ресурсов была сделана интегральная оценка, позволяющая говорить об определенных закономерностях и основных тенденциях развития содержательной составляющей информационных образовательных порталов (рис. 5-9). 13% 16% 11% 31% 29% прикладные науки, включая информационные технологии гуманитарные и социальные науки общественные науки иностранные языки другие Рис. 5. Распределение ресурсов по предметным областям (здесь и далее - в среднем по всей выборке). зарубежных 14 49% 19% 32% среднее образование дополнительное профессионвльное образование другие уровни образования Рис. 6. Распределение ресурсов по уровням образования. 37% 4% 39% 4% 7% США Канада Франция 9% Великобритания Германия Другие Рис. 7. Распределение ресурсов по географическому признаку. 15 40 37 35 28 30 25 20 20 15 15 10 5 0 конспект лекций учебная программа доп. материалы другие Рис.8. Распределение ресурсов по типам учебных материалов. 70 60 59 50 40 30 23 20 6 10 12 0 HTMLдокумент Java-applet PDFдокумент другие Рис. 9. Распределение ресурсов по используемым технологиям. Полученные результаты позволяют сделать следующие выводы: - среди ресурсов, представленных на проанализированных образовательных порталах можно выделить три основные категории: o прикладные науки, включая информационные технологии (примерно 29% от общего числа ресурсов); o гуманитарные и социальные науки (16%); o общественные науки (13%); 16 - почти треть всех ресурсов проанализированных порталов (32%) предназначена для среднего образования, 19% - для дополнительного профессионального образования; - 39% ресурсов исследованных порталов предоставлены учебными заведениями и другими организациями из США, второй показатель (около 9%) – Великобритания, третий - 7% - Канада; - наибольшее количество учебных материалов представлено в виде конспекта лекций (37%), учебной программы курса (28%) или дополнительных материалов по курсу (20%), хотя многие ресурсы были представлены несколькими типами учебных материалов; - по механизмам и технологиям представления информации можно выделить следующие категории: o HTML-документ (примерно 59% от всех проанализированных ресурсов); o Java-applet (23%); o PDF-документ (6%). - 83% от общего числа проанализированных ресурсов защищены авторским правом или содержат информацию об авторских правах; - значительная часть ресурсов (92%) являются бесплатными (необходимо отметить, что некоторые порталы не содержали информацию о стоимости ресурсов). 4. Предложения по дальнейшей реализации проектов построения системы информационно-образовательных порталов и повышения их качества Анализ зарубежных образовательных порталов показал значимость пользовательских предпочтений среди основных критериев качества, что и должно стать определяющим критерием в разработке методических основ системы оценки и обеспечения качества образовательных порталов. В связи с этим колектив ЦДО МИЭМ провел комплекс работ по разработке методических основ системы оценки и обеспечения качества образовательных порталов в рамках целого ряда проектов с целью повышения качества и эффективности процессов проектирования, разработки, функционирования и сопровождения информационных образовательных порталов за счет разработки 17 методических основ системы оценки и обеспечения качества, а также за счет гармонизации функциональных характеристик образовательных порталов в соответствии с существующими и предполагаемыми потребностями различных целевых групп пользователей. А также с целью разработки руководящих технических материалов по гармонизации системы порталов. Авторы предлагаю проведение такого рода работ по следующим основным направлениям: Анализ ресурсов российских и зарубежных информационных образовательных порталов и разработка методических рекомендаций по гармонизации содержания информационных образовательных порталов с учетом существующих и предполагаемых потребностей различных целевых групп пользователей. Анализ ресурсов эргономических и сервисов, характеристик технических, технологических функционирующих и и создаваемых образовательных порталов. Разработка методических рекомендаций по гармонизации их функциональных характеристик Анализ юридических функционирования аспектов российских проектирования, и зарубежных разработки и информационных образовательных порталов, а также вопросы авторских и имущественных прав. Разработка комплексной системы оценки качества функционирования образовательных порталов на основе базовых критериев качества и характеристик образовательных порталов. Разработка методических рекомендаций по гармонизации функциональных характеристик образовательных порталов с учетом существующих и предполагаемых потребностей различных целевых групп пользователей по уровням образования. Разработка методических рекомендаций по нормативно-правовому обеспечению качества информационно-образовательных порталов. Таким образом, появляется возможность управления информационнообразовательными технологических, порталами, методических, принимая во организационных, внимание программных, совокупность ресурсных, функциональных и других показателей, данные по которым собираются в результате 18 мониторинга. Производить оценку качества функциональной и содержательной полноты системы порталов, актуальности и качества представляемой информации. В качестве основного результата работы предполагается разработка комплекса нормативной документации, содержащего требования к функциональным характеристикам информационных образовательных порталов (ИОП) по следующим направлениям: • технические и технологические аспекты проектирования, разработки и сопровождения ИОП; • эргономические аспекты использования ИОП; • требования к содержанию (данные, метаданные) с учетом потребностей различных групп пользователей; • юридические аспекты проектирования, разработки и сопровождения ИОП, а также использования ресурсов. Высокопрофессиональный творческий коллектив ЦДО МИЭМ и привлеченные соисполнители, имеющие значительный опыт в области разработки и сопровождения информационных образовательных порталов и баз данных, опыт участия в международных образовательных проектах, в т.ч. по проблемам порталостроения и обеспечения качества в системе образования, уже начали реализацию такого рода работ по целому ряду направлений. Был проведен предварительный анализ ряда зарубежных образовательных порталов с инструментов целью определения контроля и возможности управления практического качеством, используя применения определенные показатели, среди которых можно выделить следующие: • общее количество ресурсов/ типы представленных ресурсов/технологии представления ресурсов и учебных материалов; • распределение ресурсов по основным категориям / по предметным областям; • распределение ресурсов по уровням образования; • соотношение платных/частично платных/бесплатных ресурсов; • распределение ресурсов образовательных порталов. по типам пользователей информационно- 19 Также разработаны профили российских пользователей образовательных порталов, разработан и успешно функционирует образовательный портал ЦДО МИЭМ и многое другое. Качество образовательных порталов определяется не только совокупностью объективных факторов, но и многими случайными и субъективными факторами. Одна из работ была посвящена решению актуальной задачи обеспечения качества образовательных порталов за счет использования современных методов и инструментов контроля и управления качеством в процессах жизненного цикла образовательных порталов. Как результат проделанной работы были разработаны методико-практические рекомендации по формированию базовой системы функциональных характеристик качества образовательных порталов, а также по использованию современных инструментов контроля и управления качеством для анализа данных комплексной оценки и мониторинга образовательных порталов системы открытого образования. Эффективное использование современных методов и инструментов позволяет не только анализировать информацию, полученную в ходе мониторинга ОП, но и определять причины несоответствий, а также принимать адекватные и своевременные решения. Продолжение работ по обеспечению качества российских образовательных порталов и портальных ресурсов позволят решить проблему гармонизации портальных функций, сервисов и ресурсов на общенациональном уровне. 20 Сведения об авторах: Нежурина Марина Игоревна, кандидат технических наук, профессор, директор Центра дистанционного обучения (ЦДО МИЭМ), декан Общеинженерного факультета дистанционных технологий Московского государственного института электроники и математики (МИЭМ), г. Москва, тел. (095) 916-89-05, 916-8904 факс (095) 916-8993 e-mail min@dlc.miem.edu.ru Афонин Андрей Юрьевич кандидат технических наук, доцент, доцент кафедры "Управление качеством и сертификация" МАТИ-Российского государственного университета им. К.Э.Циолковского, г. Москва, тел. (095) 141-94-83 e-mail afonin@delphi.ru технологического