принципы разработки подсистемы экспертной - voloshin

ПРИНЦИПЫ РАЗРАБОТКИ ПОДСИСТЕМЫ ЭКСПЕРТНОЙ
ОЦЕНКИ ОТВЕТА СВОБОДНОЙ ФОРМЫ В СОВРЕМЕННОЙ
АВТОМАТИЗИРОВАННОЙ СИСТЕМЕ ТЕСТИРОВАНИЯ КАЧЕСТВА
ЗНАНИЙ
Студ. Гугкаева З. Ю., канд. техн. наук Волошин С. Б.
Северо-Кавказский Горно-Металлургический институт
(государственный технологический университет),
г. Владикавказ
Describes some aspects of the development expert evaluation the answer of the
free form subsystem in the modern automated system of testing the quality of
knowledge.
В настоящее время в России продолжается развитие системы
образования, ориентированной на вхождение в мировое образовательное
пространство. Этот процесс сопровождается существенными изменениями
в педагогической теории и практике учебно-воспитательного процесса.
Происходит смена образовательной парадигмы: предлагаются иное
содержание, иные подходы, иное право, иные отношения, иное поведение,
иной педагогический менталитет [1]. С учетом приоритета развития
программы по улучшению качества образования в Российской Федерации,
особенно актуальным становится использование в этой отрасли
современных информационных и коммуникационных технологий.
Информационные технологии могут использоваться в процедурах
оценивания качества образования на различных уровнях – от средства
управления информацией об оценках, полученных традиционным
способом (так называемая электронная ведомость), до полностью
автоматизированных систем контроля качества знаний, включающих в
себя диагностический, обобщающий и коррекционный модули.
Стандартная процедура оценки качества состоит из нескольких
обязательных шагов [2]:
1. Создание тестовых заданий.
2. Проведение тестирования.
3. Сбор результатов тестирования.
4. Сбор дополнительных данных, прямо либо косвенно влияющих
на результаты тестирования.
5. Объединение результатов тестирования и дополнительных
данных в единый информационный массив.
6. Обработка данных с помощью методов математической
статистики, интеллектуального анализа данных и т.д.
Полученные на последнем шаге результаты анализа позволяют
получить понятие о том, какие факторы положительно влияют на качество
образования, какие факторы влияют отрицательно, а какие не влияют
вообще (или влияют незначительно).
В дальнейшем результаты анализа учитываются при подборе
педагогического коллектива, выборе обучающих программ и методик и
т.д.
Под руководством Волошина С. Б. и Мамонтова Д. В. на протяжении
более семи лет разрабатывается и совершенствуется автоматизированная
система контроля знаний “Генератор тестов” [3, 4]. Последняя версия
пакета программ “Генератор тестов” представляет собой законченное
решение для создания, проведения, сбора дополнительных данных и
анализа результатов компьютерного тестирования. Данная компьютерная
система является одним из немногих продуктов, который реализует
комплексный подход к проведению тестирования: от разработки тестов до
получения результатов анализа тестирования в масштабе отдельного
региона или страны. За последние пять лет система тестирования
несколько
десятков
раз
использовалась
для
проведения
общереспубликанского мониторинга знаний школьников. С помощью нее
были протестированы более 75000 школьников Республики Северная
Осетия-Алания. Система постоянно совершенствуется, расширяются
сферы ее применения. Так, в конце 2010 года обсуждался вопрос о
применении программного комплекса при проведении олимпиад,
конкурсов и опросов, в которых правильность ответов на вопросы должен
определять эксперт (так называемый, «ответ свободной формы»).
Типичным примером подобных вопросов являются вопросы части (блока)
«C» Единого государственного экзамена (ЕГЭ).
В настоящее время пакет программ «Генератор тестов»
поддерживает ответы свободной формы. Для этого была спроектирована и
реализована подсистема экспертной оценки ответа свободной формы. В
процессе работы над подсистемой был выполнен ряд мероприятий:
1. Изменена схема движения потоков данных при проведении
тестирования (рис. 1).
Рис. 1. Измененная схема движения потоков данных при проведении тестирования
В измененную схему включен эксперт (лицо, принимающее решение
о правильности ответа свободной формы и начисляющий или снимающий
определенное количество баллов). Система работает следующим образом:
тесты, созданные в модуле TestMaker, загружаются в TestReader;
результатом тестирования является файл (или поток) в специальном
формате; если в тесте содержались вопросы, подразумевающие ответы
свободной формы, то результаты передаются эксперту, который с
помощью специального программного обеспечения оценивает такие
вопросы; далее результаты могут быть просмотрены в модуле ResultViewer
и переданы в TestReporter для объединения с дополнительными данными;
объединенная информация передается в модуль TestAnalyser, которая
проводит анализ и генерирует отчеты.
Отличительной особенностью системы является то, что к эксперту
попадают обезличенные ответы свободной формы. Это позволяет свести к
минимуму субъективность оценки. Возможна параллельная работа
нескольких экспертов. Если в тесте нет вопросов с ответами свободной
формы, то эксперт из схемы исключается.
2. Поскольку предыдущая версия модуля проведения процесса
тестирования (TestReader) функционально ограничена и не поддерживала
ответ свободной формы, требующего графического сопровождения,
авторами был спроектирован и реализован графический редактор,
позволяющий строить различные геометрические фигуры и внедрять их в
текст ответа. Например, на вопрос типа «Приведите принципиальную
схему…» достаточно сложно ответить без наличия инструмента для
создания графических элементов. Главное окно модуля TestReader с
вопросом подобного типа и ответом на него представлено на рис. 2.
Рис. 2. Графический пользовательский интерфейс программы TestReader
С учетом специфики использования графического редактора при его
разработке были выдвинуты следующие требования:
а) Язык программирования Microsoft Visual C# или Microsoft Visual
Basic под среду исполнения Microsoft .NET Framework 2.0. Полностью
управляемый код (managed code).
б) Разработка графического редактора в виде подключаемого
элемента управления (библиотеки, dll), с целью дальнейшего
использования в других проектах.
в) Работа с графическими элементами, как объектами векторной
графики.
г) Простой и понятный графический пользовательский интерфейс.
д) Наличие возможности экспорта графических элементов в
растровом виде в форматах BMP, PNG и JPEG.
е) Возможность сохранения графических элементов в формате
XML.
ж) Привязка элементов к ячейкам сетки.
При создании графического редактора авторами были использованы
некоторые наработки Андреа Контоли [5].
Главное окно редактора векторной графики представлено на рис. 3.
Рис. 3. Графический пользовательский интерфейс редактора векторной графики
Созданный графический редактор полностью удовлетворяет тем
требования, которые были сформулированы перед разработкой, однако, он
не лишен ряда недостатков, среди которых основными считаются:
а) Небольшой набор инструментов.
б) Невозможность работы под платформу Mono в операционных
системах семейства GNU/Linux.
в) Отсутствие привязки к элементам.
В настоящее время ведется работа по устранению этих недостатков и
совершенствованию данного программного продукта.
3. Спроектирован и реализован инструмент (модуль) для
работы эксперта, позволяющий количественно оценивать ответ
свободной формы. Так как инструмент представляет собой отдельный
модуль, то с развитием систем распознавания образов ручную оценку
можно будет при необходимости заменить на автоматизированную оценку.
Основные выводы
1. Рассмотрены некоторые подходы при создании подсистемы для
экспертной оценки ответа свободной формы в современной
автоматизированной системе тестирования качества знаний.
2. Спроектирован и реализован векторный графический редактор
для пакета программ «Генератор тестов», позволяющий оформить ответ в
графическом виде.
3. Спроектирован и реализован инструмент для работы эксперта.
Список литературы
1. Селевко Г. К. Современные образовательные технологии. – М.:
Народное образование, 1998.
2. Захарова И. Г. Информационные технологии в образовании. – М.:
Издательский цент “Академия”, 2008.
3. Волошин С. Б., Мамонтов Д. В. Пакет программ для создания и
проведения тестов “Тестовый генератор 1.0”. // VI межрегиональная
научная конференция “Студенческая наука – экономике России”. г.
Ставрополь, 2005.
4. Мамонтов Д. В., Волошин С. Б. Современный подход к созданию
автоматизированной системы контроля знаний. // Вестник РУДН. Серия
“Информатизация образования”. – 2008. – №2.
5. http://www.codeproject.com/KB/graphics/SimpleVectorShapes.aspx