Слайд 1 - Новосибирский Институт Мониторинга и Развития

Инструментальная
среда АСТ
АСТ
РСОКО
Лузгина Лариса Сергеевна,
научный сотрудник, руководитель ЛПИ
тел: 347-53-07
email: llsnscm@gmail.com
ШСОКО
Оперативное и стратегическое
управление качеством образования
в образовательном учреждении
невозможно без эффективной
системы оценки качества
образования.
Одной из составляющих этой системы
является оценка и анализ
результатов уровня предметных
достижений обучающихся.
Основные требования,
предъявляемые к оценке
обучающихся, заключаются в:




объективности
достоверности
конкретности
обоснованности
Для этого актуально использование
технологии компьютерного
тестирования, которая
преимущественно отличается от
других методов контроля
повышенной инструментальностью.
Переход от традиционных форм
контроля и оценивания знаний к
компьютерному тестированию
отвечает духу времени и общей
концепции модернизации и
компьютеризации российской
системы образования.
К важнейшим элементам культуры
мышления разработчиков и
экспертов дидактических тестовых
материалов относятся правила и
инструкции, совокупность которых
называется нормативной системой
культуры.
Нормы культуры выражаются в
виде методологических требований
соответствующего поведения
участников культурного
пространства тестирования.
Требования
представляют собой систему норм,
регламентирующих и регулирующих
самостоятельную и коллективную
деятельность разработчиков
профессиональных банков
программно-дидактических
тестовых заданий (БТЗ) и
технологий адаптивного
тестирования, предназначенных для
проверки и оценки уровня учебных
достижений учащихся.
Требования призваны способствовать:
 созданию и последующему развитию (совершенствованию)
системы норм (правил, предписаний, образцов др.) как
единой основы управления деятельностью преподавателей,
участвующих в процессах разработки, применения и
сертификации программно-дидактических тестовых
материалов и технологий компьютерного тестирования;
 формированию культуры тестирования в системах оценки
качества обученности учащихся;
 повышению объективности процессов и результатов оценки
учебных достижений обучающихся;
 созданию необходимых предпосылок и условий для
совершенствования содержания и структуры
образовательного процесса в ОУ;
 повышению качества мониторинга обученности учащихся
различных образовательных ступеней;
 повышению уровня квалификации лиц, непосредственно
разрабатывающих, оценивающих и применяющих тестовые
материалы и технологии – учителей;
 созданию предпосылок для продуктивного взаимодействия с
НИМРО, работающим в области компьютерного
тестирования;
 создание условий для совершенствования системы обучения
тестируемых.
Задачи:
разработка новых программнодидактических тестовых материалов
и технологий компьютерного
тестирования;
экспертная оценка качества
указанных материалов и
технологий;
оценка качества предметных
достижений обучающихся
технологией компьютерного
тестирования в среде АСТ.
Модель АСТ-центра
Компьютерная система
дидактического тестирования
предназначена для проведения
процесса тестирования и
оценивания уровня достижений
испытуемых.
Модель АСТ-центра
Современные средства
проектирования
автоматизированных систем
позволяют создать среду с
интеллектуальными свойствами,
способную адаптироваться к
требованиям пользователей –
Адаптивная Среда Тестирования
(АСТ).
Система обеспечивает:
 средства формирования и сопровождения
строго структурированного
информационного банка и наполнения его
тестовыми заданиями (ТЗ);
 наличие Мастера, обеспечивающего
контролируемый системой пошаговый
ввод в базу данных ТЗ;
 формирование тестов с использованием
различных стратегий проверок:
 строгая последовательность заданий,
 случайный выбор,
 последовательность с возрастанием
трудности заданий,
 адаптивный алгоритм;
Система обеспечивает:
 наличие альтернативных алгоритмов
тестирования, ориентированных на
дидактическое оценивание и контроль;
 гибких шкал оценивания результатов;
 возможность установки временных ограничений;
 создание библиотеки субъектов тестирования;
 проведение сеансов тестирования, определение
уровня знаний испытуемых;
 заполнение библиотеки результатов
тестирования;
 обработку результатов тестирования и
формирование выходных документов в текстовом
и графическом виде.
Преимущества КТ:
 оценивание результатов тестирования осуществляется
мгновенно, автоматически фиксируется и сохраняется на
длительное время;
 объективность в оценке;
 конфиденциальность при анонимном тестировании;
 существует возможность формирования большого
количества вариантов теста, которое ограничено лишь
размером банка тестовых заданий;
 существует возможность формирования тестов, различных
по уровню обученности испытуемых;
 существует возможность управления, как содержимым
теста, так и стратегией проверок в ходе тестирования;
 при использовании стандартизованной компьютерной
программы условия проведения тестирования не зависят от
индивидуальных особенностей и психологического
состояния экспериментатора, что, несомненно, повышает
"чистоту" диагностической процедуры;
 отсутствует необходимость в бумажных носителях и листах
ответа;
 тестирование на компьютере более интересно по
сравнению с традиционными формами опроса, что создает
положительную мотивацию у обучающихся.
Технологический цикл
ПРОВЕДЕНИЕ СЕАНСОВ
ТЕСТИРОВАНИЯ, ОПРЕДЕЛЕНИЕ
УРОВНЯ ДОСТИЖЕНИЙ ИСПЫТУЕМЫХ
НАКОПЛЕНИЕ,
ОБРАБОТКА
РЕЗУЛЬТАТОВ
ТЕСТИРОВАНИЯ
ФОРМИРОВАНИЕ,
КОРРЕКЦИЯ
ТЕСТОВОГО
МАТЕРИАЛА
АНАЛИЗ КАЧЕСТВА ТЕСТОВЫХ
МАТЕРИАЛОВ
Основные компоненты АСТ
АСТ_КТ
АСТ_Тест
АСТ_Swap
БТМ
БРТ
АСТ_Стат
АСТ_Адм
Функции Конструктора
Создание и изменение структуры Накопителя ТЗ
Создание дубликата Накопителя ТЗ
Диагностика информационной целостности НТЗ
Импорт/Экспорт заданий между НТЗ
Печать структуры НТЗ, списка ТЗ
Просмотр, коррекция, удаление и
проигрывание ТЗ
Перемещение заданий по структуре НТЗ
Печать изображения задания
Копирование задания
Дизайн экрана
ОСОБЕННОСТИ АСТ_ТЕСТ
НАЛИЧИЕ МАСТЕРА ТЕСТОВЫХ ЗАДАНИЙ
ПОШАГОВОЕ ВЫПОЛНЕНИЕ
ПРОЦЕССОВ ФОРМИРОВАНИЯ,
ВВОДА И КОРРЕКЦИИ
ЗАДАНИЙ В ТЕСТОВОЙ ФОРМЕ
ОСОБЕННОСТИ АСТ_ТЕСТ
ФОРМИРОВАНИЕ ДИЗАЙНА ОТОБРАЖЕНИЯ ЗАДАНИЙ
Формирование контрольных материалов
Как формируется
последовательность
заданий в тесте
В каком виде
испытуемый
увидит результат
Обязательная
идентификация
испытуемого с вводом
кода доступа
Возможность создания различных
контролирующих материалов на основе
единого банка тестовых заданий
Технология проверки
Можно
просмотреть
все неверно
выполненные
задания
Возможность перевода на бумажный носитель
Анализ и сравнение результатов
Термины и определения
 Учебные достижения:
Результат обучения: предметные связи (в
широком смысле – представления, умения,
навыки) и общие компетенции, достигнутые
в процессе систематического обучения в
одном из образовательных учреждений или
при самостоятельном обучении по
утвержденной программе
 Оценка (оценивание) учебных
достижений: Процесс определения уровня
учебных достижений по отношению к
заданным критериям или требованиям, или
нормативным показателям.
Термины и определения
 Педагогическое тестирование:
Совокупность организационных и педагогических
мероприятий, объединенных общей целью с
педагогическим тестом и предназначенных для
подготовки и проведения формализованных
процедур предъявления теста, обработки и
предоставления результатов его выполнения.
 Педагогический тест:
Система специально подобранных проверочных
заданий, составленных в тестовой форме,
позволяющих количественно оценить учебные
достижения человека в одной или нескольких
областях знаний.
Термины и определения
Содержание учебной дисциплины
(кодификатор):
Документ, в котором содержание предмета разделено
на разделы, подразделы, темы. Основой для
составления содержания учебной дисциплины
должен служить
Государственный образовательный стандарт.
Элемент содержания учебной дисциплины:
Логически завершенная минимальная часть
учебной дисциплины, определенная нормативными
документами (Государственным образовательным
стандартом)
Термины и определения
План (педагогического) теста:
Документ, в котором каждое тестовое задние
соотносится с определенным элементом
содержания учебной дисциплины и конкретным
видом знаний и умений, подлежащих контролю с
помощью этого задания.
Валидность теста:
Комплексная характеристика педагогического теста,
отражающая способность теста служить той цели,
для которой он создавался.
Термины и определения
Тестовое задание:
Минимальная содержательно законченная
составляющая педагогического теста в
виде проверочного задания в тестовой
форме.
Порядок разработки тестов





Структурирование учебного материала.
Разработка тестовых заданий.
Экспертиза теста и тестовых заданий.
Экспериментальная проверка теста.
На основании результатов
экспериментального тестирования
выполнение коррекции заданий.
Требования к структуре БТЗ
 БТЗ должен быть структурирован по тематике.
Структура БТЗ может быть многоуровневой.
 Содержание учебной дисциплины должно строго
соответствовать требованиям к минимуму
содержания ГОС, содержать ВСЕ основные
дидактические единицы.
 Количество элементов содержания учебной
дисциплины должно быть пропорционально
количеству учебных часов, отводимых программой
на их освоение.
Структурирование учебного
материала
Тема 1.
Раздел 1.1.
Понятие 1.1.1.
Понятие 1.1.2.
Понятие 1.1.3.
Раздел 1.2.
Понятие 1.2.1.
Понятие 1.2.2.
Тема 2.
Раздел 2.1.
Понятие 2.1.1.
Понятие 2.1.2.
Понятие 2.1.3.
Пример кодификатора по
математике
Пример кодификатора по истории
Пример кодификатора по химии
Разработка
тестовых заданий
Требования, предъявляемые к ТЗ:
 Определенность (общепонятность);
 Понятный язык изложения;
 Краткость заданий;
 Обоснованность эталона ответа;
 Принадлежность определенной форме;
 Мера трудности;
 Дифференцирующая способность;
 Длительность предъявления;
 Принадлежность к элементу
тематической структуры.
Требования к содержанию ТЗ
При проектировании заданий
необходимо учитывать
равномерное распределение
заданий по
• структуре,
• трудности и
• важности материала.
Требования к содержанию ТЗ
 Содержательная часть задания не должна содержать
элементов инструкции – слов: «укажите,
отметьте, выделите, определите, найдите»
 ТЗ должно быть представлено в форме краткого
суждения в повествовательной форме (вопрос
исключается), сформулировано ясным, чётким
языком и исключать неоднозначность.
 Содержание задания должно быть выражено
краткой, предельно простой синтаксической
конструкцией, без повторов и двойных отрицаний.
 В ТЗ следует избегать применения слов - вопросов
(«как», «почему», «какой» и т.д.).
Требования к содержанию ТЗ
 Ключевое слово выносится в начало ТЗ.
 Нельзя начинать ТЗ с предлога, союза, частицы.
 ТЗ должны иметь различную меру трудности.
 В тестовом задании не должно отображаться
субъективное мнение или понимание отдельного
автора.
 В тексте тестового задания не должно быть
непреднамеренных подсказок и сленга.
 Все варианты ответов (дистракторы) должны
быть сопоставимы по длине, и не превышать
одной строки.
Требования к содержанию ТЗ
 Запрещается наличие повторяющихся фраз в
дистракторах. Лучше «длинный» вопрос и
«короткие» ответы, чем наоборот.
 Ответ на ТЗ должен быть однозначным.
Недопустимы ответы типа: «все перечисленное
верно», «все указанные ответы - неверны»
 Все повторяющиеся слова исключены из
ответов и вынесены в содержательную часть
задания.
 Запрещено применение всех правильных или
всех неправильных дистракторов.
 Исходные условия задания не должны
превышать 11-15 слов.
 Желательно использование рисунков, формул и
других поясняющих объектов.
Формы тестовых заданий
Закрытые
Открытые
Закрытое
На дополнение
- с выбором одного заключения
- с выбором нескольких заключений
На установление
соответствия
На установление правильного
порядка
Открытая форма заданий
Требует сформулированного самим
тестируемым заключения на
требования ТЗ. Имеет вид неполного
утверждения, в котором отсутствует
один ключевой элемент. Пропущенный
элемент ставится в конце задания или
как можно ближе к концу.
В качестве ключевого элемента может
быть число, слово или словосочетание.
Формы заданий. Открытая (дополнение).
Формы заданий. Закрытая.
Состоит из неполного тестового утверждения с одним
ключевым элементом и множества допустимых заключений, одно
или несколько из которых являются правильными.
Тестируемый
определяет
правильные
заключения
из данного
множества.
Кол-во
вариантов
ответов
должно быть
4-6.
Примеры
Примеры
Формы заданий. На упорядочение
Задание должно состоять из однородных элементов
некоторой группы и четкой формулировки критерия
упорядочения этих элементов.
Общее
количество
элементов в
ТЗ должно
быть 4 - 6.
Пример
Формы заданий. На соответствие.
Задание должно состоять из двух
групп элементов и четкой формулировки
критерия выбора соответствия.
Пример
Правила оформления ТЗ
Инструкция
Обвести кружком номер правильного ответа:
Содержание
1) Ядро атом состоит из
1)
2)
3)
нейтронов и протонов
протонов и электронов
электронов и нейтронов
Номер
задания
задания
Ответы к
заданию
Все элементы ТЗ должны отображаться
на экране монитора.
Графическое изображение ТЗ не должно перегружаться
излишними подробностями, а наиболее существенные
компоненты рисунка должны быть выделены цветом,
курсивом, полужирными линиями
Способ ввода заключения должен быть прост и
удобен. Введенное тестируемым заключение
должно отображаться на экране монитора и быть
понятно тестируемому.
Рекомендации
Рекомендуется соблюдать единый стиль
оформления заданий, входящих в один тест.
На экране во время предъявления заданий из
теста
не
должно
присутствовать
никаких
графических и мультимедийных элементов,
не
имеющих
прямого
отношения
пониманию содержания тестового задания.
к
Назначение норм трудности
Норма трудности определяется
разработчиком ТЗ и указывает
субъективную величину того,
насколько тяжело будет решить
данное тестовое задание
испытуемому с минимальным
уровнем подготовки.
Норма трудности зависит от
следующих факторов:
• уровень значимости ТЗ
• форма ТЗ
• количество дистракторов
• количества концептов
Рекомендации
Педагогический тест, используемый для оценки
уровня учебных достижений обучающихся в ОУ,
должен содержать все возможные формы
заданий.
При разработке педагогического теста необходимо
придерживаться следующего соотношения
заданий:
• Задания закрытого типа с выбором одного
правильного ответа из предложенных 70% от
всех заданий
• Задания закрытого типа с множественным
выбором правильных ответов, открытого типа,
на установление правильной
последовательности, на соотношение - 30% от
всех заданий педагогического теста.
НАИБОЛЕЕ ЧАСТО
ВСТРЕЧАЮЩИЕСЯ
ОШИБКИ
В ПОСТРОЕНИИ ТЗ
Формулировка заданий в форме
вопроса
Как было неправильно:
Теперь правильно:
Что содержится в файле с
расширением obj?
А. Исходный текст
программы;
В. Библиотечные
функции;
С. Исполняемая
программа;
D. Объектный код
программы
Файл с расширением obj
содержит:
Исходный текст
программы
Библиотечные
функции
Исполняемую
программу

Объектный код
программы
В дистракторах присутствуют повторяющиеся
слова или словосочетания
Из ответов обязательно исключаются все
повторяющиеся слова путем ввода их в
основной текст заданий
Как было неправильно:
Теперь правильно:
В каких сетях применяется
ППД типа «маркерная
ППД типа «маркерная
шина» применяется в
шина»:
локальных сетях с …
а) в локальных сетях со
топологией
звездообразной топологией;
звездообразной
б) в локальных сетях с
с шинной
шинной топологией;
смешанной
в) в локальных сетях с
смешанной топологией.
Средняя плотность
Средняя плотность
населения Москвы
населения Москвы находится
(тыс.чел./кв.км.) находится в пределах ... тыс.чел./кв.км.
в пределах ... .
5-6
5-6 тыс.чел./кв.км
7-8
7-8 тыс.чел./кв.км
9-10
9-10 тыс.чел./кв.км
11-12
11-12 тыс.чел./кв.км
Дистракторы содержат подсказки
Из текста задания необходимо исключить все вербальные
ассоциации, способствующие выбору правильного ответа с
помощью догадки.
Как было неправильно:
Поименованная совокупность взаимосвязанных
данных, находящихся под управлением СУБД
называется ….
Ответ: База данных
подсказка – СУБД
Наличие слов «любое», «и то и другое», «ОБА»
в качестве дистракторов
Как было неправильно:
Теперь правильно:
Схему обработки данных
Схему обработки данных
можно изобразить
можно изобразить
посредством:
посредством ... графики
коммерческой графики
коммерческой
иллюстративной графики
иллюстративной
научной графики
научной
когнитивной графики
когнитивной
любое
Правильный ответ - «иллюстративной графики». Трудно
понять, что означает слово «любое» (особенно при
перемешивании элементов в группе допустимых ответов).
Происходит умышленное «сбивание с толку», задание
можно считать «обманным».
Один из дистракторов сильно
отличается от других
Как было неправильно:
Теперь правильно:
К
какому
поколению
языковых средств относятся
генераторы экранных форм:
1.1
2.2
3.3
4.4
5.5
6.это вообще не языковое
средство
Генераторы экранных форм
относятся к … поколению
языковых средств
Правильные Ответы: 4,
четвертому
Вариант ответа №6 отличается от остальных.
для вариантов ответов используются целые числа. В этом
случае лучше использовать открытую форму заданий.
Спасибо за
внимание!
РСОКО