Презентация по процессу разработки контрольно

ПРОЦЕСС РАЗРАБОТКИ
КОНТРОЛЬНО-ИЗМЕРИТЕЛЬНЫХ
МАТЕРИАЛОВ
• Классификация КИМов
• Кодификатор УД и спецификация КИМов
• Рекомендации по разработке КИМов (тестов)
• Примеры кодификаторов и КИМов
КИМы, АПИМы, тесты
Синонимы или нет?
4.1. Единый государственный экзамен представляет собой форму
объективной оценки качества подготовки лиц, освоивших
образовательные программы среднего (полного) общего
образования, с использованием заданий стандартизированной
формы (контрольных измерительных материалов), выполнение
которых позволяет установить уровень освоения ими
федерального компонента государственного образовательного
стандарта среднего (полного) общего образования.
Закон РФ «Об образовании»
После изменений 2007
Валидность – соответствие содержанию ГОС
Надежность – воспроизводимость результатов
Объективность – независимость от преподавателя
КЛАССИФИКАЦИЯ КИМов (тестов)
(по структуре)
ГЕТЕРОГЕННЫЕ
ГОМОГЕННЫЕ
Содержание
Виды деятельности
Разделы
Дисциплины
Узнавание
Использование алгоритма
Трудность заданий
Возрастающей трудности
Адаптивные
КЛАССИФИКАЦИЯ КИМов (тестов)
(по подходам к разработке)
Нормативно-ориентированные (Нрм)
Цель – дифференциация учащихся (ранжирование, рейтинг)
Гетерогенные по трудности (20-50 вопросов)
Ограниченные по времени выполнения
Стандартизация на репрезентативной выборке
Критериально-ориентированные (Крт)
Цель – проверка знаний учащихся (зачет – незачет)
Гомогенные по трудности (6-30 вопросов)
Без ограничения по времени выполнения
Установление критериев выполнения
КЛАССИФИКАЦИЯ КИМов (тестов)
(по форме предъявления)
Бланковые (Блк)
Варианты на бумажных носителях
Произвольный бланк – обработка на руках
Стандартизованный бланк – обработка на ЭВМ
Проблемы: взаимопомощь учащихся, «жесткие» варианты, трудности
со статистической обработкой
Компьютерные (Кмп)
Варианты на экране ЭВМ («гибкие» варианты)
Банк Тестовых Заданий
База данных по результатам тестирования
Проблемы: ЭВМ, сеть и специальные программы;
отсутствие контроля по дистанционном тестировании.
ЭТАПЫ РАЗРАБОТКИ КИМов (тестов)
Цели использования КИМа
Назначение (отбор, контроль, …)
Аудитория
Разработка кодификатора УД и спецификации КИМа
Кодирование разделов содержания УД и элементов ЗУН и/или Комп
Содержательная (структура КИМа)
Деятельностная (умения, навыки, компетенции)
Стратегия предъявления заданий
Разработка вариантов КИМ (банка тестовых заданий)
Задания КИМов (различные формы)
Обкатка заданий, экспертиза, оценка параметров заданий
Включение заданий во варианты КИМа или БТЗ
Стандартизация КИМа или алгоритм обработки результатов
Что делать с результатами? Как поставить оценку?
Какова ошибка измерения? Что КИМ измеряет?
ПРИМЕРНЫЕ ЦЕЛИ ИСПОЛЬЗОВАНИЯ КИМов
Входные КИМы
- Отбор в учебное заведение (пример: ЕГЭ)
- Тест на знания, необходимые для изучения специальных
дисциплин (студенты 3 курса, Крт, 20-30 заданий, ЭВМ)
КИМы для промежуточного контроля
- Допуск на лабораторную работу (Крт, 5-10, бланк)
- Аттестация на 8-й неделе (студенты группы, Нрм, 20-30, бланк)
- Проверка усвоения темы, блока (Крт, 5-10, бланк)
КИМы итогового контроля
- Зачетные (Крт, 20-30, бланк)
- Итог изучения большого курса (например: общая физика)
(все студенты ТГУ, Нрм, 30-50, ЭВМ, большой БТЗ)
- Допуск на гос.экзамен
(практиканты, Крт, 30-50, ЭВМ, большие БТЗ)
- Проверка остаточных знаний по дисциплине (пример: тесты ФЭПО)
(студенты, прослушавшие курс в прошлом семестре, Крт, 30, ЭВМ)
КОДИФИКАТОР УЧЕБНОЙ ДИСЦИПЛИНЫ
(по материалам Росаккредагенства)
Кодификатор отображает содержание дисциплины в ГОС
и содержит контролируемое содержание дисциплины,
перечень контролируемых учебных элементов и необходимость
составления заданий АПИМ. Преемственность дидактических
единиц, зафиксированных в кодификаторе, положена в основу
содержания АПИМ единого Федерального банка заданий,
используемого для проведения Интернет-экзамена в сфере
профессионального образования.
1. Код элемента содержания
2. Наименование элемента содержания (тема)
3. Перечень контролируемых учебных элементов
Студент должен…
СПЕЦИФИКАЦИЯ КИМа (теста)
(Структура по материалам ФЦТ)
1. Назначение КИМ (контингент учащихся)
2. Документы МОиН РФ, определяющие содержание КИМ
3. Учебники и пособия, рекомендуемые для подготовки
4. Перечень объектов контроля (знания и умения)
5. Перечень элементов содержания, включенных в тест
6. Содержательно-деятельностная матрица (кол-во заданий)
7. Структура КИМ по уровням знаний
8. Структура КИМ по форме заданий.
Примеры инструкций к заданиям.
9. Общее время выполнения
10. Рекомендации по апробации
11. Рекомендации по оценке результатов.
ПРИМЕР СПЕЦИФИКАЦИИ ТЕСТА
1. Назначение теста
Например, проверка владения специальными терминами
выпускников ТГУ по определённой специальности.
Дипломники кафедр.
2. Документы МОиН РФ, определяющие содержание теста
Государственный стандарт по специальности.
Программы курсов.
3. Учебники и пособия для подготовки
Программа ГЭСП, обзорные лекции, тезаурус, конспекты лекций
4. Перечень объектов контроля
Понимание и правильное использование специальных терминов
ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
Направление подготовки дипломированного специалиста
квалификация - инженер-физик
Перечень образовательных программ (специальностей), реализуемых в рамках
данного направления подготовки дипломированного специалиста:
…
ПРИМЕРНЫЙ УЧЕБНЫЙ ПЛАН
Индекс
Наименование дисциплин и их основные
разделы
Всего
часов
ГСЭ
Общие гуманитарные и социальноэкономические дисциплины
1800
ЕН
Общие математические и естественнонаучные
дисциплины
2750
ОПД
Общепрофессиональные дисциплины
1672
СД
Специальные дисциплины
2508
ПРИМЕР СПЕЦИФИКАЦИИ ТЕСТА
5-6-7. Содержательная матрица ГЭСП
Учебный Число
план, час заданий
Всего
102
6
186
11
162
10
80
5
50
3
140
9
100
6
820
50
ПРИМЕР СПЕЦИФИКАЦИИ ТЕСТА ГЭСП-140305
8. Структура теста по форме тестовых заданий
закрытые задания, открытые задания, задания на соответствие,
задания на последовательность
9. Общее время выполнения теста
60 мин («мягкие» ограничения по времени выполнения,
среднее время выполнения – 45 мин)
10. Рекомендации по апробации теста (одинаковые условия!!!)
практиканты и дипломники кафедр.
Сентябрь – октябрь перед сдачей ГЭСП.
11. Рекомендации по оценке результатов
пороговое значение для допуска на ГЭСП
ПОДХОДЫ К АНАЛИЗУ РЕЗУЛЬТАТОВ
Результат выполнения теста – количество решенных заданий
(первичные баллы)
Шкалирование результатов
Первичные баллы - ??? -> Тестовые баллы (оценка)
прогноз на успешность деятельности
вывод об усвоении материала
Эмпирическая стандартизация теста
Тестирование репрезентативной выборки
(Станайн, Процентиль, Тестовый балл, … )
Item Response Theory (IRT)
Теория параметризации педагогических тестов
Математическая обработка результатов группы
(модели Раша, Бинбаума, … )
Использование системы АСТ-тест
в рамках ГЭСП
Идея теста ГЭСП (спецификация)
Решение о проведение теста на каф.
Разработка ТЗ по курсам
примеры заданий
экспертиза заданий
Наполнение НТЗ ( АСТ_КТ)
Преобразование НТЗ (АСТ_Конвертор)
Подготовка сервера (АСТ_Server)
Подготовка дисплейного класса
Рабочие станции (АСТ_Player)
Список группы (АСТ_Administrator)
Проведение тестирования
Анализ результатов (АСТ_Administrator)
ТЕСТОВЫЕ ЗАДАНИЯ (Аванесов В.С.)
Тестовое задание
варьирующая по элементам содержания и по трудности
единица
контрольного материала, сформулированная в утвердительной форме
предложения с неизвестным. Подстановка правильного ответа вместо
неизвестного компонента превращает задание в истинное высказывание;
подстановка неправильного ответа приводит к образованию ложного
высказывания, что свидетельствует о незнании студентом данного
учебного материала.
Тестовое задание
это составная единица теста, отвечающая требованиям технологичности,
формы, содержания и, кроме того, статистическим требованиям:
Составная единица означает, что тест представляет собой систему заданий,
каждое из которых необходимо для выполнения тестом своей функции.
ОБЩИЕ ТРЕБОВАНИЯ К СОСТАВЛЕНИЮ
ТЕСТОВЫХ ЗАДАНИЙ (1)
Содержательность
Содержание должно отвечать требованиям ГОС
Предметная чистота
Технологичность
Краткость (отсутствие повторов, двойных отрицаний, сленга)
Ясность (чёткий язык, отсутствие субъективных оценок)
Стандартизованность
Повествовательное предложение
(вопрос и повелительное наклонение исключаются)
Узнаваемость формы (4 типа ТЗ)
Закрытые ТЗ
Открытые ТЗ
ТЗ на установление соответствия
ТЗ на установление последовательности
ОБЩИЕ ТРЕБОВАНИЯ К СОСТАВЛЕНИЮ
ТЕСТОВЫХ ЗАДАНИЙ (2)
Инструкция
Зависит от формы (типа)
Текст задания
Повествовательное предложение
Нумерованный и ненумерованный списки
Верные ответы
Номера правильных ответов
Варианты правильных ответов
Правильная последовательность цифр
Система оценки
Дихотомическая
Политомическая
ТРЕБОВАНИЯ К ТЕСТОВЫМ ЗАДАНИЯМ
ЗАКРЫТОГО ТИПА
Тестовое задание с двумя или более номерованными вариантами
ответов, из которых нужно выбрать один или нескольких номеров,
соответствующих правильному ответу.
Лучше «длинные» вопросы и «короткие» ответы, чем наоборот
Количество слов в формулировках тестового задания
не должно превышать 13-и
Правильные и неправильные варианты должны быть однозначны по
содержанию, структуре и общему количеству слов.
1 правильный ответ (не приветствуется !!!)
2, 3, 4 правильных ответов
Отвлекающие варианты (дистракторы)
правдоподобные ошибочные варианты, взятые из опыта
ПРИМЕРЫ ЗАДАНИЙ
ЗАКРЫТОГО ТИПА
Один верный ответ
Средняя энергия нейтронов деления приблизительно равна
1) 0.5 МэВ 2) 1 МэВ 3) 2 МэВ 4) 10 МэВ
Внутри узкого изолированного резонанса устанавливается
спектр
1) Вигнера
2) Ферми
3) Максвелла
4) деления
Несколько верных ответов
Глубина выгорания ядерного топлива может измеряться в
1) МВт / т 2) % т.а. 3) кг оск./ т 4) КВт лет/кг 5) Дж
ПРИМЕРЫ ЗАДАНИЙ
ОТКРЫТОГО ТИПА
Задания на использование формул (алгоритмы)
Средняя длина свободного пробега нейтрона в среде с полным
макроскопическим сечением 0,5 1/см равна … см.
Задания на знания
В Российской Федерации сегодня работают … АЭС
ТРЕБОВАНИЯ К ТЕСТОВЫМ ЗАДАНИЯМ
НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ
Тестовое задание в котором необходимо определить
соответствие между группами элементов (терминов),
расположенных в двух столбцах.
Количество элементов списков не менее 3-х
Однозначное соответствие между элементами списков
Область использования
Свойства и признаки близких моделей (понятий, систем, …)
Определения терминов и понятий из одной области знаний
ПРИМЕРЫ ЗАДАНИЙ
НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ
Установите соответствие между списками
1) Уравнение переноса
2) Стационарное уравнение диффузии
3) Стационарное уравнение переноса
4) Уравнение диффузии моноэнергетических нейтронов
 
(r , , E , t )

( r , E )
 
(r , , E )

(r , t )
ТРЕБОВАНИЯ К ТЕСТОВЫМ ЗАДАНИЯМ
НА УСТАНОВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Тестовое задание в котором необходимо установить
правильную последовательность в группе элементов,
расположенных в одном столбце.
Количество элементов списков не менее 5-и
Область использования
Хронология событий (история, технологическая схема, алгоритм, …)
Упорядочивание по значению признака
(больше-меньше, выше-ниже, …)
ПРИМЕРЫ ЗАДАНИЙ
НА УСТАНОВЛЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ
Расставьте в хронологическом порядке
Реактор Ферми
Хиросима
Первая АЭС
Три-Майл-Айленд
Чернобыль
Расположите в порядке возрастания заряда ядра
Углерод
Ксенон
Торий
Уран
Америций
ПАРАМЕТРЫ ТЕСТОВЫХ ЗАДАНИЙ
ТРУДНОСТЬ ТЗ (норма трудности) – ожидаемая доля правильных
ответов при выполнении задания испытуемыми.
- количество концептов, необходимых для решения ТЗ;
- образ мышления, на который направлено ТЗ;
- форма ТЗ;
- уровень значимости ТЗ;
- глубина расположения ТЗ в спецификации;
- количество дистракторов.
Дифференцирующая сила – параметр, характеризующий успешность
выполнение ТЗ сильными и слабыми испытуемыми
Дифференцирующая (дискриминационная) способность (ТППТ)
РЕКОМЕНДАЦИИ К СОСТАВЛЕНИЮ
ТЕСТОВЫХ ЗАДАНИЙ
Фасет – форма записи нескольких вариантов одного и того же задания
Фасетными называются ТЗ, полученные путем замены одного (нескольких)
слов (символов, чисел) в базовом задании, что превращает его в другое
Задание аналогичное по содержанию и трудности
«Кластер» понятий – определения, свойства
A1 => B1, C1, D1, ….
A2 => B2, C2, D2, ….
Различным знаниям и умениям соответствуют различные тестовые задания
Фактологические (декларативные) – закрытые и открытые ТЗ
Процедурные (алгоритмические) – последовательность
Одно и тоже можно проверить заданиями различных типов
«От мелочей зависит совершенство,
а совершенство – это уже не мелочь»
Микельанжело
РЕКОМЕНДАЦИИ ПО СОСТАВЛЕНИЮ
БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ
1) Предтестовые задания в открытой форме
Вопросы, задания, ….
Проведение самостоятельных работ
2) Обработка результатов
Анализ типичных ошибок (дистракторы)
Отбраковка «пустых» заданий
Оценка трудности заданий и дифференцирующей силы
3) Составление блока тестовых заданий
Фасетные задания
Различные формы тестовых заданий
4) Экспертиза тестовых заданий
5) Тестирование студентов
6) Включение заданий в БТЗ