Требования к тестовым заданиям и БТЗ

Тесты как способ
независимой оценки
знаний и компетенций
студентов
Денисова Диана Аркадьевна
к.т.н., директор ЦМиККО,
доцент кафедры «ОиТФ»
1
ТЕСТ: ПОНЯТИЕ,
ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ
Житейское понимание: «проба, проверка, испытание».
Научное понимание «фиксированное по времени, стандартное
испытание служащее для установления количественных и
качественных различий по некоторым признакам между людьми
или группами людей.
ХАРАКТЕРИСТИКИ ТЕСТА:
1. Достаточно краток по времени.
2. Действует прицельно (т.е. измеряет конкретные качества).
3. Структура теста и принципы его обработки делают
возможным сравнение результатов различных людей и
сравнение результатов одного человека во времени.
2
ТЕСТЫ ДОСТИЖЕНИЙ: НАЗНАЧЕНИЕ, ВИДЫ
НАЗНАЧЕНИЕ ТД:
– диагностируют достигнутый уровень знаний, умений и
навыков;
– оценивают, что человек знает и что умеет делать к настоящему
времени;
– проводятся по итогам обучения или после определенных
этапов обучения, позволяют понять, насколько программа
усвоена и эффективна.
ВИДЫ ТД:
1. Широкоориентированные.
2. По конкретным учебным предметам.
3. По конкретным темам и комплексам тем.
3
Характеристики тестов
Надежность теста
точность и устойчивость процедуры измерения, ее
независимость от случайных варьирующих факторов
(показывает, в какой степени выявленные у испытуемых различия по
тестовым результатам являются отражением действительных различий в
измеряемых свойствах и в какой мере они могут быть приписаны случайным
ошибкам).
Признаки надежности теста:
• измеряет некое качество;
• делает это устойчиво во времени;
• позволяет
сравнивать
результаты
испытуемых,
протестированных в разное время, в разном месте, в
разном состоянии.
Факторы, снижающие надежность теста:
1. Внешние (условия тестирования).
2. Внутренние (особенности людей).
3. Социально-информационные (знания о тестировании и тестах).
4
Большинство методик не позволяют получить значения
коэффициентов надежности больше 0,7-0,8.
Валидность теста
характеристика теста, указывающая на его способность
измерять именно то, для чего он предназначен.
Валидность ≤ Надежности
Причина неравенства
•
Надежный тест измеряет
некое качество.
•
•
•
•
•
Валидный тест измеряет
качество, которое мы хотим
измерить.
Критерии валидизации
мнение педагогов о знаниях обследуемого в определенной
области;
академические оценки;
результаты контрольных проверок;
объективными
показатели
достижений
в
профессиональной сфере.
5
Дискриминативность теста
способность теста дифференцировать испытуемых по
изучаемому признаку.
Репрезентативность теста
свойство
выборочной
совокупности
представлять
характеристики генеральной совокупности (можно считать, что
представленное в выборочной совокупности распределение изучаемых
признаков соответствует их реальному распределению).
Назначение репрезентативности
Репрезентативность теста показывает, насколько результаты
выборки стандартизации могу быть перенесены на тех людей,
на которых будет проводиться тест.
6
Длительность теста
Оптимальное время тестирования – время от начала
процедуры до момента наступления утомления.
Рекомендации:
1. Время тестирования не более 60 минут.
2. Длина теста не более 60-70 заданий (в предположении,
что на одно задание не более одной минуты).
3. Тестирование в первой половине дня.
4. В середине недели.
7
Нормативно-ориентированные и
критериально-ориентированные тесты
Нормативно-ориентированный тест
Ранжирует испытуемых по уровню знаний.
Цель: упорядочение испытуемых по уровню подготовленности.
Критериально-ориентированный тест
Выявляет факт усвоения испытуемым данного материала.
Цель: выяснить, знает ли испытуемый стандартный материал.
8
ПРИНЦИПЫ РАЗРАБОТКИ
ТЕСТОВЫХ ЗАДАНИЙ
Эффективным является такой тест, который «лучше, чем другие
тесты, измеряет знания студентов интересующего уровня
подготовленности, с меньшим числом заданий, качественнее,
быстрее, и все это - по возможности одновременно».
В.С. Аванесов
По В.C. Аванесову задание в тестовой форме это педагогическое
средство, отвечающее следующим требованиям:
1. Цель.
2. Краткость.
3. Технологичность.
4. Логическая форма высказывания.
5. Определенность места для ответов.
6. Одинаковость правил оценки ответов.
7. Правильность расположения элементов задания.
8. Одинаковость инструкции для всех испытуемых.
9. Адекватность инструкции форме и содержанию задания. 9
ВАЖНО!
• Следует различать задания в тестовой форме и тестовые
задания.
• Только после статистической проверки задание в тестовой
форме может стать тестовым заданием.
• Тест состоит не из заданий в тестовой форме, не из вопросов
и задач, а только из тестовых заданий!
Тестовое задание – это составная единица теста,
отвечающая требованиям к заданиям в тестовой форме и,
кроме того, статистическим требованиям:
1. Известной трудности.
2. Дифференцирующей способности (достаточной вариации
тестовых баллов).
3. Положительной
корреляции
баллов
задания
с баллами по всему тесту, а также другим математикостатистическим требованиям.
10
Вопросы, которые должен решить автор
при разработке теста:
•
•
•
•
Каково должно быть содержание тестовых заданий?
Как правильно сконструировать тестовые задания?
Как правильно составить из тестовых заданий тесты?
Как
убедиться
в
валидности,
надежности,
дискриминативности
тестов
и
при
необходимости
скорректировать их?
Этапы подготовки банка ТЗ
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Определение структуры учебной дисциплины.
Отбор содержания учебного материала.
Формулировка тестовых заданий.
Экспертиза качества ТЗ.
Определение целей тестирования.
Конструирование технологической матрицы и ее экспертиза.
Построение выборки для предварительного испытания теста.
Апробация теста и изучение результатов.
Стандартизация теста.
11
Подготовка учебных материалов для публикации.
Определение структуры учебной дисциплины
и отбор учебного материала
• Содержание тестовых заданий для контроля усвоения
знаний по конкретной дисциплине определяется в первую
очередь рабочей программой дисциплины, которая в свою
очередь составляется в соответствии с государственным
образовательным стандартом (ГОС ВПО или ФГОС
ВПО).
• Авторы – разработчики теста (преподаватели) должны
определить наиболее существенные, ключевые понятия и
определения курса, для проверки понимания которых и
будут далее сформулированы тестовые задания.
• Таким образом, содержательная валидность теста
обеспечивается авторами учебных материалов.
12
Технологическая матрица БТЗ:
• представляет в компактной форме информацию о структуре
БТЗ, составных дидактических единицах, видах используемых
интеллектуальных действий при выполнении определенного
количества тестовых заданий;
• может быть построена с разной степенью детализации, что
позволит обоснованно определить качество и структуру
самого БТЗ;
• может быть разработана как по всему содержанию
дисциплины, так и по отдельным, наиболее крупным темам
или нескольким логически связанным темам дисциплины.
Вид технологической матрицы БТЗ выбирается разработчиком
БТЗ самостоятельно, но в ней должны быть отражены
контролируемые дидактические единицы, их содержание, т.е.
название и количество тестовых заданий, виды проверяемых
интеллектуальных действий.
Перед тем как приступить к конструированию тестовых заданий,
полезно сделать список объектов контроля: основных понятий,
фактов, принципов, условий работы чего-то и т.п.
13
Технологическая матрица БТЗ дисциплины
«Современные средства оценивания результатов обучения»
14
Конструирование тестовых заданий
В тестах учебных достижений выделяют следующие формы
тестовых заданий:
•
закрытая (в том числе задания с несколькими вариантами
выбора и альтернативные задания);
•
открытая;
•
на установление соответствия;
•
на установление правильной последовательности.
Выбор формы ТЗ зависит прежде всего от цели тестирования,
содержания теста, технических возможностей, а также уровня
подготовленности преподавателя в области теории и методики
тестового контроля знаний.
15
Задание в закрытой форме
- задание, к которому дается список ответов.
*Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят
из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ»,
16
сентябрь 2006.
Задание в открытой форме
- требует ответа, сформулированного самим обучаемым
(подразделяются на задания со свободным (т. е.
произвольным) ответом и на задания с ограничениями на
ответ).
Примеры возможных ограничений:
• ограничение по количеству слов в ответе (рекомендуется не
более двух) или ограничение длины поля ввода;
• ограничение по характеру вводимой информации (численная
или текстовая);
• ограничения в формате ввода ответа (например, указание, с
какой точностью должна быть введена десятичная дробь или
как вводить символы, отсутствующие на клавиатуре).
Все ограничения вводятся с единственной целью:
чтобы тестирующая программа могла сравнить ответ
испытуемого с хранящимся в ее памяти правильным ответом
17
и выявить их соответствие или несоответствие.
Задание на установление соответствия
- задания, в которых объектам одной группы надо
поставить в соответствие объекты другой группы.
*Пример задания, выполненного в конструкторе АСТ-тест, взят из презентации
директора ЦТПО В.И.Васильева «Методология и концепция КАТ», сентябрь 2006.
18
Задание на упорядочение (на установление
правильной последовательности)
- задания, в которых требуется определить порядок следования
предложенных объектов (символов, слов, формул, рисунков).
*Пример корректного типового задания, выполненного в конструкторе АСТ-тест, взят
из презентации директора ЦТПО В.И.Васильева «Методология и концепция КАТ»,
19
сентябрь 2006.
ВАЖНО!
• Одни и те же задания могут быть представлены в различных
формах. Следует выбирать ту из них, в которой вопрос
формулируется более кратко и понятно, а вероятность
угадывания правильных ответов меньше.
• Если задания в различных формах выглядят в равной степени
эффективными, то выберите из них тот тип, который менее
всего представлен в тесте.
20
I. Требования к названию БТЗ
Для всех курсов одной дисциплины - единый БТЗ.
Название БТЗ совпадает с названием дисциплины по ГОС.
В исключительных случаях (различные требования по
ГОС):
допускается формирование разных БТЗ для курсов одной
дисциплины, название может совпадать с названием курса.
Пример:
Общая физика
Отечественная история
II. Требования к названию теста
Название теста формируется в соответствии со следующими
правилами:
пишется название курса, запятая, пробел, тест или АКР,
запятая, пробел, модуль№.
Пример:
Отечественная история, тест, модуль2
Физика1/3, АКР, модуль7
21
III. Требования к структуре БТЗ
Структура БТЗ формируется в соответствии со структурой
дидактических единиц.
Если руководитель дисциплины предлагает иную структуру, то
данное изменение должно быть обосновано.
Рекомендуемое количество уровней в структуре БТЗ – четыре.
Пример: дисциплина «Общая физика»
№
ДЕ
1
Механика
Наименование
дидактической единицы ГОС
2
Молекулярная (статистическая) физика и термодинамика
3
Электричество и магнетизм
4
Механические и электромагнитные колебания и волны
5
Волновая и квантовая оптика
6
Квантовая физика, физика атома
7
Элементы ядерной физики и физики элементарных частиц
22
Перечень дидактических единиц по дисциплинам со структурой до
второго уровня для каждой специальности представлен на
официальном сайте ФЭПО: http://www.fepo-nica.ru
Название ДЕ
№ ДЕ
Тема задания
Общая физика
Механика
1
Кинематика поступательного и вращательного движения
2
Динамика точки и поступательного движения твердого
тела
3
Динамика вращательного движения твердого тела
4
Работа. Энергия. Закон сохранения механической энергии
5
Законы сохранения момента импульса и энергии
6
Элементы специальной теории относительности
Отечественная история
Теория и
методология
исторической
науки
1
Функции истории
2
Методы изучения истории
3
Методология истории
4
Историография истории
23
Где можно взять информацию
по дидактическим единицам дисциплины?
сайт http://www.fepo-nica.ru
Раздел «МЕТОДИЧЕСКАЯ ПОДДЕРЖКА» –
подраздел «тестовые материалы»
24
Содержание государственных образовательных
стандартов, структуры АПИМ и демо-варианты
25
Выбрать шифр направления
подготовки/специальности и дисциплину – нажать
кнопку «Вывести содержание ГОС, структуру
АПИМ и демо-вариант»
26
27
ВАЖНО!
• Официально утвержденных Министерством образования
стандартных требований к составлению тестовых заданий на
сегодняшний день нет.
• Приведенные ниже требования носят рекомендательный
характер.
Требования к составлению тестовых заданий
1.
2.
3.
4.
Тестовое задание (ТЗ) должно быть представлено в
форме краткого суждения, сформулированного четким
языком и исключающего неоднозначность заключения
тестируемого на требования тестового утверждения.
Содержание задания должно отвечать требованиям ГОС.
Все варианты ответов должны быть грамматически
согласованы с основной частью задания.
Избегайте вводных слов и предложений, а также таких
слов как «иногда», «никогда», «всегда», «часто»,
«каждый» и т.п., в которых обычно
содержится
28
двусмысленность или противоречие.
Тестовое задание не должно содержать повторов,
двойных отрицаний и сленга. Не следует использовать
отрицание (тестироваться должны позитивные знания!).
6. В тестовом задании не должно отображаться
субъективное мнение или понимание отдельного автора.
7. Формулировка тестового задания должна быть выражена
в повествовательной форме, в форме логического
высказывания (вопрос исключается)
8. В формулировке ТЗ не должно быть повелительного
наклонения (выберите, вычислите, укажите и т.д.)
Чем лаконичнее задание, тем лучше оно воспринимается.
Пример:
 Выберите из перечисленного ниже списка факторы,
влияющие на … :
 Факторы, влияющие на … :.
9. Ответ на поставленный вопрос не должен зависеть от
предыдущих ответов студента.
10.Формулировки заданий и ответов должны быть краткими,
ясными и не содержать прямых или скрытых подсказок. 29
5.
11. Форма ТЗ должна быть узнаваемой и не требовать
дополнительных пояснений по способу ввода тестируемым
заключения.
12. Требования к заданиям закрытого типа:
•
Не должно быть заведомо ложных, а также явно
выделяющихся, обособленных ответов.
•
Лучше «длинный» вопрос и «короткие» ответы, чем
наоборот.
•
Количество дистракторов в задании должно находится в
пределах от 4 до 6.
•
Недопустимы ответы типа: все вышеперечисленное верно,
все указанные ответы неверны и т.д.
13. Задание должно быть составлено с учетом того, что среднее
время его предъявления на экране составляет 2-3 минуты
(максимум – 5 минут), из которых на ответ отводится около
одной минуты.
30
Рекомендации по назначению нормы трудности
тестовых заданий (Попов Д.И., МГУП, Москва)
Наиболее простой формой ТЗ считается закрытая форма.
Самая сложная форма ТЗ - на упорядочение и на соответствие.
Назначение нормы трудности можно осуществлять, исходя из
принадлежности ТЗ основному и дополнительному материалам
(уровень значимости ТЗ).
Норма трудности ТЗ может оцениваться с учетом количества
используемых формул, правил, аксиом и т.д., необходимых для
поиска правильного решения.
Увеличение количества дистракторов также влияет на
увеличение нормы трудности ТЗ.
К простым относят ТЗ:
• направленное на «опознание» какого-то объекта или на
проверку «знания-знакомства».
• направленное на выбор одного варианта ответа из многих с
помощью знания всего одного концепта (формулы, правила,
аксиомы и т.д.).
• открытого типа, направленное на выявление знания
31
определения односложного базового термина.
К среднему уровню сложности относят ТЗ:
•
направленное на применение усвоенных ранее знаний в
типовых ситуациях (т.е. в тех ситуациях, с которыми знаком
испытуемый) или на проверку «знаний воспроизведения
копии».
по выбору подмножества правильных вариантов из заданного
множества дистракторов.
•
К высокому уровню сложности относят ТЗ:
•
•
направленное на применение усвоенных знаний и умений в
нестандартных условиях (т.е. в условиях, ранее не знакомых
испытуемому) или на проверку «знаний умения и
применения».
требующие применения рассуждений в форме дедуктивного,
индуктивного вывода и аналогии, причем для получения
окончательного
ответа
необходима
некоторая
последовательность умозаключения (несколько концептов).
32
Рекомендации по составлению теста с учетом
норм трудности ТЗ
1.
2.
3.
Правильное расположение тестовых заданий в тесте повышает их
валидность. Традиционно ТЗ располагаются в порядке возрастающей
трудности.
NB! При компьютерном тестировании используется автоматическое
перемешивание вопросов, при котором это условие не выполняется.
NB! При компьютерном адаптивном тестировании сложность
предъявляемых ТЗ регулируется тестовой системой автоматически в
процессе тестирования и зависит от ответов тестируемого.
Традиционно в тесте используется большее количество ТЗ средней
трудности (60-70%).
Количество разрабатываемых заданий в тесте должно превышать
предполагаемую длину теста как минимум в 10 раз.
33
Рекомендуемая литература
1.
2.
3.
4.
5.
6.
7.
8.
Аванесов В.С. Формы тестовых заданий. — М.: МИСиС, 1991.
Васильев В.И., Киринюк А.А., Тягунова Т.Н. Требования к
программно-дидактическим
тестовым
материалам
и
технологиям
компьютерного
тестирования.
—
М.:
Издательство МГУП, 2005.
Клайн П. Справочное руководство по конструированию тестов.
Киев: ПАН-ЛТД, 1994.
Майоров А.Н. Теория и практика создания тестов для системы
образования. — М., "Интеллект-центр", 2001.
Переверзев В.Ю. Технология разработки тестовых заданий:
справочное руководство. – М.: Е-Медиа, 2005. - 265с.
Романов А. Н., Торопцов В.С., Григорович Д.Б. Технология
дистанционного обучения в системе заочного экономического
образования. — М.: ЮНИТИ-ДАНА, 2000.
Требования к оформлению тестовых заданий для включения в
банки контрольных тестов по учебным дисциплинам ГОС
ВПО. – Барнаул : БГПУ, 2007. – 24с.
Шапкин В.В. Диагностика обученности с применением
тестирования: Учебное пособие для слушателей курса
34
повышения квалификации - СПб.: ГОУ ИПК СПО, 2007. - 84 с.
Примеры составления
тестовых заданий
35
1. Ключевое слово отсутствует.
2. Не компактность
36
Термин «специальная» в названии «Специальная теория
относительности» означает, что она разработана для
решения:
а) задач со специальными инерциальными системами отсчета
б) специальных задач с околосветовыми скоростями
в) специальных задач с относительностью движения
г) задач со специальными неинерциальными системами
отсчета
1. Ключевое слово отсутствует.
2. Не компактность.
3. Повторы.
4. Неравнозначные дистракторы
ЗАДАЧИ, РЕШЕНИЕ КОТОРЫХ ПОДЧЕРКИВАЕТСЯ
ТЕРМИНОМ «СПЕЦИАЛЬНАЯ» В НАЗВАНИИ
«СПЕЦИАЛЬНАЯ ТЕОРИЯ ОТНОСИТЕЛЬНОСТИ»:
а) с инерциальными системами отсчета
б) с околосветовыми скоростями
в) с относительностью движения
г) с неинерциальными системами отсчета
37
Выбор ведущих методов психолого-педагогического
исследования обусловлен в первую очередь:
а) концептуальными ориентирами
б) методологическими установками
в) характером, предметом и задачами исследования
1. Мало дистракторов.
2.
Используется
слово
с
неопределенностью (в первую очередь).
3. Неравнозначные дистракторы.
ВЫБОР МЕТОДОВ ПСИХОЛОГО-ПЕДАГОГИЧЕСКОГО
ИССЛЕДОВАНИЯ ОБУСЛОВЛЕН:
а) концепцией
б) методологией
в) характером
г) предметом
38
д) задачами
*Пример взят из презентации «Разработка тестовых
материалов для Федерального Интернет-экзамена в сфере
профессионального образования (ФЭПО)» зам. начальника
отдела педагогических измерений ФГУ «Росаккредагентство»
А.В.Капустина, Москва, 15.10.2010
39
*Пример взят из презентации «Разработка тестовых
материалов для Федерального Интернет-экзамена в сфере
профессионального образования (ФЭПО)» зам. начальника
отдела педагогических измерений ФГУ «Росаккредагентство»
А.В.Капустина, Москва, 15.10.2010
40