доказательства.

Как писать хорошие
тестовые задания
Цели на сегодня
Участники будут иметь возможность:
•
Узнать о подходе к оценке результатов обучения (РО)
на основе «доказательств» и «заданий»
•
Изучить относительные преимущества и недостатки
использования заданий множественного выбора,
открытых заданий и заданий на выполнение действия
•
Понять, как эффективно использовать задания
множественного выбора, открытые задания
•
Рассмотреть схемы оценивания
•
Попрактиковаться в составлении схемы оценивания
•
Рассмотреть статистические характеристики хороших
тестовых заданий
Другие
ожидания или
надежды от
семинара?
Структура семинара
Раздел I: Оценка результатов обучения
Раздел II: Задания множественного выбора, открытые
задания или задания на выполнение действия?
Раздел III: Эффективное использование заданий
множественного выбора
Раздел IV: Эффективное использование открытых
заданий
Раздел V: Как свести все вместе?
Раздел VI: Статистические характеристики заданий
Раздел I
Оценка результатов обучения
Что такое результаты обучения (РО)?
• Результаты обучения – это накопленные знания, навыки
и убеждения, сформированные учеником в процессе
обучения.
• Результаты обучения могут выражаться и измеряться на
уровне класса, программы или учебного заведения.
• Результаты обучения отражают переход от вопроса
«Чему я учу?» к вопросу «Чему учатся мои ученики?»
Типичные результаты обучения
• «Ученики будут эффективно передавать и обмениваться
информацией»
• «Коммуникация: использовать язык и невербальные
формы выражения, соответствующие аудитории и цели»
• «Ученики будут демонстрировать навыки критического
мышления»
• «Ученики будут понимать способы исследования в
основных дисциплинах»
• «Ученики будут способны оценивать то, что создано
человеком»
• «Ученики будут способны интерпретировать материал,
представленный в письменной, вербальной, невербальной
и графической форме»
Что дальше!?
Результаты обучения должны …
Результаты обучения должны
иметь смысл
Чтобы быть иметь смысл,
результаты обучения должны быть
измеримыми.
Результаты обучения должны… иметь
смысл.
Если вы хотите знать, достигли ли ваши
ученики результатов обучения, вам
нужны …
Если вы хотите знать, достигли ли ваши
ученики результатов обучения, вам
нужны доказательства.
Доказательства
• Пример РО: «Ученики будут
демонстрировать навыки критического
мышления»
• Каковы будут доказательства этого?
Доказательства
– Ученики умеют определять
предположения в аргументации.
– Ученики умеют отличать факты от
мнения.
– Ученики умеют составить логически
обоснованную аргументацию.
– Ученики могут сформулировать
гипотезу.
Как можно получить
доказательства?
Как можно получить
доказательства?
• Тщательно и продуманно создавая
задания («вопросы» или «тестовые
задания»), которые покажут, достиг ли
ученик результатов обучения.
РО – Доказательство – Задание
РО
Доказательство
Задание
РО
Ученики будут
демонстрировать
навыки
критического
мышления
Доказательство
Пример задания
Ученики могут
распознавать
предположения в
аргументации.
Попросите учеников выявить
предположения в эссеаргументации.
Ученики умеют
отличать факты от
мнения.
Дайте газетную статью и
попросите выявить
утверждения, которые
представляют мнение.
Ученики умеют
составить логически
обоснованную
аргументацию.
Попросите написать эссе в
котором ученик должен
защитить или выступить против
определенной позиции.
Ученики умеют
сформулировать
гипотезу.
Дайте пример научного
результата и попросите
предоставить возможные
объяснения, благодаря чему
получен такой результат.
Практическое задание
• Пример РО: «Ученики будут
демонстрировать эффективные навыки
коммуникации»
• Как вы будете знать, что ученик этого достиг?
(=Доказательство)
• Какого рода вопросы или виды работы
предоставят такие доказательства?
(=Задания)
РО
Доказательство
Ученики могут
общаться, используя
Ученики будут
демонстрировать стандартный вариант
эффективные
английского языка в
навыки
академическом и
коммуникации
профессиональном
контексте.
Пример задания
Попросите учеников
написать письмо в
ответ на
воображаемое
объявление о приеме
на работу.
РО
Доказательство
Пример
задания
Ученики будут
демонстрировать
эффективные
навыки
коммуникации
Ученики могут
общаться, используя
стандартный
вариант английского
языка в
академическом и
профессиональном
контексте.
Попросите
учеников написать
письмо в ответ на
воображаемое
объявление о
приеме на работу.
Тип задания
Целевые навыки,
которые
оцениваются
Тип задания
Выбор из
Расширенный
вариантов
ответ
ответов/
Краткий ответ
Задания на
выполнение
действия
Наблюдение/
Беседа
Знания/
Хорошо
воспроизведение
подходит
Хорошо
подходит
Не подходит
Частично
подходит
Логика/
стратегическое
мышление
Частично
подходит
Хорошо
подходит
Хорошо
подходит
Хорошо
подходит
Выполнение
действия
Не подходит
Не подходит
Хорошо
подходит
Частично
подходит
Применение/
продукты
Не подходит
Частично
подходит
Хорошо
подходит
Не подходит
Раздел II
Задания множественного выбора
Сильные стороны, слабые стороны и трудности,
связанные с заданиями множественного выбора
Сильные стороны
• Проверка и оценка таких заданий просты и не требуют
больших затрат.
• Задания позволяют кратко ответить на вопрос.
• Формат ответа однозначный и простой для понимания,
высокая вероятность того, что ученики будут правильно
интерпретировать вопрос.
• При тщательно продуманных дистракторах можно выявить
ошибочные представления в хорошо понимаемых сферах.
• Задания быстро и эффективно оценивают знания в
широком спектре описательной информации (однако это
может быть менее полезно в математике, чем в других
областях).
• Задания имеют высокую способность к прогнозированию.
Сильные стороны, слабые стороны и трудности, связанные
с заданиями множественного выбора
Слабые стороны и трудности
• Более низкая надежность из-за случайного угадывания.
• Менее репрезентативны для заданий в реальной жизни.
• Без предварительного анализа когнитивной задачи, эти задания
могут быть менее диагностическими, поскольку
распространенные ошибочные представления не будут включены
в дистракторы.
• Нет возможности распознать методы решения; нет возможности
непосредственно оценить мышление и аргументацию.
• Возможно, более уязвимы к применению методов решения, не
связанных с конструктом, в зависимости от целей оценивания и
структуры заданий.
• Необходимо моделирование дистракторов и основы.
• Меньше подходят для оценивания с помощью промежуточных
балов, если не предусмотрены коэффициенты для вариантов
ответов.
• Могут быть более уязвимы к угрозам безопасности, чем некоторые
виды открытых заданий.
Описание
– Терминология
– Типы заданий
• Открытая основа
• Закрытая основа
• Отрицательный ответ
• Римские цифры
Описание
– Варианты ответов
•
Параллельные конструкции в вариантах
ответов
•
«НИЧТО ИЗ ПРИВЕДЕННОГО ВЫШЕ»
или «НЕВОЗМОЖНО ОПРЕДЕЛИТЬ»
•
Формат таблицы
•
Парные термины
Терминология тестового задания
• ЗАДАНИЕ Тестовый вопрос с вариантами ответа
• ОСНОВА
Часть тестового задания, в которой
задается вопрос или предлагается утверждение,
которое необходимо закончить.
Терминология тестового задания
• СТИМУЛ Отрывок для чтения, стих, цитата,
график, иллюстрация, фотография или другой
материал, используемый для стимулирования
ответа на тестовое задание. Стимул обычно
предшествует основе.
• НАБОР Группа тестовых заданий с общим
стимулом.
Терминология тестового задания
• ВАРИАНТЫ Предлагаемые ответы на вопрос
для выбора
• КЛЮЧ Правильный ответ
• ДИСТРАКТОРЫ
Неверные варианты ответа
• МАКЕТ Распечатанный экземпляр тестового
задания, который подается на редактирование
Терминология тестового задания
СТИМУЛ
Широко раскрытыми глазами ткач смотрел, как гусеницашелкопряд вьет себе кокон на белой шелковице.
«Где ты берешь эту нить?» - спросил восхищенный ткач.
«Ты хочешь что-то из нее сделать?» - с охотой откликнулся
шелкопряд.
Но потом и ткач, и шелкопряд пошли каждый своей дорогой,
потому что каждый подумали, что другой его обидел. Мы живем,
человек и гусеница, в такое время, когда почти все может означать
что угодно, поскольку это век бюрократической абракадабры,
скрытого смысла и пустословия.
МОРАЛЬ: Слова мудрецу недостаточно, если оно лишено смысла.
From Further Fables for Our Time, published by Simon & Schuster.
Copyright 1956 James Thurber
Шелкопряд употребил слово «сделать» ОСНОВА
(строка 4) как синоним слову:
(A) подразумевать
ДИСТРАКТОР
(Б) организовать
(В) начать
КЛЮЧ
(Г) нарисовать
(Д) сплести
ЗАКРЫТАЯ ОСНОВА
В задании с закрытой основой, основа представляет вопрос. В таком
задании варианты ответа начинаются с заглавной буквы. Если варианты
ответа не являются законченными предложениями, точка не ставится. В
заданиях, где вариантами ответа являются цифры, диаграммы, таблицы,
или в заданиях с форматом римских цифр основа должна быть
закрытой.
ПРИМЕР: Какие из перечисленных ниже мер были характерны для
Нового национализма, Новой свободы и Нового курса?
(A) Сокращение государственного долга
(Б) Устранение влияния лобби на законодательство
(В) Уничтожение крупных бизнес корпораций
(Г) Регулирование экономики в национальных интересах
(Д) Усиление позиции руководства в переговорах с трудовыми
коллективами
ВОПРОС С ОТРИЦАНИЕМ
Слова НЕТ, НЕ МОГУТ, КРОМЕ, НАИМЕНЕЕ, НЕВЕРНО или
НЕПРАВИЛЬНО пишутся заглавными буквами, только если они
используются как ключевые слова в основе, которая требует
отрицательного или неожиданного ответа от того, кто проходит тест. В
таком типе задания, если убрать отрицательные слова из основы, все
дистракторы являются правильным или подходят к основе, КРОМЕ
ключа.
ПРИМЕР: Сгорание бензина в цилиндре двигателя автомобиля
включает все перечисленное ниже, КРОМЕ
(A)
(B)
(C)
(D)
(E)
окисления
восстановления
распада
экзотермической реакции
превращения энергии в вещество
РИМСКИЕ ЦИФРЫ
Формат с использованием римских цифр требует закрытой основы и не может
содержать отрицание. Варианты ответа должны быть представлены по
возрастанию, как в отношении римских цифр, так и по количеству элементов.
Одна и та же римская цифра не может быть включена во все варианты ответа.
Слово «только» добавляется в тех вариантах, которые не содержат все римские
цифры, используемые в основе. Иногда слово «только» не используется в
вариантах, которые содержат наибольшее количество элементов.
ПРИМЕР: Что из перечисленного ниже частично стало
результатами иммиграционной политики США во второй половине 19го века?
I. Дешевая рабочая сила
II. Рост городского населения
III. Оппозиция со стороны организованной рабочей силы
IV. Снижение рождаемости
(A)
(Б)
(В)
(Г)
(Д)
только I и II
только III и IV
только I, II и III
только I, II и IV
I, II, III и IV
Слово «только» не нужно в вариантах ответа в примере ниже, поскольку
в основе спрашивается о двух возможных ответах.
ПРИМЕР: Какие две из перечисленных ниже фигур являются
четырехугольниками?
I.
II.
III.
IV.
Треугольник
Квадрат
Прямоугольник
Круг
(A)
(Б)
(В)
(Г)
(Д)
I и II
I и III
II и III
II и IV
III и IV
В таких заданиях одна и та же римская цифра не может быть включена
во все варианты ответа.
Типы тестовых заданий
ЗАДАНИЯ С ОТКРЫТОЙ ОСНОВОЙ
В таком формате сочетание основы и варианта ответа представляет
собой законченное предложение. Варианты начинаются со
строчных букв, точки не ставятся.
ПРИМЕР: Главное причиной большого диапазона
коротковолнового радио является
(А) отражение ионосферной волны
(Б) мощность передатчика
(В) направление земной волны
(Г) два набора волн, излучаемых всеми антеннами
(Д) высота слоя Кеннели-Хевисайда
Любые вводные слова или фразы, которые являются общими для
всех вариантов ответа должны входить в основу.
ЗАДАНИЯ С НЕСКОЛЬКИМИ
ПРАВИЛЬНЫМИ ВАРИАНТАМИ ОТВЕТОВ
Все участники программы авиационной подготовки должны
сдать письменный тест и тестовый полет. Если 70% участников
сдали письменный тест, какой процент участников сдадут оба
теста?
Какие два из предложенных ниже утверждений вместе дадут
достаточную дополнительную информацию для ответа на этот вопрос?
В программе было120 участников.
24 участника не сдали тестовый полет.
10% участников не сдали оба теста.
30% участников не сдали письменный тест.
80% участников сдали тестовый полет.
20% участников сдали только тестовый полет.
ЗАТРАТЫ НА ДОСТАВКУ ОДНОЙ КАРТОННОЙ УПАКОВКИ ОТ ФАБРИК
ДО МАГАЗИНОВ КОМПАНИИ W
Фабрика 1
Магазин 1
Магазин 2
$40
$100
Фабрика 2
$80
$30
Компания W продает продукцию в картонной таре из 2 фабрик в 2 магазина.
Магазину 1 нужно 160 упаковок, магазину 2 нужно 40 упаковок, а каждая
фабрика может отправить не больше 100 упаковок. Сколько упаковок должна
отправить каждая фабрика в каждый магазин, чтобы выполнить эти
требования и минимизировать затраты на доставку? Запишите ответы в
таблице.
Количество упаковок, которое необходимо отправить из каждой фабрики в каждый
магазин
Магазин 1
(нужно 160)
Фабрика 1
(имеет 100)
Фабрика 2
(имеет 100)
Магазин 2
(нужно 40)
Общая сумма, которую Мэри заплатила за книгу, была равна
цене книги плюс налог на продажу в размере 4 процентов от
цены книги. Чтобы оплатить покупку, Мэри дала кассиру 10долларовую банкноту. Кассир вернул Мэри сумму, которая
была меньше 3 долларов.
Для каждого из предложенных утверждений, укажите, является
оно верным или неверным.
Утверждение
Цена книги меньше $9.50.
Цена книги больше $9.50.
Налог на продажу меньше
$0.45.
Скорее
всего
верно
Скорее
всего
неверно
Может быть
верным или
неверным
Список состоит из пяти чисел в порядке
возрастания.
• среднее арифметическое этих пяти чисел больше 14
Утверждения • второе число в списке больше 14
• медиана этих пяти чисел больше 14
Если
Тогда
Разместите два из трех утверждений в графы таким образом,
чтобы получившееся утверждение «если – тогда» было верным.
Задания на достаточность данных
Вопросы составлены так, чтобы
• измерить способность анализировать
количественную задачу;
• определить, какая информация является
релевантной и на каком этапе достаточно
информации для решения задачи.
Задания на достаточность данных
Такие задания состоят из вопроса, который
часто сопровождается какой-либо
первоначальной информацией (которой
недостаточно , чтобы дать ответ на вопрос) и
двух утверждений (1) и (2), которые содержат
дополнительную информацию.
Каждое задание на достаточность данных
имеет одни и те же фиксированные пять
вариантов ответа, а именно:
(A) утверждение (1) САМО ПО СЕБЕ является достаточным, но
утверждение (2) само по себе не является достаточным, чтобы
ответить на заданный вопрос;
(Б) утверждение (2) САМО ПО СЕБЕ является достаточным, но
утверждение (1) само по себе не является достаточным, чтобы
ответить на заданный вопрос;
(В) ОБА утверждения (1) и (2) ВМЕСТЕ являются достаточным,
чтобы ответить на заданный вопрос, но НИ ОДНО утверждение
САМО ПО СЕБЕ не является достаточным;
(Г) КАЖДОЕ утверждение САМО ПО СЕБЕ является достаточным,
чтобы ответить на заданный вопрос;
(Д) утверждения (1) и (2) ВМЕСТЕ НЕ являются достаточным,
чтобы ответить на заданный вопрос, и необходимы
дополнительные данные по этой конкретной задаче.
Написание тестовых заданий: Основные
понятия
Если кто-либо
неверно понял
вопросы, это изза отсутствия
необходимых
знаний, навыков
и способности, а
не потому, что
кому-то сложно
понять вопрос.
При написании заданий
спросите себя:
 Соответствует ли уровень лексики
данной аудитории?
 Четко ли сформулировано задание?
 Кратко ли изложено задание?
 Являются ли знания, навыки и
способность, которые измеряет
задание, важными и стоящими для
измерения?
Знания, Навыки, Способность
Не используйте
предложение, в
котором
говорится об
абортах, для
проверки
грамматики.
При написании заданий
спросите себя :
 Основано ли задание на спорных или
вызывающих негативные эмоции
вопросах или мнениях, которые не
связаны со спецификациями теста?
 Нарушает ли это правила
справедливости?
 Направлено ли задание на
использование специализированных
знаний?
При написании заданий…
 Не старайтесь изобретать «каверзные»
вопросы, используя незначительные,
мелкие детали для того, чтобы вариант
ответа был неправильным.
 Не старайтесь «заманить» ученика,
чтобы тот выбрал неправильный ответ.
 Проверять знания незначительных
отличий приемлемо, если это
действительно важно.
Правила написания основы
•
Три «Я»: Ясность – Ясность –Ясность
•
Неприемлемая, некорректная основа:
Автор считает, что
(А) общественность недостаточно
информирована
(Б) не все города имеют одинаковые
потребности
(В) изменения не будут популярными
Правила написания основы
•
Три «Я»: Ясность – Ясность –Ясность
•
Приемлемая, корректная основа:
Автор считает, что начальной реакцией на
изменения будет
(А) возмущение избирателей
(Б) референдум о праве избирать
(В) движение за отстранение мэра
Правила написания основы
• Будьте краткими! Вопрос не должен превращаться
в чтение-марафон:
• ПЛОХО!
Значение слово «окрас» в строке x меняется в
зависимости от того, как его использует автор.
В словосочетании «окрас – это маскировка»
окрас означает…
Правила написания основы
• Пример: ХОРОШО!
В словосочетании «окрас – это маскировка»
окрас означает…
• Не делайте основу длиннее, чем это
необходимо, чтобы вопрос был ясен.
Правила написания ключа
• Ключ не должен выделяться
 Не должен быть самым длинным вариантом
ответа
 Не должен быть самым коротким вариантом
ответа
• Ключ не должен контрастировать с другим
вариантом ответа
 Если один из вариантов «внутри солнечной
системы», а другой – «вне солнечной системы»,
то какой-то из них должен быть правильным.
Правила написания вариантов
ответа
• Избегайте частичного совпадения
В каком возрасте обычно ребенок готов
посещать детский сад?
(A)
(Б)
(В)
(Г)
в четыре года
в возрасте от четырех до шести лет
в пять лет
в шесть лет
Правила написания вариантов
ответа
• Порядок вариантов ответа
Какое из данных чисел является простым
числом?
(A) 22
(Б) 17
(В) 12
(Г) 4
(Д) 1
Правила написания вариантов
ответа
• Все варианты должны сочетаться с основой
– быть параллельными
Колумб переплыл океан, чтобы
(A) показать, что Земля круглая
(Б) заработать денег
(В) править индейцами
(Г) он не намеревался, а просто сбился с пути
Правила написания вариантов
ответа
• Все варианты должны сочетаться с основой
– быть параллельными
Что из перечисленного ниже является
инструментом струнной части оркестра?
(A) гобой
(Б) контрабас
(В) пикколо
(Г) дирижер
Правила написания ключа
• Избегайте использования ассоциаций с
профессиональным жаргоном и клише:
Вариант «Рассказ автора о своем детстве
говорит о том, что люди учатся на своих
ошибках» может быть выбран путем
угадывания, просто потому что «звучит»
правильно.
Правила написания дистракторов
• Это самое сложное!
• Используйте дистракторы, чтобы
регулировать сложность задания.
• Дистракторы должны быть
резонными, но неправильными –
должны быть привлекательными для
тех, у кого не сформированы знания,
навыки и способности.
Правила написания дистракторов
•
Дистракторы должны быть параллельными
синтаксически и грамматически, А ТАКЖЕ иметь смысл.
• Избегайте «категоричных указателей» – всегда, никогда
Что из перечисленного ниже верно по отношению к Х?
(А) у них всегда друзья Y
(Б) они никогда-никогда не улыбаются
(В) их можно найти в пещерах
(Г) зеленый сыр
Правила написания дистракторов
• Спросите себя, можете ли вы пояснить ученику,
владеющему необходимыми знаниями,
навыками и способностями, почему дистрактор
НЕ является наилучшим ответом.
• Если основа содержит отрицание, не используйте
отрицание в дистракторах:
НЕ правда, что Шекспир НЕ написал пьесу
«Гамлет».
Рецензирование заданий
• Проверяет ли задание знания, навыки и способности,
которые требуются согласно тестовым
спецификациям, таким образом, чтобы это
соответствовало предполагаемой аудитории
тестируемых?
• Измеряет ли задание то, что действительно стоит
измерять, или это что-то тривиальное и неважное?
• Если какой-либо значительно лучший способ
проверить то, что проверяет это задание?
• Можно ли сформулировать основу более четко и
кратко?
Рецензирование заданий – Варианты
ответа
• Варианты ответа частично
пересекаются?
• Содержат негативные стереотипы?
• Расположены в правильном порядке?
(от меньшего к большему?)
Рецензирование заданий – Варианты
ответа
• Достаточно параллельны по своей
структуре?
• Логически и грамматически
согласуются с основой?
• Четкие и краткие?
Рецензирование ключа
• Действительно ли ключ является
правильным ответом на поставленный
вопрос?
• Есть ли более подходящий правильный
ответ?
• Не является ли ключ каким-то образом
очевидным?
– Наиболее детализован?
– Явно отличается от других вариантов?
– Повторяет слова, которые используются в основе?
Рецензирование графиков, схем,
изображений
• Являются ли они ясными и правильно
обозначенными?
• Предоставляют ли всю необходимую
информацию для ответа на вопрос?
• Можно ли их воспроизвести четко в
тетради с тестовыми заданиями?
Написав тестовое задание:
• Спросите : Есть ли в задании один наилучший
ответ?
• Поясните, почему каждый дистрактор является
неправильным ответом на вопрос.
• Могу ли я убедить учеников, что ключ – это
действительно правильный ответ?
• Представьте себе ребенка в ситуации
тестирования, который читает и выполняет
задание.
А теперь…
Давайте посмотрим на
вопросы!!
Примеры некачественных тестовых заданий
В таблице указан вес трех транспортных средств.
Транспортное средство
Вес (фунты)
Легковой автомобиль
4 050
Мотоцикл
497
Грузовик
12 159
В каком списке представлены транспортные средства
в порядке от самого легкого до самого тяжелого?
☐
☐
☐
☐
легковой автомобиль, мотоцикл, грузовик
мотоцикл, легковой автомобиль, грузовик
грузовик, легковой автомобиль, мотоцикл
грузовик, мотоцикл, легковой автомобиль
Примеры некачественных тестовых заданий
1. Контекст задания может повлиять на то,
как ученики с ним справятся. Многие
могут использовать уже имеющиеся
знания, не связанные с понятием или
умением, которые измеряется ответом на
это задание.
2. Учеников просят расположить в
последовательности транспортные
средства, а не числа, которые представляют
их вес.
3. Ключ – единственный вариант, который
начинается с самого легкого транспортного
средства. Многим больше не нужно
выполнять другие действия, чтобы
определить правильный ответ.
В таблице указан вес трех
транспортных средств.
Транспортное средство
Вес (фунты)
Легковой автомобиль
4 050
Мотоцикл
497
Грузовик
12 159
В каком списке представлены
транспортные средства в порядке
от самого легкого до самого
тяжелого?
☐ легковой автомобиль, мотоцикл,
грузовик
☐ мотоцикл, легковой автомобиль,
грузовик
☐ грузовик, легковой автомобиль,
мотоцикл
☐ грузовик, мотоцикл, легковой
автомобиль
Переделанное задание, которое измеряет
такой же аспект содержания
1. Это задание
В таблице указано количество яблок,
измеряет то же
которые сорвали три ученика.
самое, но ученики не
Ученик
Количество яблок
могут пользоваться
полученными ранее
Бобби
107
знаниями, чтобы
Карлос
95
ответить на вопрос.
Дженни
121
2. Также, ученики
В каком списке представлено количество яблок
должны поставить
в порядке от наибольшего к наименьшему?
числа в
☐ 95, 107, 121
последовательность и ☐ 95, 121, 107
более внимательно
☐ 121, 107, 95
рассматривать
☐ 121, 95, 107
варианты ответа.
Примеры некачественно
составленных тестовых заданий
3 фута
6 футов
Какова площадь данной фигуры, выраженная в квадратных
футах?
☐3
☐ 15
☐ 18
☐ 63
Примеры некачественно
составленных тестовых заданий
1. В этом задании предполагается, что
показанная фигура – прямоугольник.
3 фута
2. В задании ученика просят найти
площадь прямоугольника, которая
равна 18 квадратным футам. Периметр
этого прямоугольника тоже равен 18
футам. Многие ученики младших
классов путают площадь с периметром.
Многие выберут правильный ответ на
неверном основании.
3. Дистракторы задания не
сбалансированы. 3 – единственный
вариант одноразрядного числа, а 63 –
намного больше, чем все остальные
варианты.
6 футов
Какова площадь данной фигуры,
выраженная в квадратных футах?
☐3
☐ 15
☐ 18
☐ 63
Как переделать это задание
1. Поменять «фигуру» на «прямоугольник».
2. Поменять измерения так, чтобы площадь
и периметр не были представлены одним
числом.
3. Сделать дистракторы более
похожими.
3 футов
6 футов
Какова площадь данной фигуры,
выраженная в квадратных футах?
В идеале, один должен
представлять периметр, другой –
ожидаемую арифметическую
ошибку, третий – число, которое
…
☐3
☐ 15
☐ 18
☐ 63
Классический анализ тестовых
заданий и тестов
Почему важен анализ тестовых
заданий?
Анализ тестовых заданий позволяет измерить
качество вопросов – посмотреть, насколько
соответствующими они были для участников и
насколько хорошо измеряли их способность.
Анализ тестовых заданий также дает возможность
повторного использования в различных
инструментах оценивания, уже имея знания о
том, как эти задания будут работать.
Классическая теория тестов
Классический анализ – самый простой и широко используемый
вид анализа. Статистические характеристики можно
вычислять с помощью общих статистических пакетов (или в
ручном режиме) и не требует специализированного
программного обеспечения.
Классический анализ проводится для теста в целом, а не для
отдельных тестовых заданий. Хотя при этом также получают
статистику тестовых заданий, эти показатели применимы
только к этой группе учеников, на основе которой были
собраны данные с помощью этой группы заданий.
Статистические свойства в рамках
классического анализа
• Сложность (статистика на уровне тестового
задания)
• Распределительная способность (статистика
на уровне тестового задания)
• Надежность (статистика на уровне теста)
Сложность в классической теории
тестов
Величина P:
В классическом анализе это просто соотношение тех, кто
неправильно ответил на задание.
Используется как показатель сложности тестового задания.
Если задания предусматривают несколько категорий баллов,
средний балл берется в качестве соотношения.
Выражаясь в диапазоне 0-1, чем выше соотношение, тем
выше уровень сложности.
Разделительная способность в
классической теории тестов
Точечно-бисериальный коэффициент корреляции:
Корреляция между средним баллом за задание и средним
общим тестовым баллом.
Используется как показатель распределительной
способности тестового задания.
Корреляция может быть в диапазоне от –1 до +1: более
высокое значение указывает на более высокую
(желательную) разделительную способность.
Дуже дякую!
¡Gracias!
Thank you!
Merci!
Obrigada!
Mark Zelman
American Councils