Этапы проведения апробационного тестирования

Теория и практика
педагогического тестирования.
Современные подходы
Автор: Карданова Елена Юрьевна
e_kardanova@mail.ru
Часть 3
Центр повышения квалификации ГУ-ВШЭ
2010
Апробационное тестирование

Цель апробационного тестирования –
проверка функционирования заданий
(анализ тестовых заданий) и всего теста
в целом, исследование
системообразующих свойств теста,
оценивание его надежности и
валидности
Этапы проведения
апробационного тестирования









Разработка методики апробационного тестирования
(требования к выборке, условиям проведения и т.д.)
Разработка инструкций для участников и для преподавателей,
проводящих апробацию теста
Проведение апробационного тестирования
Сбор эмпирических результатов
Статистическая обработка результатов выполнения теста
Интерпретация результатов обработки
Переработка заданий по результатам апробации; в случае
необходимости разработка новых заданий
Оптимизация длины теста и времени его выполнения на
основании результатов апробации. Оптимизация расположения
заданий в тесте. Оптимизация схемы оценивания заданий
В случае необходимости (значительных изменений в тесте)
повторная апробация (кросс-валидизация)
Размер выборки для апробации


В рамках классической теории тестирования для
получения относительно устойчивых характеристик
заданий необходимо иметь минимальную выборку в
200 человек. Другое правило эмпирического
определения минимального объема – иметь в 5-10
раз больше испытуемых, чем заданий (Nunnally,
1967).
В рамках современной теории тестирования IRT
размер выборки зависит от особенностей выбранной
модели измерения, но не менее 200 человек.
Некоторые сложные модели требуют существенно
большего числа испытуемых, до 1000 на каждый
вариант теста.
Репрезентативность выборки

Второе требование к выборке
апробации – ее репрезентативность
(представительность). Выборка должна
отражать всю генеральную
совокупность учащихся, для которых
предназначен тест, и при этом в
правильных пропорциях.
Меры по организации процедуры
апробации





разработка условий проведения апробации
(расписание тестирования, подходящая
окружающая обстановка и т.д.)
разработка правильных инструкций для
преподавателей, проводящих апробацию
выбор оптимального времени тестирования
подготовка тестовых материалов к апробации
разработка предложений по повышению
мотивации студентов.
Примерные обязанности
педагога (методиста),
проводящего апробацию






объяснить учащимся цель тестирования и условия
его проведения
медленно, четко прочесть инструкцию
дать возможность испытуемым потренироваться,
решив самостоятельно задачи-образцы (если такие
имеются)
сообщить о времени выполнения теста, о правилах
исправления допущенных ошибок
проследить за правильностью заполнения
регистрационных бланков
следить за порядком и общей обстановкой в
аудитории, а также за состоянием испытуемых
Статистическая обработка
результатов апробации
По каждому заданию отдельно анализируются:


показатели, которые описывают
распределение ответов испытуемых на
задание
показатели, которые описывают степень
тесноты связей между ответами на задание и
некоторым критерием, представляющим
интерес в исследовании
Два подхода к анализу тестовых
заданий и теста в целом


в
рамках
тестирования
классической
теории
в
рамках
современной
тестирования IRT
теории
Обоснование качества теста в
рамках классической теории
тестирования


Linda Croker, James Algina: Introduction to
Classical and Modern Test Theory
Линда Крокер, Джеймс Алгина «Введение в
классическую и современную теорию тестов»
(Москва, Логос, 2010)
Понятие истинного балла
исптытуемого

Истинную оценку (истинный балл)
испытуемого можно интерпретировать
как среднее значение наблюдаемых
оценок, полученных по бесконечному
числу повторяющихся тестирований
при использовании одного и того же
теста
Ошибки измерения


Систематические - ошибки, порождаемые
недостаточным качеством теста и/или
неправильными условиями его проведения
(например, плохая аппаратура)
Случайные – ошибки, порождаемые
особенностями поведения испытуемых и/или
нарушениями процедуры тестирования
(например, подсказки)
Основное уравнение КТТ
X= T + E
X — наблюдаемый результат i-го
испытуемого выборки по данному
тесту
T— его истинный балл
E— суммарная ошибка измерения
Показатель надежности теста


Это - коэффициент корреляции,
который выражает степень тесноты
связей между истинной и наблюдаемой
оценками по тесту
не имеет значительного практического
применения, т.к. истинные оценки
непосредственно не наблюдаются
Понятие «параллельных форм
теста» в КТТ
Две формы теста (два теста) являются
параллельными, если:


Каждый испытуемый имеет одну и ту
же истинную оценку по обеим формам
Дисперсии ошибок для двух форм
равны
Практическое определение
параллельных форм



они разработаны на основе одной спецификации
имеют одинаковое количество заданий попарно равной
трудности с совпадающими характеристиками
порождают на одной и той же выборке идентичные
распределения наблюдаемых баллов (распределения с
одинаковыми средними, дисперсией и т.д.)
Основные принципы КТТ

Среднее значение ошибок измерения для
генеральной совокупности испытуемых равно 0

Корреляция между истинной оценкой и ее
ошибочным компонентом равна 0

Когда испытуемые выполняют два отдельных теста и
оценки каждого испытуемого по двум тестам
предполагаются случайно выбранными из двух
независимых распределений возможных
наблюдаемых оценок, корреляция между
ошибочными компонентами оценок по этим двум
тестированиям равна 0.
Фундаментальное соотношение
КТТ
Дисперсия наблюдаемых баллов равна
сумме дисперсии истинных баллов и
дисперсии ошибок
Коэффициент надежности



Определение: корреляция между оценками
по параллельным формам теста
Интерпретация: доля дисперсии
наблюдаемой оценки, которая может быть
объяснена истинной вариацией истинных
оценок испытуемых
Ограничение: теоретическое понятие действительно параллельных форм теста не
существует
Методы оценивания коэффициента
надежности



процедуры, требующие двух
предъявлений теста
процедуры, требующие одноразового
предъявления теста
методы, основанные на ковариациях
заданий
Процедуры, требующие двух
предъявлений теста


метод взаимозаменяемых форм
(коэффициент эквивалетности)
ретестовый метод
(коэффициент устойчивости)
Процедуры, требующие одноразового
предъявления теста
(методы внутренней согласованности)


-
метод расщепления
Способы деления теста пополам:
задания с нечетными номерами помещают в первый субтест, с
четными – во второй
задания упорядочивают по уровню трудности, а потом делят
на два субтеста по четным и нечетным номерам
задания распределяются по субтестам случайным образом,
чтобы в каждом субтесте была половина заданий
задания распределяются по субтестам так, чтобы они
образовали формы, адекватные по содержанию