специальность «Начальное образование», предмет «

Аналитические материалы по результатам апробации аттестационных
педагогических измерительных материалов, специальность «Начальное
образование», предмет «Математика» (руководитель группы разработчиков
Матвеева М.А.).
Апробация пакета КИМ по математике для специальности «Начальное образование»
велась на базе Пензенского государственного педагогического университета имени
В.Г. Белинского. В апробации принимали участие студенты факультета начального
и специального образования.
Внешняя валидность
аттестационных педагогических измерительных материалов.
В
апробации
участвовали
контрольно-измерительных
студенты
ПГПУ
им.
Белинского
материалов
по
(специалисты)
математике
и
МГППУ
(магистранты), в общей сложности 21 человек.
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМов по математике состоит из трех разделов: «КИМы –
программы», «КИМы – задания, представленные в логике проведения урока»,
«КИМы – инструменты оценки». Каждый раздел КИМов состоит из трех уровней,
отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный,
конструктивный.
предложенных
Задания репродуктивного уровня предполагают выбор из
двух
вариантов
однозначно
верного
решения.
Задания
рефлексивного уровня направлены на нахождение верного решения из 3-4
вариантов,
причем каждый комплект вариативен (содержит разное количество
верных и неправильных решений, в том числе фрагмент–дистрактор, который
задаче соответствует формально). Задания конструктивного уровня предполагают
проверку применения умений на практике – самостоятельного выполнения задания
КИМа.
Цель первого раздела «КИМы – программы» - оценить знание студентами
требований Федерального государственного образовательного стандарта начального
общего
образования
к
результатам
освоения
основной
образовательной
программы начального общего образования и к рабочим программам отдельных
учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 100% участников.
2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 64% участников; выполнили
задание более чем на 50% баллов – 36% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 86% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 9% участников; выполнили задание
более чем на 50% баллов – 27% участников; выполнили задание неверно (0 баллов)
– 5% участников. Типичные ошибки и недочеты при выполнении данного уровня:
-
отсутствие
знаний
по
классификации
(«метапредметные – решать задачи»);
УУД
и
их
формированию
- формальное указание универсальных учебных действий (например, в каждом
уроке
студент
планирует
формировать
в
качестве
личностного
УУД
«смыслообразование, т.е. связь между УД и ее мотивом»;
- перечисление всех возможных УУД в каждом уроке, таким образом на уроке
контроля формируется и целеполагание, и моделирование, и контроль, и оценка –
весь перечень на два листа;
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
86%
64%
9%
максимальным 100%
Выполнили более чем на 50% баллов
0%
36%
27%
Выполнили неверно – 0 баллов
0%
0%
5%
Цель раздела 2
урока» -
«КИМы – задания, представленные в логике проведения
оценить глубину понимания студентами способов формирования
универсальных учебных действий в заданиях уроков различного типа (постановки
учебной задачи; поиска общего способа действия и моделирования; контроля;
оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
поставленной
задаче
формирования
УУД,
и
аргументировать свой выбор.
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 77%
участников; выполнили задание более чем на 50% баллов – 14% участников;
выполнили задание неверно (0 баллов) – 0% участников. Типичные ошибки и
недочеты при выполнении данного уровня: отсутсвие аргументации.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 91% участников. Из них выполнили
задание с максимальным количеством баллов (15 баллов) – 27% участников;
выполнили задание более чем на 50% баллов – 55% участников; выполнили задание
неверно (0 баллов) – 0% участников. При выполнении заданий данного уровня
студенты не учитывали наличие фрагмента–дистрактора (провокации), что говорит
о недостаточной сформированности у них рефлексивного контроля.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 64% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 23% участников; выполнили задание
неверно (0 баллов) – 9% участников. Наиболее трудными для выполнения оказались
задания из этапов контроля и оценки уроков (в сконструированных студентами
заданиях функции контроля и оценки лежат на учителе, что блокирует
формирование соответствующих УУД у учащихся). Также показательно, что
несколько студентов верно определяет УУД в каждом фрагменте, но к
конструированию формирующих заданий даже не приступает.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Репродук-
Рефлек-сивный
Конструк-
Приступили к выполнению
Выполнили
с
количеством баллов
тивный уровень
уровень
тивный уровень
100%
100%
82%
0%
0%
максимальным 77%
Выполнили более чем на 50% баллов
14%
55%
23%
Выполнили неверно – 0 баллов
0%
0%
9%
Раздел 3
«КИМ – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД). Приступили к
выполнению задания 100% участников. Из них выполнили задание с максимальным
количеством баллов (4 балла) – 48% участников; выполнили задание более чем на
50% баллов – еще 36% участников; выполнили задание неверно (0 баллов) – 0%
участников. Типичные ошибки и недочеты при выполнении данного уровня:
отсутствие аргументации выбора.
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 91% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 45% участников;
выполнили задание более чем на 50% баллов – 0% участников; выполнили задание
неверно (0 баллов) – 23% участников. Типичные ошибки и недочеты при
выполнении данного уровня: прежде всего, неверное определение формируемого на
уроке
универсального
учебного
действия;
часто
вместо
метапредметного
определяется предметный результат, что ведет к неправильному выбору карточки.
Несколько студентов не аргументируют свой выбор, хотя он сделан верно.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 45% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
9% участников; выполнили задание неверно (0 баллов) – 27% участников. Типичные
ошибки и недочеты при выполнении данного уровня: студенты не могут определить
формируемое
универсальное
учебное
действие;
инструмент
оценки
сформированности УУД смогли сконструировать только 2 студента.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
91%
45%
45%
0%
максимальным 48%
Выполнили более чем на 50% баллов
36%
0%
9%
Выполнили неверно – 0 баллов
0%
23%
27%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМ-программы»). Гораздо более сложными оказались задания, ориентированные
на практические умения (раздел «КИМ-задания»). И совершенно незначительный
процент справился с конструированием контрольно-оценочных инструментов для
универсальных учебных действий. На настоящий момент это наиболее актуальная
проблема введения ФГОС.
Внутренняя валидность
аттестационных педагогических измерительных материалов.
Заключение о степени внутренней валидности аттестационных материалов
можно сделать, сравнивая успеваемость студентов по методике преподавания
математики с результатами выполнения КИМ, т.е. определяя меру соответствия
тестовых оценок уровню теоретической и практической подготовки выпускников,
их общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС :
- участники, набравшие максимальное количество баллов (54 и 52) успевают
на «отлично» (кроме одной, которая успевает на «хорошо»);
- участники, выполнившие все разделы КИМ с результатами 50-38 баллов,
успевают на «4» и «5» (38% - «5», 62% - «4»);
- участники, выполнившие все разделы КИМ с результатами 37-16 баллов,
успевают на «4» и «3» (22% - «3», 78% - «4»).
Также о степени внутренней валидности аттестационных материалов можно
говорить, сравнивая результаты выполнения КИМ студентами вуза и студентами
колледжа (среднее профессиональное образование и высшее профессиональное
образование):
Среднее
профессиональное
образование
Высшее
профессиональное
образование
30%
59%
репродуктивного 55%
75%
рефлексивного 35%
37%
Набрали более 50% возможных баллов
Выполнили задания
уровня на 100%
Выполнили
задания
уровня на 100%
Выполнили
задания
конструктивного 5%
9%
уровня на 100%
Не приступили к выполнению того или 35%
иного уровня
29%
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 70% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
служит одним из показателей надежности КИМов. Как пример, можно привести
следующие результаты нескольких студентов:
КИМы-программы
КИМы-задания
КИМы-инструменты
оценки
1урове
нь
(max
3балла
2урове
нь
(max
4б)
3урове
нь
(max
4б)
1урове
нь
(max
10б)
2урове
нь
(max
13б)
3урове
нь
(max
16б)
1урове
нь
(max
4б)
2урове
нь
(max
3б)
3урове
нь
(max
4б)
Васильева Г.
100%
100%
Более
50%
100%
100%
Более
50%
100%
Более
50%
Менее
50%
Хохлова А.
100%
100%
Более
50%
100%
100%
Более
50%
100%
100%
Менее
50%
Сидоркина
Ю.
100%
100%
Менее
50%
Более
50%
Более
50%
Не
присту
пила
100%
100%
Не
присту
пила
Зябирова Ю.
100%
Более
50%
Менее
50%
Более
50%
Более
50%
Не
присту
пила
100%
Более
50%
Не
присту
пила
Журлова Г.
100%
100%
Не
присту
пила
100%
Более
50%
0%
100%
Более
50%
0%
Не все студенты приступили к выполнению заданий разного уровня
сложности. Это обусловлено, возможно, большим объемом заданий
(либо
недостаточным временем на их выполнение); а также свидетельствует о надежности
контрольно-измерительных
материалов
(нарастающей
трудности
репродуктивного к конструктивному уровню).
КИМы -
КИМы - задания
КИМы –
от
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Приступили к
выполнению
инструменты оценки
Репродуктивный уровень
программы
100%
100%
86%
100%
91%
64%
100%
91%
45%
Аналитические
материалы
по
результатам
апробации
аттестационных
педагогических
измерительных
материалов:
специальность
«Начальное
образование», предмет «Русский язык» (руководитель группы разработчиков
Матвеева М.А. г. Пенза).
Внешняя валидность
аттестационных педагогических измерительных материалов.
В апробации контрольно-измерительных материалов по русскому языку
участвовали студенты ПГПУ им.Белинского (студенты 5 курса, 18 человек) и
МГППУ (магистранты 1 курса, 3 человека), в общей сложности 21 человек.
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМов по русскому языку состоит из трех разделов: «КИМы –
программы», «КИМы – задания, представленные в логике проведения урока»,
«КИМы – инструменты оценки». Каждый раздел КИМов состоит из трех уровней,
отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный,
конструктивный.
предложенных
Задания репродуктивного уровня предполагают выбор из
двух
вариантов
однозначно
верного
решения.
Задания
рефлексивного уровня направлены на нахождение верного решения из 3-4
вариантов,
причем каждый комплект вариативен (содержит разное количество
верных и неправильных решений, в том числе фрагмент–дистрактор, который
задаче соответствует формально). Задания конструктивного уровня предполагают
проверку применения умений на практике – самостоятельного выполнения задания
КИМа.
Цель первого раздела «КИМы – программы» - оценить знание студентами
требований Федерального государственного образовательного стандарта начального
общего
образования
к
результатам
освоения
основной
образовательной
программы начального общего образования и к рабочим программам отдельных
учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 100% участников.
2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 82% участников; выполнили
задание более чем на 50% баллов – 18% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 95% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 32% участников; выполнили задание
более чем на 50% баллов – 9% участников; выполнили задание неверно (0 баллов) –
5% участников. Типичные ошибки и недочеты при выполнении данного уровня:
-
отсутствие
знаний
по
классификации
УУД
и
их
формированию
(«личностные – списывать текст, регулятивные – списывать текст по плану»);
- формальное указание универсальных учебных действий (например, в каждом
уроке студент планирует формировать в качестве личностного УУД «чувство
ответственности за свое поведение»; в качестве коммуникативного только «умение
сотрудничать с одноклассниками»);
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
95%
82%
32%
максимальным 100%
Выполнили более чем на 50% баллов
100%
18%
9%
Выполнили неверно – 0 баллов
0%
0%
5%
Цель раздела 2
урока» -
«КИМы – задания, представленные в логике проведения
оценить глубину понимания студентами способов формирования
универсальных учебных действий в заданиях уроков различного типа (постановки
учебной задачи; поиска общего способа действия и моделирования; контроля;
оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
поставленной
задаче
формирования
УУД,
и
аргументировать свой выбор.
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 73%
участников; выполнили задание более чем на 50% баллов – 27% участников;
выполнили задание неверно (0 баллов) – 0% участников.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (13 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 100% участников; выполнили
задание неверно (0 баллов) – 0% участников. При выполнении заданий данного
уровня студенты не учитывали наличие фрагмента–дистрактора (провокации), что
говорит о недостаточной сформированности у них рефлексивного контроля.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 82% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 36% участников; выполнили задание
неверно (0 баллов) – 5% участников. Наиболее трудными для выполнения оказались
задания из этапов контроля и оценки уроков (в сконструированных студентами
заданиях функции контроля и оценки лежат на учителе, что блокирует
формирование соответствующих УУД у учащихся).
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
100%
82%
Выполнили
с
количеством баллов
максимальным 73%
0%
0%
Выполнили более чем на 50% баллов
27%
100%
36%
Выполнили неверно – 0 баллов
0%
0%
5%
Раздел 3
«КИМ – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую; насколько включает учащихся в самостоятельную
оценочную деятельность.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД).
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (4 балла) – 59% участников;
выполнили задание более чем на 50% баллов – еще 41% участников; выполнили
задание неверно (0 баллов) – 0% участников. Типичные ошибки и недочеты при
выполнении данного уровня: отсутствие аргументации выбора.
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 91% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 59% участников;
выполнили задание более чем на 50% баллов – еще 14% участников; выполнили
задание неверно (0 баллов) – 9% участников. Типичные ошибки и недочеты при
выполнении данного уровня: прежде всего, неверное определение формируемого на
уроке
универсального
учебного
действия;
часто
вместо
метапредметного
определяется предметный результат, что ведет к неправильному выбору карточки.
Несколько студентов не аргументируют свой выбор, хотя он сделан верно.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 77% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
9% участников; выполнили задание неверно (0 баллов) – 41% участников. Типичные
ошибки и недочеты при выполнении данного уровня: студенты не могут определить
формируемое
универсальное
учебное
действие;
инструмент
оценки
сформированности УУД смогли сконструировать только 2 студента.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
91%
77%
59%
0%
максимальным 59%
Выполнили более чем на 50% баллов
41%
14%
9%
Выполнили неверно – 0 баллов
0%
9%
41%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМы-программы»).
Гораздо
более
сложными
оказались
задания,
ориентированные на практические умения (раздел «КИМы-задания»). И совершенно
незначительный процент справился с конструированием контрольно-оценочных
инструментов для универсальных учебных действий. На настоящий момент это
наиболее актуальная проблема введения ФГОС.
Внутренняя валидность
аттестационных педагогических измерительных материалов.
Заключение о внешней валидности аттестационных материалов можно
сделать, сравнивая успеваемость студентов по методике преподавания русского
языка с результатами выполнения КИМ, т.е. определяя меру соответствия тестовых
оценок уровню теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС :
- участники, набравшие максимальное количество баллов (54 и 51) успевают
на «отлично»;
- участники, выполнившие все разделы КИМ с результатами 50-45 баллов,
успевают на «4» и «5» (62% - «5», 38% - «4»);
- участники, выполнившие все разделы КИМ с результатами 44-30 баллов,
успевают на «4» и «5» (33% - «5», 67% - «4»);
- участники, выполнившие задания на 29 и 27 баллов, успевают на
«удовлетворительно».
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 80% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
служит одним из показателей надежности КИМ. Как пример, в таблице приведены
результаты нескольких студентов:
КИМ-программы
1урове
нь
2урове
нь
КИМ-задания
3урове
нь
1урове
нь
2урове
нь
КИМ-инструменты
оценки
3урове
нь
1урове
нь
2урове
нь
3урове
нь
(max
3балла
(max
4б)
(max
4б)
(max
10б)
(max
13б)
(max
16б)
(max
4б)
(max
3б)
(max
4б)
Гусева О.
100%
100%
100%
100%
Более
50%
Более
50%
100%
Более
50%
Более
50%
Хохлова А.
100%
100%
100%
100%
Более
50%
Более
50%
100%
Более
50%
Более
50%
Аношкина Е.
100%
50%
Не
присту
пила
100%
Более
50%
Не
присту
пила
Более
50%
Менее
50%
Не
присту
пила
Зябирова Ю.
100%
Более
50%
50%
100%
Более
50%
Менее
50%
100%
Более
50%
Менее
50%
Тишина Е.
100%
50%
Менее
50%
100%
Более
50%
0%
100%
50%
0%
Не все студенты приступили к выполнению заданий разного уровня
сложности. Это обусловлено, возможно, большим объемом заданий
(либо
недостаточным временем на их выполнение); а также свидетельствует о надежности
контрольно-измерительных
материалов
(нарастающей
трудности
от
репродуктивного к конструктивному уровню).
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
КИМ –
инструменты оценки
Рефлексивный уровень
Приступили к
выполнению
КИМ - задания
Репродуктивный уровень
КИМ программы
100%
100%
95%
100%
100%
82%
100%
91%
77%
Аналитические
материалы
по
результатам
апробации
педагогических
измерительных
материалов,
специальность
образование»,
предмет:
«Окружающий
разработчиков Матвеева М.А. г. Пенза).
мир»
аттестационных
«Начальное
(руководитель
группы
Внешняя валидность
аттестационных педагогических измерительных материалов.
В апробации контрольно-измерительных материалов по окружающему
участвовали студенты МГППУ (магистратура, 1 курс, 3 человека).
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМов по окружающему миру состоит из трех разделов: «КИМы –
программы», «КИМы – задания, представленные в логике проведения урока»,
«КИМы – инструменты оценки». Каждый раздел КИМов состоит из трех уровней,
отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный,
конструктивный.
предложенных
Задания репродуктивного уровня предполагают выбор из
двух
вариантов
однозначно
верного
решения.
Задания
рефлексивного уровня направлены на нахождение верного решения из 3-4
вариантов,
причем каждый комплект вариативен (содержит разное количество
верных и неправильных решений, в том числе фрагмент–дистрактор, который
задаче соответствует формально). Задания конструктивного уровня предполагают
проверку применения умений на практике – самостоятельного выполнения задания
КИМа.
Цель первого раздела «КИМы – программы» - оценить, насколько знают
студенты требования Федерального государственного образовательного стандарта
начального
общего
образования
к
результатам
освоения
основной
образовательной программы начального общего образования и к рабочим
программам отдельных учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 100% участников.
2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 67% участников; выполнили
задание более чем на 50% баллов – 33% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 100% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 33% участников; выполнили задание
более чем на 50% баллов – 33% участников; выполнили задание неверно (0 баллов)
– 0% участников. Типичные ошибки и недочеты при выполнении данного уровня:
- формальное указание универсальных учебных действий;
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
100%
67%
33%
максимальным 100%
Выполнили более чем на 50% баллов
0%
33%
33%
Выполнили неверно – 0 баллов
0%
0%
0%
Цель раздела 2 «КИМ – задания, представленные в логике проведения урока»
- оценить глубину понимания студентами способов формирования универсальных
учебных действий в заданиях уроков различного типа (постановки учебной задачи;
поиска общего способа действия и моделирования; контроля; оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
поставленной
задаче
формирования
УУД,
и
аргументировать свой выбор.
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 67%
участников; выполнили задание более чем на 50% баллов – 33% участников;
выполнили задание неверно (0 баллов) – 0% участников.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (13 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 67% участников; выполнили задание
неверно (0 баллов) – 0% участников. При выполнении заданий данного уровня
студенты не учитывали наличие фрагмента–дистрактора (провокации), что говорит
о недостаточной сформированности у них рефлексивного контроля.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 67% участников; выполнили задание
неверно (0 баллов) – 33% участников. Наиболее трудными для выполнения
оказались задания из этапов моделирования, контроля и оценки уроков.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
100%
100%
0%
0%
максимальным 67%
Выполнили более чем на 50% баллов
33%
67%
67%
Выполнили неверно – 0 баллов
0%
0%
33%
Раздел 3 «КИМы – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую; насколько включает учащихся в самостоятельную
оценочную деятельность.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД).
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (4 балла) – 33% участников;
выполнили задание более чем на 50% баллов – 0% участников; выполнили задание
неверно (0 баллов) – 67% участников. Студенты, набравшие 0 баллов, не поняли
задание, и вместо осуществления выбора карточки с инструментом оценки, сами
выполняли задание урока, предназначенное для ребенка.
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 67% участников;
выполнили задание более чем на 50% баллов – еще 33% участников; выполнили
задание неверно (0 баллов) – 0% участников. Типичные ошибки и недочеты при
выполнении данного уровня: прежде всего, неверное определение формируемого на
уроке универсального учебного действия.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 100% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
33% участников; выполнили задание неверно (0 баллов) – 33% участников.
Типичные ошибки и недочеты при выполнении данного уровня: студенты не могут
сконструировать инструмент оценки сформированности УУД.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
100%
100%
67%
0%
максимальным 33%
Выполнили более чем на 50% баллов
0%
33%
33%
Выполнили неверно – 0 баллов
67%
0%
33%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМ-программы»). Гораздо более сложными оказались задания, ориентированные
на практические умения (раздел «КИМ-задания»). И совершенно незначительный
процент справился с конструированием контрольно-оценочных инструментов для
универсальных учебных действий. На настоящий момент это наиболее актуальная
проблема введения ФГОС.
Внутренняя валидность
аттестационных педагогических измерительных материалов.
Заключение о степени внутренней валидности аттестационных материалов
можно сделать, сравнивая результаты выполнения КИМов студентами вуза и
студентами
колледжа,
т.е.
меру
соответствия
тестовых
оценок
уровню
теоретической и практической подготовки выпускников, их общекультурных и
профессиональных компетенций (среднее профессиональное образование и высшее
профессиональное образование):
Среднее
профессиональное
образование
Высшее
профессиональное
образование
20%
69%
Выполнили задания
уровня на 100%
репродуктивного 48%
80%
Выполнили
задания
уровня на 100%
рефлексивного 7%
40%
конструктивного 7%
11%
Набрали более 50% возможных баллов
Выполнили задания
уровня на 100%
Не приступили к выполнению того или 47%
иного уровня
0%
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 80% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
может быть еще одним показателем надежности КИМов. Уменьшающийся процент
выполнения заданий студентами от уровня к уровню также свидетельствует о
надежности контрольно-измерительных материалов (нарастающей трудности от
репродуктивного к конструктивному уровню).
Как пример, результаты нескольких студентов (нулевые результаты в 1 уровне
3 раздела связаны с тем, что студенты не поняли задание):
КИМы-программы
КИМы-задания
КИМы-инструменты
оценки
1урове
нь
(max
3балла
2урове
нь
(max
4б)
3урове
нь
(max
4б)
1урове
нь
(max
10б)
2урове
нь
(max
13б)
3урове
нь
(max
16б)
1урове
нь
(max
4б)
2урове
нь
(max
3б)
3урове
нь
(max
4б)
Минеев Д.Д.
100%
100%
Более
50%
100%
Более
50%
Более
50%
0%
100%
Более
50%
Новоселова
И.А.
100%
Более
50%
Менее
50%
Более
50%
Менее
50%
0%
0%
Более
50%
0%
Катаева О.М.
100%
100%
100%
100%
Более
50%
Более
50%
100%
100%
Более
50%
Аналитические
материалы
по
результатам
апробации
педагогических
измерительных
материалов,
специальность
образование»,
предмет:
«Литературное
чтение»
аттестационных
«Начальное
(руководитель
группы
разработчиков Матвеева М.А. г. Пенза).
Внешняя валидность
аттестационных педагогических измерительных материалов.
В
апробации
контрольно-измерительных
материалов
по
литературе
участвовали студенты МГППУ (магистранты).
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМ по литературе состоит из трех разделов: «КИМ– программы»,
«КИМ – задания, представленные в логике проведения урока», «КИМ– инструменты
оценки». Каждый раздел КИМ состоит из трех уровней, отличающихся по
сложности и рефлексивности: репродуктивный, рефлексивный, конструктивный.
Задания репродуктивного уровня предполагают выбор из предложенных двух
вариантов однозначно верного решения. Задания рефлексивного уровня направлены
на нахождение верного решения из 3-4 вариантов,
причем каждый комплект
вариативен (содержит разное количество верных и неправильных решений, в том
числе фрагмент–дистрактор, который задаче соответствует формально). Задания
конструктивного уровня предполагают проверку применения умений на практике –
самостоятельного выполнения задания КИМ.
Цель первого раздела «КИМ – программы» - оценить, насколько
знают
студенты требования Федерального государственного образовательного стандарта
начального общего образования к результатам освоения основной образовательной
программы начального общего образования и к рабочим программам отдельных
учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 100% участников.
2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 75% участников; выполнили
задание более чем на 50% баллов – 25% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 100% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 25% участников; выполнили задание
более чем на 50% баллов – 50% участников; выполнили задание неверно (0 баллов)
– 25% участников. Типичные ошибки и недочеты при выполнении данного уровня:
- формальное указание универсальных учебных действий или перечисление их
без конкретизации (личностные, метапредметные и т.д.);
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
100%
75%
25%
максимальным 100%
Выполнили более чем на 50% баллов
0%
25%
50%
Выполнили неверно – 0 баллов
0%
0%
25%
Цель раздела 2 «КИМ – задания, представленные в логике проведения урока»
- оценить глубину понимания студентами способов формирования универсальных
учебных действий в заданиях уроков различного типа (постановки учебной задачи;
поиска общего способа действия и моделирования; контроля; оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
аргументировать свой выбор.
поставленной
задаче
формирования
УУД,
и
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 100%
участников; выполнили задание более чем на 50% баллов – 0% участников;
выполнили задание неверно (0 баллов) – 0% участников.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (13 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 100% участников; выполнили
задание неверно (0 баллов) – 0% участников. При выполнении заданий данного
уровня студенты не учитывали наличие фрагмента–дистрактора (провокации), что
говорит о недостаточной сформированности у них рефлексивного контроля.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 50% участников; выполнили задание
неверно (0 баллов) – 0% участников. Типичные ошибки: учащийся является
объектом учения, никаких УУД у него при этом не формируется (учитель
целеполагает, предлагает готовый план и т.д.). Наиболее трудными для выполнения
оказались задания из этапов моделирования, контроля и оценки уроков.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Репродук-
Рефлек-сивный
Конструк-
Приступили к выполнению
Выполнили
с
количеством баллов
тивный уровень
уровень
тивный уровень
100%
100%
100%
0%
0%
максимальным 100%
Выполнили более чем на 50% баллов
0%
100%
50%
Выполнили неверно – 0 баллов
0%
0%
0%
Раздел 3
«КИМ – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую; насколько включает учащихся в самостоятельную
оценочную деятельность.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД).
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (4 балла) – 50% участников;
выполнили задание более чем на 50% баллов – 50% участников; выполнили задание
неверно (0 баллов) – 0% участников.
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 50% участников;
выполнили задание более чем на 50% баллов – 0% участников; выполнили задание
неверно (0 баллов) – 25% участников. Типичные ошибки и недочеты при
выполнении данного уровня: прежде всего, неверное определение формируемого на
уроке универсального учебного действия.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 100% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
50% участников; выполнили задание неверно (0 баллов) – 25% участников.
Типичные ошибки и недочеты при выполнении данного уровня: студенты совсем не
могут сконструировать инструмент оценки сформированности УУД либо заменяют
его инструментом оценки знаний.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
100%
100%
50%
0%
максимальным 50%
Выполнили более чем на 50% баллов
50%
0%
50%
Выполнили неверно – 0 баллов
0%
25%
25%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМ-программы»). Гораздо более сложными оказались задания, ориентированные
на практические умения (раздел «КИМ-задания»). И совершенно незначительный
процент справился с конструированием контрольно-оценочных инструментов для
универсальных учебных действий. На настоящий момент это наиболее актуальная
проблема введения ФГОС.
Внутренняя валидность
аттестационных педагогических измерительных материалов.
Заключение о степени внутренней валидности аттестационных материалов
можно сделать, сравнивая результаты выполнения КИМов студентами вуза и
студентами
колледжа,
т.е.
меру
соответствия
тестовых
оценок
уровню
теоретической и практической подготовки выпускников, их общекультурных и
профессиональных компетенций (среднее профессиональное образование и высшее
профессиональное образование):
Среднее
профессиональное
образование
Высшее
профессиональное
образование
47%
75%
Выполнили задания
уровня на 100%
репродуктивного 53%
83%
Выполнили
задания
уровня на 100%
рефлексивного 0%
42%
Набрали более 50% возможных баллов
Выполнили задания
уровня на 100%
конструктивного 0%
Не приступили к выполнению того или 67%
иного уровня
8%
0%
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 80% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
служит одним из показателей надежности КИМов. Уменьшающийся процент
выполнения заданий студентами от уровня к уровню также свидетельствует о
надежности контрольно-измерительных материалов (нарастающей трудности от
репродуктивного к конструктивному уровню).
Как пример, можно привести следующие результаты нескольких студентов:
КИМы-программы
КИМы-задания
КИМы-инструменты
оценки
1урове
нь
(max
3балла
2урове
нь
(max
4б)
3урове
нь
(max
4б)
1урове
нь
(max
10б)
2урове
нь
(max
13б)
3урове
нь
(max
16б)
1урове
нь
(max
4б)
2урове
нь
(max
3б)
3урове
нь
(max
4б)
Котова Ю.А.
100%
100%
Более
50%
100%
Более
50%
Более
50%
100%
Более
50%
50%
Новоселова
И.А.
100%
Более
50%
50%
Более
50%
Более
50%
Менее
50%
Более
50%
Менее
50%
0%
Катаева О.М.
100%
100%
100%
100%
Более
50%
Более
50%
100%
100%
50%