Оценка результатов обучения: подходы, средства, технологии Медведева Ирина Николаевна Мартынюк Оксана Ивановна 18 апреля 2013 г. Три основные задачи • Формулировка результатов обучения. • Выбор методов и технологий обучения, обеспечивающих достижение установленных результатов обучения. • Оценка результатов обучения; проверка того, в какой степени они совпадают с тем, что было запланировано. Разработка средств оценки • Требование измеримости в отношении компетенций как предмета контроля результатов обучения составляет на сегодняшний день главную трудность, как в теоретическом, так и в практическом плане, так как общепризнанные методы измерения компетенций в системе образования на сегодня отсутствуют. • Необходимы комплексные измерители, требующие включения различных оценочных средств Особенности • • • • • • Надпредметность; Междисциплинарность; Многомерность, многофакторность; Проявляются в деятельности; Латентность; Связанность с уровнем способностей обучаемых; • Отсроченность характера проявления компетенций; Требования к компетентностноориентированным оценочным средствам • • • • • • Содержательная интеграция. Проблемность Многовариантность. Использование знаний из соответствующей предметной области. Деятельностная ориентация. Практикосообразность. • … Инновационные измерители • • • • Компетентностные тесты Кейсы Анкетирование, интервью, опросники Рейтинговая модель, определяющая степень продвижения обучающегося по лестнице успеха в однотипной среде • Портфолио • Мониторинговая модель, предусматривающая создание «портфолио» достижений • Метод ассессмент-центра № 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Методы оценки компетенций Интервью (стандартные) Рекомендации Неструктурированное интервью Биография (анализ резюме) Тесты личностные Тесты-опросники (профессиональные) Личностные опросники Интервью (поведенческие) Тесты способностей Ситуационные тесты Тесты учебных достижений Кейс-методики Структурированное интервью Ассессмент-центр, центры оценивания надежность 0,05–0,19 0,13–0,23 0,15 0,38 0,38 0,39 0,42 0,48–0,61 0,54 0,54 0,55-0,60 0,62 0,63 0,65–0,68 Фонд оценочных средств • Комплекты оценочных средств и технологий • Критерии оценки соответствия требованиям ФГОС • Методические материалы, инструкции •Методические материалы и инструкции •ФОС – •фонды •оценочных •средств •Критерии оценки соответствия (несоответствия) •ответа требованиям •ФГОС и ООП ВПО •Оценочные •средства и технологии •Результаты •Портфолио •Документация системы качества образовательного учреждения (СК ОУ) •СОРО •Концепция ФОС ОУ •Положение о ФОС ОУ •Положение о системе оценивания •Методические указания по формированию комплекта оценочных средств образовательной программы (КОС ОП) •Регламенты •формирования •КОС ОП и ФОС ОУ •использования КОС ОП •хранения и безопасности ФОС ОУ •сбора и обработки результатов использования КОС ОП •принятия управленческих решений и корректирующих воздействий •итераций КОС ОП •Модели оценочных средств •Фонд оценочных средств образовательного учреждения (ФОС ОУ) •ФОС •ОП 1 •ФОС •ФОС •ФОС •ФОС •ОП 2 •ОП 3 •ОП 3 •ОП •Совокупность образовательных программ ОУ N Мониторинг качества подготовки • • • Структура организации мониторинга Входной этап. Промежуточные этапы. Заключительный этап (ИГА). Фонд оценочных средств Методическое сопровождение мониторинга Промежуточная аттестация. • Первый этап - сформированность общекультурных компетенций • Второй этап - сформированность общепрофессиональных компетенций и некоторых профессиональных компетенций. • Третий этап – сформированность профессиональных компетенций, обусловленных профилем. • Четвертый этап - сформированность профессиональных компетенций в определенной области ( по видам деятельности) Презентация уровня освоения компетенций студентом первого курса Портфолио • Целевая подборка работ студента, раскрывающая его поэтапные успехи и достижения по освоению ООП • Содержит лучшие работы студента, которые оцениваются на основе четко определенных критериев выставления баллов независимыми экспертами(преподавателями, работодателями, сокурсниками и т.д.) • Сопровождается свидетельствами самостоятельной работы обучаемого On-line портфолио Структура Форма Часть общего сайта курса Материалы подтверждающие достижения Материалы, представляющие собственное видение студента Собственная Веб-страничка Результаты осмысления самостоятельной работы Отчет о результатах выполнения завершающего проекта Итоговая государственная аттестация • Комплексный тест ( знаниевая составляющая) • Квалификационные задания ( проверяется способность решать модельные профессиональные задачи, проявляя при этом общекультурные и профессиональные компетенции, сформированные в процессе обучения) • Портфолио • Выпускная квалификационная работа Объекты оценки, типы аттестаций и оценочных средств Объекты оценки Тип аттестации Формы заданий Квалификация Государственная итоговая аттестация Независимое оценивание Выпускная квалификационная работа Вид профессиональной деятельности (часть квалификации) Профессиональные и общие компетенции Промежуточная аттестация Комплексный (междисциплинарный?) экзамен Независимое оценивание Практическое задание Проект Портфолио Практический опыт Умения Промежуточная аттестация по практике Независимое оценивание Практическое задание, направленное на решение локальной проф.задачи и/или портфолио Умения Промежуточная аттестация Экзамен (зачет) по дисциплине Независимое оценивание Практическое задание, предполагающее решение типовых учебных, учебно-профессиональных задач Знания Промежуточная аттестация Экзамен (зачет) по дисциплине Независимое оценивание Теоретическое задание на воспроизведение, понимание, анализ информации Способен ли студент • распознавать проблемы, возникающие в практических, жизненных ситуациях, которые могут быть решены средствами предмета. • Использовать знания предмета в условиях неопределенности, когда проблема, которую необходимо решить, не задана явно. • Проводить анализ предложенной ситуации и принимать решение. • Объединять информацию из различных источников, одновременно учитывать значительное число различных условий и ограничений. • Интерпретировать полученные результаты с учетом поставленной проблемы; Оценка в рамках дисциплины. 1. 2. 3. 4. 5. Умение аргументировать или опровергнуть имеющееся высказывание; Умение проанализировать условие задачи на определенность (возможность получить однозначный ответ) и корректность (непротиворечивость условия); Умение установить наличие или отсутствие связей между данными высказываниями; Умение проанализировать логическую структуру высказывания; Способность студента к рефлексии, то есть способность отделить личное знание от незнания; Компетентностно-ориентированное задание Компетентностно-ориентированное задание это задание, которое требует • использования знаний в условиях неопределенности, за пределами учебной ситуации, • организует деятельность учащегося, а не требует воспроизведения им информации или отдельных действий Болотов В.А. Типы заданий задания с лишними данными; задания с противоречивыми данными; задания, в которых недостаточно данных для решения; многовариантные задания Для ответов используются символы: + означает «да» ; – означает «нет» 0 означает «не знаю» в задании имеются лишние данные (данных больше, чем надо) для выполнения задания данных недостаточно ? ! в задании имеются противоречивые данные задание многовариантное Ответ "не знаю" позитивен, поскольку демонстрирует способность обучающегося к рефлексии и позволяет работать в режиме, который не провоцирует на угадывание ответа. Последовательность ответов может быть такова: ++-0! • Оценка: +1 балл за верный ответ, • -1 балл за неверный, • 0 баллов за ответ «не знаю». Гистограмма плотности распределения результатов педагогических измерений 100 Процент студентов 90 90 85 80 70 59 60 44 50 59 51 Ряд2 40 24 30 20 7 10 7 2 0 1 2 3 4 5 6 7 Номера заданий 8 9 10 Конструирование заданий • Дан квадрат со стороной равной 5. Тогда его площадь равна 25. • Дан квадрат со стороной равной 5 и диагональю, равной 5. Тогда его площадь равна 25 • Дан квадрат со стороной, равной 5 и диагональю, равной 5 2 Тогда его площадь равна 25 • Дан квадрат с вершинами, имеющими координаты (7,5) и (4,-9).Тогда его площадь равна 25. Примеры заданий • Стакан воды вылили в море. Через год стакан воды зачерпнули из колодца. Оценить сколько в нем молекул из первого стакана. • Вы разработчик новой тары фирмы N. Убедите изготовителей молочных продуктов, что им выгодны пакеты для молока в форме правильного тетраэдра. • После 7 стирок кусок хозяйственного мыла уменьшился вдвое по длине, ширине и высоте. На сколько стирок его еще хватит? • Хозяйка купила на дачу коробок спичек . Оказалось, что спички занимают половину объема коробка. На сколько целых дней женщине хватит спичек, если в день она расходует 9 спичек? Работа в группах Придумайте компетентностноориентированные задания : задания с лишними данными; задания с противоречивыми данными; задания, в которых недостаточно данных для решения; многовариантные задания; свой вариант Благодарю за внимание! Медведева Ирина Николаевна