Развитие системы оценки качества образования

Коллегия
«Департамента образования ЯНАО в 2011-2014 годах»
22 мая 2012 года
Развитие системы оценки качества образования:
международный опыт и ближайшие перспективы
в Российской Федерации
И.А. Вальдман
зав. лабораторией мониторинга в образовании
Института управления образованием РАО,
директор Российского тренингового центра ИУО РАО,
кандидат пед. наук
КУЛЬТУРНАЯ РАМКА
СИСТЕМЫ ОЦЕНКИ КАЧЕСТВА
ОБРАЗОВАНИЯ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ЭФФЕКТИВНЫЕ СИСТЕМЫ ОЦЕНКИ
Эффективные системы оценки качества образования
это
системы,
которые
предоставляют
информацию
надлежащего
качества
и
в
необходимом количестве для того, чтобы
удовлетворить информационные потребности всех
заинтересованных групп и тех, кто принимает
решения с целью повышения качества обучения
учащихся.
ЦЕЛИ СИСТЕМЫ ОКО
1) Определение прогресса в обучении конкретного школьника.
2) Сертификация/селекция (подтверждение завершения
обучения, отбор для продолжения обучения или получения
рабочего места).
3) «Оценка» учителя.
4) Оценка результатов деятельности образовательных
учреждений и образовательных систем.
5) Оценка деятельности национальной образовательной
системы.
КАРТА ПРОЦЕДУР ОКО
Оценка качества обучения
Государственные экзамены
Управление качеством
Оценка ОУ:
аккредитация, аудит, самооценка
Крупномасштабное оценивание (мониторинги)
Внутриклассное оценивание
Оценка образовательных программ и учебников
Оценка образов.
систем
«Оценка» работы учителя:
аттестация, самооценка
ВИДЫ ПРОГРАММ ОЦЕНКИ
Виды программ
оценивания
наблюдения
тесты
вопросы
Оценка на уровне
класса
Формирующее
оценивание
Выпускные
Государственные
экзамены
Вступительные
Крупномасштабные
исследования
Национальная
оценка
Суммирующее (итоговое)
оценивание
Международные
сравнительные
исследования
ПИРАМИДА ОБРАЗОВАТЕЛЬНОГО ОЦЕНИВАНИЯ
Как обеспечить максимальное влияние…
Углублённые
исследования
Крупномасштабное
оценивание
(мониторинги)
Государственные экзамены
Внутриклассное оценивание
(оценка на уровне класса)
ФАКТОРЫ/ПАРАМЕТРЫ КАЧЕСТВА
Три основных фактора, которые обуславливают качество
системы оценивания:
• благоприятная внешняя среда;
• координация и согласованность с элементами
образовательной системы;
• технология.
(AERA, APA, & NCME, 1999; Darling-Hammond & Wentworth, 2010)
БЛАГОПРИЯТНАЯ СРЕДА
Политика
Благоприятная внешняя среда связана
с более широким контекстом, в котором
происходит оценивание, и с тем,
насколько такой контекст способствует и
помогает проведению оценивания.
Финансовые
ресурсы
Кадры
Организационные
ресурсы
КООРДИНАЦИЯ И СОГЛАСОВАННОСТЬ С СИСТЕМОЙ
Координация и согласованность с образовательной
системой показывает, насколько система оценивания
взаимоувязана с остальными компонентами системы
образования.
Учебный план
• цели обучения,
• стандарты и учебный план,
• учебники и методические материалы,
• профессиональное развитие учителя
Проф.
развитие учителя
Учебники
ТЕХНОЛОГИЯ
Технология важна, т.к. если оценивание ненадежное в части
дизайна, проведения, анализа, использования, то его
результаты повлекут некорректные решения в отношении
обучения учащихся и системы образования.
Дизайн
Технология
относится
к
психометрическому
качеству
инструментария, процессов и процедур,
применяемых при оценочной работе.
Использование
Администрирование
Анализ результатов
РАМКА ДЛЯ СИСТЕМЫ ОКО
Виды программ оценки
Ключевые параметры
эффективной системы
оценивания
Факторы/
параметры
качества
Внутриклассное
оценивание
Экзамены
Крупномасшт.
оценивание
(мониторинги)
Благоприятная среда
Политика
Финансовые ресурсы
Организационные структуры
Человеческие ресурсы
Согласованность с
системой
Учебный план
Учебники и методические материалы
Подготовка и повышение квалификации учителей
Технология
Дизайн
Администрирование
Анализ
Применение
МЕЖДУНАРОДНЫЙ ОПЫТ
ВАЖНЫЕ УРОКИ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
МЕЖДУНАРОДНЫЙ ОПЫТ
• Эффективная система оценки строится на сочетании
разнообразных методов оценки. Стандартизированное
тестирование – всего лишь один из используемых
подходов для определения качества обучения.
• Процедуры оценки ориентированы на более широкие
образовательные результаты, нежели знания в рамках
учебных дисциплин.
ОБРАЗОВТАЕЛЬНЫЕ РЕЗУЛЬТАТЫ
•
•
•
•
•
•
•
•
•
•
компетентности,
способность к критическому мышлению,
здоровье ученика,
безопасность,
мотивация к обучению,
гражданская позиция,
умение позитивно взаимодействовать с другими
самоуважение,
уважение к семье и обществу,
забота о других и забота об окружающей среде…
МЕЖДУНАРОДНЫЙ ОПЫТ
• В основе оценивания результатов образования лежит
не только определённая норма, но и положительная
динамика изменений достижений (индивидуальный
прогресс, добавленная стоимость).
• Анализ результатов оценки учебных достижений
проводится с учётом факторов, оказывающих влияние на
эти результаты.
• Комбинация внутренней и внешней оценки– базовый
подход для оценки деятельности школы.
Учёт внешних факторов: Шотландия
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ
ВАЖНЫЕ СЮЖЕТЫ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
Модель использования данных: линейный рейтинг
Линейный рейтинг
Ш 1________
Ш 2________
Ш 3________
………
Ш М _______
……..
Ш N _______
……..
Ш N+1 ________
Ш N+2 ________
……..
Ш N+k ________
«Сильные»
школы
Ш 1________
Ш 2________
Ш 3________
………
Ш М _______
«Слабые»
школы
Ш N+1 _______
Ш N+2 _______
……..
Ш N+k _______
«Простые» решения
• Поощрения
• Санкции
Модель использования данных: кластерный анализ
Кластерный анализ
К1
К2
К3
Ш1.1________
Ш1.2________
Ш1.3________
……..
Ш1.14_______
Ш1.15_______
Ш2.1________
Ш2.2________
Ш2.3________
……..
Ш2.21_______
Ш3.1________
Ш3.2________
Ш3.3________
……..
Ш3.11_______
Ш3.12_______
«Слабые»
школы
Ш1.14,
Ш1.15,
Ш2.21,
Ш3.11,
Ш3.12
………..
Анализ факторов
•
•
•
•
•
•
Самооценка школы
Опросы потребителей
услуг
Внешний аудит
Данные исследований
Статистика
…
МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ
Кластер.
анализ
От линейного рейтинга к
кластерному сравнению
и анализу факторов
Оценка
«Слабые»
школы
Меры
Анализ
поддержки
факторов
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Учёт дополнительных данных при принятии
управленческих решений по итогам оценки.
Крайне важно, чтобы при принятии решений «с
высокими ставками», такими как государственные
экзамены, аккредитация школ, аттестация педагогов и
др., выводы о качестве образования делались не только
на основе результатов процедур оценки качества
образования.
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Учёт дополнительных данных при принятии
управленческих решений по итогам оценки.
Невозможно принимать «сложные» решения на основании данных одного
вида
«Простые» решения
• Итоговая государственная аттестация по предмету
• Как учителю и школе организовать работу «над ошибками»
Более «сложные» решения
• Выбор профиля обучения в старшей школе
«Сложные» решения
• Оценка качества работы учителя
• Оценка эффективности работы школы
УСЛОВИЯ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ
Ориентация на информационные потребности основных
групп пользователей результатов оценки.
Соответствующая информация должна достигать
представителей
всех
заинтересованных
сторон
(разнообразные информационные продукты).
Информацию следует представлять в форме, понятной
потенциальным
пользователям
(интерпретация
результатов).
ПЕРСПЕКТИВЫ РАЗВИТИЯ ОСОКО
На
основании проекта
государственной
программы «Развитие образования» на 20132020 годы.
Подпрограмма 3. Развитие системы оценки
качества образования и информационной
прозрачности системы образования.
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
ЗАДАЧИ ГОСПРОГРАММЫ
формирование гибкой, подотчетной обществу системы непрерывного профессионального
образования, развивающей человеческий потенциал, обеспечивающей текущие и перспективные
потребности социально-экономического развития Российской Федерации;
развитие инфраструктуры и организационно-экономических механизмов, обеспечивающих
максимально равную доступность услуг дошкольного, общего, дополнительного образования
детей;
модернизация образовательных программ в системах дошкольного, общего и дополнительного
образования детей, направленная на достижение современного качества учебных результатов и
результатов социализации;
создание современной системы оценки качества образования на
основе принципов открытости, объективности, прозрачности,
общественно-профессионального участия.
ПОДПРОГРАММА 3
Цель:
Обеспечение надежной и актуальной информацией процессов принятия решений руководителей
и работников системы образования, а также потребителей образовательных услуг для достижения
высокого качества этих услуг через формирование общероссийской системы оценки качества
образования
Задачи:
• включение потребителей образовательных услуг в оценку деятельности системы образования через развитие
механизмов внешней оценки качества образования и государственно-общественного управления;
• обеспечение современного уровня надежности и технологичности процедур оценки качества образовательных
результатов;
• формирование культуры оценки качества образования на уровне регионов, муниципалитетов и отдельных
организаций через повышение квалификации кадров системы образования в области педагогических измерений,
анализа и использования результатов оценочных процедур;
• создание системы поддержки сбора и анализа информации об индивидуальных образовательных достижениях;
• создание системы мониторинговых исследований качества образования;
• формирование унифицированной системы статистики образования на основе международных стандартов.
МЕРОПРИЯТИЕ 3.2. СОДЕРЖАНИЕ
«Формирование и развитие общероссийской системы оценки качества
образования, в том числе поддержка и развитие инструментов оценки
результатов обучения в системе общего образования…».
• Совершенствование ЕГЭ и ГИА-9 (процедуры, банки КИМ, междун. аудит).
• Введение форм оценки образовательных достижений учащихся на уровне ОУ
(оценка инд. прогресса учащихся, внеучебных достижений, портфолио).
• Внедрение
комплексной
динамической
оценки
деятельности
образовательных организаций (включая процедуру самооценки школы).
• Подготовка специалистов в области педагогических измерений.
• Федеральная система мониторинга инд. обр. достижений (эл. портфолио).
• Поддержка развития РСОКО (кадры, КИМы).
• Создание региональных центров сертификации проф. квалификаций.
МЕРОПРИЯТИЕ 3.2. РЕЗУЛЬТАТЫ
• На 6 уровнях образования будут действовать механизмы
внешней оценки качества образования;
• будет создано 50 центров сертификации профессиональных
квалификаций с участием работодателей;
• будет проведена подготовка специалистов по педагогическим
измерениям в объеме 300-500 специалистов в год;
• в 50 регионах Российской Федерации будет обеспечена
разработка
контрольно-измерительных
материалов
в
соответствии с требованиями ФГОС не менее чем по 4 учебным
предметам.
МЕРОПРИЯТИЕ 3.3. СОДЕРЖАНИЕ
«Развитие механизмов обратной связи и поддержки потребителя в
образовании как части национальной системы оценки качества
образования».
• Изучение мнений потребителей образовательных услуг, организация
дискуссионных площадок.
• Единые стандарты прозрачности для всех образовательных организаций, для
муниципальных, региональных и федеральных органов управления
образованием (методическое и нормативное обеспечение).
• В каждом субъекте Российской Федерации будет сформирована система
навигаторов образовательных услуг и обеспечен свободный доступ
населения к получению интересующей потребителей образовательных услуг
информации.
МЕРОПРИЯТИЕ 3.3. РЕЗУЛЬТАТЫ
• Всеми образовательными организациями будет обеспечиваться
доступность информации о своей деятельности на официальных
сайтах.
• Система социальных навигаторов в области образовательных
услуг будет внедрена в каждом из 8 федеральных округов на 5
уровнях образования.
МЕРОПРИЯТИЕ 3.4. СОДЕРЖАНИЕ
«Участие Российской Федерации в международных исследованиях качества
образования (в том числе PISA, PIAAC, AHELO, TIMSS, PIRLS, ICILS, ICCS)».
• Проведение международных исследований качества образования.
• Будет оказана поддержка проведению международных исследований на
представительных региональных выборках за счет использования
механизмов конкурсного софинансирования регионов.
• Проведение
углубленного
анализа
результатов
международных
сопоставительных исследований для принятия управленческих решений и
совершенствования преподавания.
МЕРОПРИЯТИЕ 3.4. РЕЗУЛЬТАТЫ
• Российская Федерация будет на регулярной основе участвовать
не менее чем в 7 международных сопоставительных
исследованиях качества образования;
• улучшатся результаты российских школьников по итогам
международных сопоставительных исследований качества
общего образования (PIRLS, TIMSS, PISA);
• будет сформирована научно-методическая инфраструктура для
анализа
и
оценки
результатов
международных
сопоставительных исследований качества образования и
разработки предложений по повышению качества образования.
МЕРОПРИЯТИЕ 3.5. СОДЕРЖАНИЕ
«Создание системы мониторингов в области образования и социализации,
развитие единой унифицированной системы статистики образования».
• Развитие системы образовательной статистики.
• Будет создана система мониторингов в области образования и социализации,
которые начнут проводиться на систематической основе.
 МИ учебных достижений учащихся (включая М готовности к освоению программ конкретного
уровня образования общего и профссионального);
 М готовности учащихся основной школы (8 класс) к выбору образовательной и
профессиональной траектории;
 М информационной открытости образовательных организаций.
 М трудоустройства, карьеры и доходов выпускников организаций проф. образования.
• Использование результатов МИ для повышения качества обучения и
эффективного управления ОС (кластерный анализ, контекстная информация,
соц. методы).
МЕРОПРИЯТИЕ 3.5. РЕЗУЛЬТАТЫ
• Будет сформирована единая унифицированная система
статистического наблюдения за деятельностью образовательных
организаций.
• Не менее 3-х уровней профессионального образования будут
охвачены централизованными мониторингами трудоустройства
и доходов выпускников образовательных организаций
профессионального образования.
• Будет организовано проведение не менее 5 регулярных
мониторинговых исследований качества образования и
социализации.
МЕРОПРИЯТИЕ 3.6. СОДЕРЖАНИЕ
«Развитие институтов общественного участия в управлении образованием и
повышении качества образования».
• Развитие институтов ГОУ на уровне школы (управляющие советы и др.),
организаций проф. образования (попечительские советы с полномочиями по
участию в разработке образовательных программ).
• Введение в практику механизмов общественно-профессиональной
аккредитации образовательных программ высшего проф. образования
• Обеспечение информационной открытости деятельности учреждений
образования на всех уровнях (сайты, публичные доклады).
• Разработка и распространение новых моделей привлечения общественных
институтов и объединений педагогов к оценке качества общего образования.
• Подготовка общественных управляющих и общественных экспертов в сфере
образования.
МЕРОПРИЯТИЕ 3.6. РЕЗУЛЬТАТЫ
• Во всех образовательных организациях будут действовать
коллегиальные органы управления с участием общественности
(родители, работодатели);
• во всех субъектах Российской Федерации на регулярной основе
будет организована подготовка общественных управляющих и
экспертов.
РАЗВИТИЕ РСОКО
ПЕРСПЕКТИВНЫЕ ЗАДАЧИ
rtc.imerae@gmail.com
WWW.RTC-EDU.RU
КЛЮЧЕВЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ РСОКО
ИНСТРУМЕНТЫ
АНАЛИТИКА
КАДРЫ
ИНСТРУМЕНТЫ
• Составление карты оценочных процедур с учётом федеральных
действующих и перспективных процедур, а также потребностей
региона.
• Введение мониторинговых исследований. Участие в апробации
инструментария федеральных мониторинговых исследований
(например, оценка качества начального образования).
• Самооценка школы – инструмент поддержки и саморазвития
школы.
• Особое
внимание
к
методикам
внутриклассного
и
внутришкольного оценивания.
• Измерители – сами или аутсорсинг.
КАДРЫ
• Специалисты по пед. измерениям (небольшая региональная
группа).
• Региональные консультанты по ОКО (в ИРО, муниципалитетах и
крупных школах).
• Обучение под задачу (для реализации конкретных проектов –
региональных, муниципальных, школьных).
• Формирование оценочной компетентности педагогов и
администраторов школ в рамках системы повышения
квалификации.
• Подготовка специалистов по интерпретации результатов и
аналитике.
АНАЛИТИКА
• Введение корректных методик анализа и интерпретации
результатов (динамическая оценка, инд. Прогресс, кластерный
анализ результатов, учёт разных данных, работа с контекстной
информацией).
• Разработка аналитических материалов и информационных
продуктов по итогам проведения ОКО. Разные продукты для
разных целевых групп.
• Разработка управленческих решений (рекомендации, учёт
рисков).
• Рейтинги – какие и для чего.
ЧТО ЕЩЁ?
• Нормативное и методическое обеспечение ОКО.
• Организации, координирующие ОКО (РЦОКО, ИРО, метод.
службы и центры, негос. структуры?) и их взаимодействие.
• Привлечение институтов гражданского общества.
ЧТО МОЖЕТ ПРЕДЛОЖИТЬ РАО?
• Экспериментальная площадка РАО «Формирование модели РСОКО».
• Экспертиза и консультации по РСОКО (включая подготовку
управленческих решений).
• Проведение некоторых мониторинговых исследований.
• Подготовка аналитики по итогам оценочных процедур.
• Создание различных информационных продуктов для разных целевых
групп на основе результатов ОКО.
• Разработка и внедрение процедуры самооценки школы.
• Обучение специалистов в краткосрочных формах.
• Зарубежный опыт (стажировки, приглашение заруб. экспертов).
СПАСИБО ЗА ВНИМАНИЕ!
iavaldman@gmail.com
rtc.imerae@gmail.com
WWW.RTC-EDU.RU