Мониторинг, обследование качества образования

ИНСТИТУТ ОБРАЗОВАНИЯ НИУ ВШЭ
МОНИТОРИНГ, ОБСЛЕДОВАНИЕ КАЧЕСТВА ОБРАЗОВАНИЯ
ЗАХАРОВ А.Б., AB.ZAKHAROV@GMAIL.COM, ВТ., СР. 11-13
1. ЦЕЛИ
Цель
Сформировать у слушателей представление об
обследовании качества образования, разных типах
оценки качества, этапах построения обследования
качества образования
Познакомить
с
концепциями,
программой
и
инструментарием различных обследований качества
образования
Познакомить с исследованиями, выстроенными на
данных мониторингов качества образования
Познакомить с практиками применения результатов
обследований
качества
образования
в
образовательной политике
Сформировать умение самостоятельного поиска
информации
Дать слушателям опыт разработки концепции и
программы обследования качества образования
Чем проверяется
Домашние задания после тем 1-7
Домашние задания после тем 1, 2, 5
Домашние задания после тем 3, 7
Домашние задание после темы 4, задание к теме 5.
Задания к темам 4-6.
Домашние задания после тем 5, 6, финальный проект
2. ТЕМЫ ЗАНЯТИЙ
Дата
Содержание занятия
Тема 1. Оценка качества образования: построение
концепции,
выбор
показателей.
Конструктная
валидность. Программа обследования
Тема 2. Типы оценки качества образования.
Международные обследования. Место России в них.
Тема 3. Исследования с использованием данных
международных обследований качества образования.
Тема 4. Использование результатов международных
обследований
в
построении
образовательной
политики разных стран.
Тема 5. Национальные обследования качества
образования.
Возможности
и
ограничения
использования.
Институт Образования НИУ ВШЭ http://ioe.hse.ru
Что делать, сдавать к этой дате
Домашнее задание после предыдущей
темы.
Ознакомиться
с
концепцией
и
результатами одного из международных
обследований
качества
образования
(PISA, PIRLS, TIMSS, TEDS, TALIS,
Домашнее задание после предыдущей
темы.
Прочитать одну из статей с описанием
результатов исследования, выполненного
на данных международных обследований
качества образования
Домашнее задание после предыдущей
темы.
Подготовить презентацию о практиках
применения результатов международного
обследования
в
образовательной
политике одной из стран (Германия,
Польша, Финляндия, и др.) – на выбор
учащегося
(самостоятельный
поиск
информации)
Домашнее задание после предыдущей
темы.
Познакомиться с концепцией, программой
и
инструментарием
одного
из
национальных обследований качества
образования (самостоятельный поиск
Дата
Содержание занятия
Тема 6. Особенности государственной итоговой
аттестации.
Возможности
и
ограничения
использования и интерпретации результатов.
Тема
7.
Связь
характеристик
участников
образовательного процесса и образовательных
практик
с
учебными
достижениями
старшеклассников. Исследования с использованием
данных государственной итоговой аттестации.
Тема 8. Мониторинги качества образования.
Рейтинги. Интерпретация результатов.
Зачет: защита проектов оценки качества образования
3. ОЦЕНКА
Требование
Активное участие в дискуссиях в аудитории
Домашнее задание
Финальный проект
Всего максимально
Конечная оценка зависит от числа баллов
Баллы 160 145 130 115 100 85 70
Оценка 10
9
8
7
6
5
4
Что делать, сдавать к этой дате
информации)
Домашнее задание после предыдущей
темы.
Проанализировать
практики
использования данных ЕГЭ для принятия
решений на уровне одного из регионов
(самостоятельный
поиск
данных).
Определить слабые и сильные стороны
используемых практик.
Домашнее задание после предыдущей
темы.
Прочитать одну из статей с описанием
результатов исследования, выполненного
на данных ЕГЭ
Домашнее задание после предыдущей
темы.
Групповая
самостоятельная
работа:
проанализировать один из локальных
мониторингов/
рейтингов
качества
образования: концепция, объект, задачи,
индикаторы, методы, инструментарий,
результаты. Показать возможности и
ограничения
для
интерпретации
результатов.
Предложить
варианты
использования данных мониторинга.
Проект
обследования
качества
образования на одном из уровней
(муниципальное образование, субъект РФ,
национальном). Проект должен включать
концепцию
обследования,
описание
индикаторов, источника и способа сбора
данных,
типа
выборки
(при
необходимости), описание возможностей
и ограничений обследования.
К-во баллов
10
20
40
160
55
3
40
2
25
1
4. ОПИСАНИЕ ЗАДАНИЙ
Тема 1. Оценка качества образования: построение концепции, выбор показателей. Конструктная
валидность. Программа исследования
Проанализировать язык описания в концепции одного из мониторингов/ исследований в образовании (из списка
рекомендованных или других – на выбор слушателя): вычленить базовые концепты, метафору, определить, какой
теоретический ресурс стоит за концепцией. Охарактеризовать индикаторы. Объем 1 страница
Тема 2. Типы оценки качества образования. Международные обследования. Место России в них.
Сопоставить 2 обследования (TIMSS 8 кл. и PISA или TIMSS 4 кл. и PIRLS):
а) сравнить концепцию (что измеряется);
Институт Образования НИУ ВШЭ http://ioe.hse.ru
б) сравнить выборку (единицы наблюдения, объем и принцип построения выборки);
в) сравнить результаты России и др. стран по данным обследованиям, используя описательную статистику.
Интерпретировать результаты.
Год обследований выбрать самостоятельно. Нужно учитывать, что в разные годы в центре внимания PISA были
разные предметы.
Ожидаемый результат - презентация из 5-6 слайдов.
Тема 3. Исследования с использованием данных международных обследований качества образования
По одной из прочитанных статей (из списка рекомендованных или других статей с результатами
«количественного» исследования – на выбор слушателя), построенных с использованием результатов
международного обследования, дать интерпретацию результатов исследования: какие задачи исследования?
Какие переменные? Каковы характеристики связи переменных? Можно ли перенести выводы на генеральную
совокупность? О чем говорит обнаруженная связь между переменными? Какие ограничения для выводов о связи
нужно сделать?
Тема 4. Использование результатов международных обследований в построении образовательной
политики в разных странах.
На основе анализа результатов международных обследований качества образования предложить варианты
применения его данных для принятия решений в сфере образовательной политики России. Описать факторы,
которые должны быть учтены.
Тема 5. Национальные обследования качества образования. Возможности и ограничения использования.
Групповая работа. Сделать предложения для разработки концепции и дизайна национального обследования
качества образования в России – для одной из ступеней образования.
Тема 6. Особенности государственной итоговой аттестации. Возможности и ограничения использования и
интерпретации результатов.
Предложить варианты применения данных ЕГЭ в образовательной политике. При необходимости учесть и
обосновать сбор дополнительных данных.
Тема 7. Связь характеристик участников образовательного процесса и образовательных практик с
учебными достижениями старшеклассников. Исследования с использованием данных государственной
итоговой аттестации.
По одной из прочитанных книг или статей (из списка рекомендованных или других статей с результатами
«количественного» исследования – на выбор слушателя), построенных с использованием результатов ЕГЭ, дать
интерпретацию результатов исследования: какие задачи исследования? Какие переменные? Каковы
характеристики связи переменных? Можно ли перенести выводы на генеральную совокупность? О чем говорит
обнаруженная связь между переменными? Какие ограничения для выводов о связи нужно сделать? Объем до 1
страницы
Тема 8. Мониторинги качества образования. Рейтинги. Интерпретация результатов
Подготовить финальный проект концепции и программы обследования качества образования в регионе
(муниципальном образовании).
5. СПИСОК ЛИТЕРАТУРЫ
Тема 1.
Основная литература:
1. Shadish, W.R, Cook, T.D., and Campbell D.T. 2002. Experimental and Quasi-Experimental Designs for
Generalized Causal Inference. Boston, MA: Houghton Mifflin Company. Ch.3.
2. Константиновский Д., Вахштайн В., Куракин Д. Реальность образования. Социологическое исследование:
от метафоры к интерпретации. М., 2013
Дополнительная литература:
1. Бурдье П., Пассрон Ж-К. Воспроизводство: Элементы теории системы образования. М: Просвещение,
2007. От переводчика, Кн.2., Приложение.
2. Бурдье П. Формы капитала// Экономическая социология. 2002. Т.3 №5(ноябрь). С.60-74.
3. ван Уденховен Н. Показатели, шкалы и другие инструменты для измерения качества: международный
обзор. (http://www.rtc-edu.ru/resources/publications)
4. Дюркгейм Э. Педагогика и социология. http://www.pedlib.ru/Books/2/0060/2_0060-21.shtml
Институт Образования НИУ ВШЭ http://ioe.hse.ru
5. Коулман Дж. Капитал социальный и человеческий// Общественные науки и современность. 2001. №3.
С.122-139
6. Education for all: The quality imperative. Global Monitoring Report./ UNESCO 2005
(http://unesdoc.unesco.org/images/0013/001373/137333e.pdf)
7. Defining Quality in Education: Working Paper Series Education Section Programme Division United Nations
Children's Fund. NY, 2000 (http://www.unicef.org/education/files/QualityEducation.PDF)
8. Агранович М. Л. Индикаторы в управлении образованием: что показывают и куда ведут? // Вопросы
образования - 2008. - N 1. - C. 120-145
9. Агранович М. Кондрашов П. Индикаторы оценки качества образования: Методика управления качеством
образования на региональном и муниципалльном уровнях // Директор школы - 2007. - № 5. - C. 5-16
10. Агранович, М. Рейтинг школ повышенного уровня: зачем он нужен и как строится // Директор школы - 2011.
- № 6. - C. 18-22.
11. Константиновский Д., Вахштайн В., Куракин Д. Рощина Я. Доступность качественного образования:
возможности и ограничения. М: Университетская книга, 2006.
Темы 2 - 4.
Основная литература:
1. Поливанова К.Н. Национальные и международные программы оценки качества образования: Учеб.
пособие. М: Логос, 2010
2. Чуриков А.В. Случайные и неслучайные ВЫБОРКИ в социологических исследованиях. // Социальная
реальность, 2007. № 4. C. 89—109
3. Amadeo, J-A., Torney-Purta, J., Lehmann, R., Husfeldt, V., & Nikolova, R. (2002). Civic Knowledge and
Engagement.
An
IEA
study
of
upper
secondary
students
in
sixteen
countries.
IEA.
(http://www.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/CIVED_Phase2_Upper_Secondary.pdf)
4. PISA 2009 key findings (http://www.oecd.org/pisa/pisaproducts/pisa2009/pisa2009keyfindings.htm)
5. Mullis, I.V.S., Martin, M.O., Foy, P., & Drucker, K.T. (2012). Chestnut Hill, MA: TIMSS & PIRLS International
Study Center, Boston College. (http://timssandpirls.bc.edu/pirls2011/international-results-pirls.html)
6. Mullis, I.V.S., Martin, M.O., Foy, P., & Arora, A. (2012). Chestnut Hill MA: TIMSS & PIRLS International Study
Center, Boston College. (http://timssandpirls.bc.edu/timss2011/international-results-mathematics.html)
7. Martin, M.O., Mullis, I.V.S., Foy, P., & Stanco, G.M. (2012). Chestnut Hill, MA: TIMSS & PIRLS International
Study Center, Boston College. (http://timssandpirls.bc.edu/timss2011/international-results-science.html)
8. Ingvarson, L., Schwille, J., Tatto, M.T., Rowley, G., Peck, R., & SenkAn, S.L. (2013). Analysis of Teacher
Education Context, Structure, and Quality-Assurance Arrangements in TEDS-M Countries. Australian Council for
Educational
Research,
Michigan
State
University
(http://www.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/IEA_TEDS-M_Findings.pdf)
1. T IMS S 20 1 1 s am pl e d es ig n a nd im pl em ent a t i on ( h tt p :/ /t im s s .bc . e d u/m et ho ds /t - s am pl edes i g n. htm l)
2. PISA 2012 Assessment and Analytical Framework. Mathematics, Reading, Science, ProblemSolving and
Financial Literacy. OECD, 2013
9. Центр оценки качества образования РАО. Публикации (http://centeroko.ru/)
Дополнительна литература:
1. Центр оценки качества образования РАО. Публикации (http://centeroko.ru/)
2. Кузьмина Ю.В., Тюменева Ю.А. Читательская грамотность 15-летних школьников: значимость семейных,
индивидуальных и школьных характеристик // Вопросы образования. 2011 №3.
3. Кузьмина Ю.В., Тюменева Ю.А. Что дает год обучения российскому школьнику: На материалах PISA 2009
// Вопросы образования. 2013 №1.
4. Неожиданная победа. Российские школьники читают лучше других/ Под науч. ред. И.Д. Фрумина. М., 2010
5. Ковалева Г.С., Денищева Л.О., Шевелева Н.В. Педвузы дают высокое качество математического
образования, но их выпускники не спешат в школу (по результатам TEDS-M) // Вопросы образования.
2011. №4.
Темы 5 - 7.
Основная литература:
1. Kellaghan, T., Greany, V., Murray, T.S. 2009. Using the results of a National Assessment of educational
achievement. (http://www.uis.unesco.org/Education/Documents/National_assessment_Vol5.pdf)
2. Поливанова К.Н. Национальные и международные программы оценки качества образования: Учеб.
пособие. М: Логос, 2010
3. Левитт С., Дабнер С. Фрикономика. Мнение экономиста-дисседента о неожиданных связях между
событиями и явлениями: Пер. с англ. М., 2007. Гл.1
4. Боченков С. А., Вальдман И. А. Интерпретация и представление результатов ЕГЭ: проблемы и возможные
решения // Вопросы образования. 2013. № 3. С.5 – 24
Дополнительная литература:
Институт Образования НИУ ВШЭ http://ioe.hse.ru
1. Агранович М.Л. Возможности анализа образовательных систем на основе результата ЕГЭ: на примере
финансирования сред. шк. регион. и субрегион. уровня // Вопросы образования - 2004. - N 2.
2. Алашев С., Репринцева E. Результаты ЕГЭ по русскому языку и математике и и их социологическая
интерпретация (На материалах Самарской области) // Социология образования. 2010. №9. С.57-69
3. Концепция общероссийской системы оценки качества образования // под ред. А.Н. Лейбовича. – М.:
Федеральная служба по надзору в сфере образования и науки, 2006
4. Национальный доклад о состоянии развития образования / МОН Республики Казахстан. Астана, 2010
5. Прахов И.А., Юдкевич М.М. Влияние дохода домохозяйств на результаты ЕГЭ и выбор вуза // Вопросы
образования. 2012. №1.
6. Gay G.H. Standardized tests: irregularities in administering tests affect test results. Journal of instructional
psychology. 17. N2. 1990. Pp. 93 – 103.
7. Jacob, B.A., Levitt, S.D. Rotten apples: An investigation of the prevalence and predictors of teacher cheating.
Quarterly journal of economics. 118. N3. 2003. Pp. 843 – 877.
8. Zakharov A., Carnoy M., Loyalka P. Which Teaching Practices Improve Student Performance on High-Stakes
Exams? Evidence from Russia / Working papers by NRU Higher School of Economics. Series EDU "Education".
2013.
Тема 8
Основная литература:
1. The Learning Curve (http://thelearningcurve.pearson.com/)
2. Агранович, М. Рейтинг школ повышенного уровня: зачем он нужен и как строится // Директор школы - 2011.
- № 6. - C. 18-22.
3. Инструментарий для оценки состояния образовательных систем и рекомендации по его использованию.
Кн.2 М., 2006 (Библиотека инструментария мониторинговых исследований)
4. Инструментарий оценки доступности и качества общего образования и рекомендации по его
использованию. Кн.3, М., 2006 (Библиотека инструментария мониторинговых исследований)
5. ван Уденховен Н. Показатели, шкалы и другие инструменты для измерения качества: международный
обзор. (http://www.rtc-edu.ru/resources/publications)
6. Рейтинг
муниципальных
детских
садов
России
2012.
Методика
рейтингования
(http://vid1.rian.ru/ig/ratings/Detsad_metodic.pdf)
6. НАПОМИНАНИЯ
1. Студент считается имеющим академическую задолженность, если он получил оценку ниже 4 баллов (по
10-балльной шкале) по итогам промежуточной/окончательной аттестации по Дисциплине, либо не явился
на экзамен (не сдал работу в установленный срок) без уважительной причины.
2. Студенты, имеющие единовременно академические задолженности по трем или более разным
Дисциплинам, к пересдачам результатов промежуточной аттестации по Дисциплинам не допускаются и
подлежат отчислению непосредственно после получения академической задолженности по третьей
Дисциплине.
3. Запрещается пересдача результатов промежуточной аттестации по Дисциплине с целью повышения
удовлетворительной оценки (от 4 баллов по 10-ти балльной шкале).
4. Пересдача по одной и той же Дисциплине допускается не более двух раз.
Институт Образования НИУ ВШЭ http://ioe.hse.ru