Экспертиза фондов оценочных средств ФОС

Пленум Совета учебно-методического объединения по образованию
в области рыбного хозяйства
25 сентября 2012 г.
Формирование методических рекомендаций
по разработке и использованию фондов
оценочных средств аттестации студентов и
выпускников вузов на соответствие
требованиям ФГОС ВПО
Недоступ А.А.
зам. председателя УМО по образованию в области рыбного
хозяйства
Пленум Совета УМО по образованию в
области рыбного хозяйства
г. Южно-Сахалинск
25 сентября 2012 года
1
Современные тенденции в трактовке качества
результатов образования
• Введение в действие федеральных
государственных образовательных
стандартов нового поколения (ФГОС ВПО)
• Переход на компетентностный формат
обучения
• Несоответствие существующих контрольноизмерительных приборов (КИМ) качества
подготовки студентов требованиям ФГОС
ВПО
2
Оценка качества освоения ООП в ФГОС ВПО
(раздел 8 ФГОС ВПО)
- вуз обязан обеспечивать гарантию качества подготовки, в том числе
……разработки объективных процедур оценки уровня знаний и умений
обучающихся, компетенций выпускников…….
- включает - текущий контроль успеваемости, промежуточная
аттестация и итоговая государственная аттестация выпускников
- формы и процедуры текущего и промежуточного контроля по каждой
дисциплине разрабатываются вузом самостоятельно и доводятся до
обучающихся в течении первого месяца обучения ……..
- для аттестации персональных и поэтапных достижений обучающихся
создаются фонды оценочных средств, включающие типовые задания,
тесты, контрольные работы и методы контроля для оценивания знаний,
умений и уровня приобретенных компетенций ……….
- вузом должны быть созданы условия контроля студентов
приближенные к условиям их будущей профессиональной
деятельности………
3
Фонды оценочных средств
Под фондом оценочных средств (ФОС) понимается комплект
методических и контрольных измерительных материалов,
предназначенных для оценивания компетенций на разных стадиях
обучения студентов, а также для аттестационных испытаний
выпускников на соответствие (или несоответствие) уровню их
подготовки требованиям соответствующего ФГОС ВПО по
завершению освоения ООП по определенному направлению или
специальности.
ФОС разрабатываются вузами с учетом особенностей принятых ООП.
Оценка уровня освоения компетенций абитуриентов, студентов и
выпускников вузов требует создания новой инновационной
технологии комплексного оценивания совокупности имеющихся
знаний, умений и навыков (ЗУН).
4
Компетентностный формат обучения
При компетентностном обучении важными
становятся:
- компетенции как результат образования;
- образовательные технологии как способ их
формирования;
- оценочные средства как инструмент доказательства
достижения заявленных результатов образования.
5
КОМПЕТЕНЦИИ И КОМПЕТЕНТНОСТЬ
Компетенция, как способность применять знания, умения и
личностные качества для успешной деятельности в
определенной области является характеристикой действия.
Компетентность характеризует выраженную способность
применять знания, умения и навыки, проявлять социальноличностные свойства и является характеристикой
личности (наличие знаний и опыта, необходимых для
эффективной деятельности в заданной предметной
области).
Поэтому фактической оценкой работодателем качества
специалиста по его пригодности к результативной
(эффективной) работе является компетентность.
6
Что хотим оценить и что оцениваем на соответствие
ФГОС ВПО?
Хотим оценить компетентность, как способность решать
рабочие задачи, а оцениваем компетенции, как стандарты
поведения, обеспечивающие эту способность.
Поэтому обобщенным результатом сертификационных
испытаний должна стать целостная компетентность
специалиста, которая складывается из частных
компетентностей, сформированных:
• в профессиональном образовательном учреждении
• в процессе практической производственной,
организаторской, общественной деятельности,
самовоспитания, взаимодействия с коллективом и
отдельными персоналиями.
7
Проблемы формирования и оценивания
компетенций
• многофункциональность;
• надпредметность;
• связанность с уровнем способностей
обучаемых;
• отсроченный характер проявления
компетенций;
• при интерпретации оценок уровня освоения
компетенций необходимо принимать во
внимание многие факторы.
8
Для оценивания компетенций необходимо
 описать результаты в простых и однозначных
терминах, чтобы они были понятны студентам,
преподавателям, коллегам, работодателям и
внешним экспертам
 оценить реально ли достичь результаты
образования имеющимися ресурсами и в
пределах отведенного времени
 предоставить возможности оценивания
компетенции
9
Современное состояние
информатизации общества требует:
• технологизации образовательного и
оценочного процессов;
• разработки и использования программноинструментальных средств для
автоматизированной обработки материалов
оценивания учебных достижений и компетенций
студентов;
• обеспечения статистической обработки
результатов и представления их в форматах,
доступных студентам, преподавателям и
администрации вузов
10
Типы традиционных и инновационных
оценочных средств компетенций
 оценка по уровню развития ключевых компетенций
 тесты «на применение» при определении предметных и межпредметных














компетентностей
рейтинговая модель, определяющая степень продвижения обучающегося по
лестнице успеха в однотипной среде
мониторинговая модель, предусматривающая создание «портфолио»
достижений
обсуждение и дискуссия
написание текстов различного рода
презентация – представительские данные, навыки публичных выступлений,
умение «держаться» перед аудиторией
ситуационно-поведенческие тесты – краткие стандартизованные оценочные
процедуры
тесты эффективности обработки информации
личностные опросники как наборы стандартизованных анкет с вопросами
закрытого типа
интервью как инструмент, позволяющий открыто обсуждать слабые и сильные
стороны и объяснять свою точку зрения
метод стратегического интервью
наблюдение – инструмент сбора информации для установления фактов
анкетирование – инструмент для сбора информации, причем у респондентов
есть время подыскать требуемые данные/факты
контент-анализ документации (классных журналов, характеристик и др.)
11
портфолио документов – набор документов, материалов, отражающих
деятельность обучающегося
Компетентностно ориентированные задания
12
Тесты
13
Виртуальные лаборатории
14
Объекты оценки, типы аттестаций и оценочных средств
Объекты оценки
Тип аттестации
Формы заданий
Квалификация
Государственная итоговая
аттестация
Независимое оценивание
Выпускная квалификационная
работа
Вид профессиональной
деятельности
(часть квалификации)
Профессиональные и
общие компетенции
Промежуточная аттестация
Комплексный
(междисциплинарный?)
экзамен
Независимое оценивание
Практическое задание
Проект
Портфолио
Практический опыт
Умения
Промежуточная аттестация по
практике
Независимое оценивание
Практическое задание,
направленное на решение
локальной проф.задачи
и/или портфолио
Умения
Промежуточная аттестация
Экзамен (зачет) по дисциплине
Независимое оценивание
Практическое задание,
предполагающее решение
типовых учебных,
учебно-профессиональных
задач
Знания
Промежуточная аттестация
Экзамен (зачет) по дисциплине
Независимое оценивание
Теоретическое задание
на воспроизведение,
понимание, анализ информации
15
КОМУ РАЗРАБАТЫВАТЬ ФОНДЫ ОЦЕНОЧНЫХ
СРЕДСТВ?
К разработке фондов оценочных средств должны
привлекаться совместно:
•представители предприятий, в первую очередь
непосредственно связанные с технологиями и
производственными процессами.
•преподаватели вузов, имеющие опыт методической
работы и практику в первую очередь профессиональной
подготовки, а также представители УМО.
16
Методика оценивания уровня сформированности
компетенций
•
•
•
•
•
Для каждого студента с помощью тестов оценивается уровень
остаточных знаний и умений по всем дисциплинам базовой части
каждого цикла ООП ВПО. Для оценки уровня используется, например,
балльная шкала оценивания.
Для каждого студента с помощью ситуационных заданий (кейсов)
оценивается уровень сформированности владений для каждого цикла
дисциплин ООП ВПО. Для оценки также может использоваться
балльная шкала.
Для каждого студента производится оценивание уровня
сформированности компетентности по каждому циклу ООП ВПО
путем суммирования результатов контроля знаний, умений и владений.
С учетом важности каждого цикла ООП ВПО производится
комплексное оценивание уровня сформированности компетентности
каждого студента для выборочных ООП ВПО, входящей в рамки
УГСН, путем линейной свертки результатов контроля по каждому
циклу дисциплин.
Определяется процент студентов в рамках отдельной ООП ВПО,
входящей в УГСН, у которых уровень сформированности
компетентности не ниже необходимого (например, порогового).
Пороговый уровень должен определяться по отдельной методике.
17
Методика оценивания уровня сформированности
компетенций
•
•
•
•
С учетом количества студентов по каждой выбранной ООП ВПО
производится расчет интегрального процента студентов в рамках
УГСН, у которых уровень сформированности компетентности не ниже
необходимого (например, порогового).
В рамках итоговой государственной аттестации должна проходить
защита соответствия освоенных компетенций требованиям ФГОС
ВПО.
Выпускник должен демонстрировать достаточный уровень
сформированности компетенций, позволяющий ему самостоятельно
решать профессиональные задачи.
Вычисленный интегральный показатель сравнивается со значением
критериального показателя качества подготовки студентов, который
устанавливается Рособрнадзором.
18
Состав ФОС
Вузовский ФОС может состоять из двух частей:
1. Средства для промежуточной аттестации
студентов.
2. Средства для итоговой аттестации
выпускников.
19
Последовательность шагов формирования ФОС
1.
2.
3.
4.
5.
6.
7.
Устанавливается полный состав требований к первокурснику,
студенту на разных этапах обучения и выпускнику, требования,
содержащиеся в конкретных ФГОС ВПО.
Создается перечень формируемых компетенций по уровням
обучения, начиная со студентов первого курса, приступающих к
освоению ООП ВПО по ФГОС и до выпускника.
Разрабатывается полный состав требований к системе оценки
компетенций студентов на каждой стадии контроля.
Разрабатываются паспорта компетенций.
Создается накопительная система сбора данных на каждого
студента за весь срок обучения (портфолио).
Проводится выделение массива основных учебных модулей
(дисциплин), участвующих в формировании конкретных
компетенций.
Проводится формирование структуры и содержания ФОС (состав,
20
тип и др.).
Последовательность шагов формирования ФОС
8. Разработка заданий (тесты и др.).
9.
Установление критериев и шкалы оценивания ФОС.
10. Информатизация ФОС (статистическая обработка результатов,
автоматизация данных, выводы в виде таблиц, графиков и др.).
21
Методика формирования ФОС
Процесс организации и проведения оценивания компетенций студентов
может быть представлен несколькими этапами:
нормативно-правового обеспечения оценочной деятельности в вузе;
подготовительным;
контрольно-оценочным;
обработки результатов;
аналитическим и моделирующим.
22
Методика формирования ФОС
(1-й этап - нормативно-правового обеспечения оценочной
деятельности в вузе)
-
-
подготовка приказа ректора (принятие решения о формировании
ФОС);
наделение полномочий учебной части вуза (учебное управление,
учебно-методический отдел или др.) по организации и проведению
оценивания компетенций студентов (корректировка положения о
структурном подразделении, штатное расписание, ДИ и др.);
материально-техническая и информационно-технологическая база
(помещение, оргтехника, программное обеспечение);
методическая база (ФОС, анкеты, инструкции, методики
оценивания результатов, форматы представления данных и др.);
организационно-технологическая схема взаимодействия с
деканатами, кафедрами, преподавателями и студентами;
информационно-коммуникационная схема (формы заявок, каналы
связи и др.).
23
Методика формирования ФОС
(2-й этап - подготовительный)
-
-
разработка паспортов компетенций;
разработка сквозного плана-графика независимого оценивания
усвоения содержания и уровня сформированности компетенций;
согласование формы, структуры и содержания контрольноизмерительных материалов;
согласование форматов бланков ответов и протоколов
окончательных результатов;
подготовка оценочных материалов;
разработка сценария контрольно-оценочной процедуры,
обеспечение конфиденциальности и защиты персональных
данных;
разработка систем шкал, показателей и критериев оценивания
уровня владения студентов компетенциями;
выбор методов анализа и интерпретации результатов оценивания.
24
Методика формирования ФОС
(3-й этап - контрольно-оценочный)
-
инструктаж организаторов;
проведение процедуры оценивания компетенций студентов при
помощи оценочных средств;
сбор материалов и передача их на обработку
(автоматизированную).
(4-й этап - обработка результатов)
-
автоматизированная проверка результатов;
статистическая обработка данных.
25
Методика формирования ФОС
(5-й этап - аналитический и моделирующий)
-
-
нахождение среднестатистического значения для различных
компетенций;
формирование рейтинга студентов по уровню освоения каждой
компетенции;
сообщение результатов испытуемым;
анализ достижений и проблем;
рекомендации студентам;
на основе статистической информации коррекция
образовательного процесса;
внесение в модели компетенций;
внесение изменений в учебный план ООП.
26
Экспертиза фондов оценочных средств ФОС
Экспертизу ФОС должны проводить:
- УМО вузов;
- представители работодателей, представители
профессиональных сообществ;
- Минобрнауки РФ.
27
Деятельность экспертных организаций по
оценке фондов ОС
Оптимизация ресурсов
 Координация работы тестологов, экспертов
 Разработка и хранение банков заданий
 Мониторинг и анализ результатов
Обеспечение прозрачности
 Проведение независимого «аудита»
 Формирование и поддержка информационных ресурсов
28
Спасибо за внимание!
29