Оценка информационно-коммуникационной компетентности выпускников основной школы Тестирование компетентности в области использования информационнокоммуникационных (ИКТ) технологий с помощью тестовых заданий, основанных на реальных жизненных ситуациях Авдеева С. avdeeva@ntf.ru www.ictlit.com 1 Какие навыки и способности приобретут большую значимость в ближайшие годы? Навыки 21 века! Способность учиться на протяжении всей жизни Способность самостоятельно мыслить и действовать Коммуникабельность, умение работать в Почему образовательные результаты XXI века? команде Способность осуществлять выбор и нести за него ответственность Способность решать нетрадиционные задачи, используя приобретенные предметные, интеллектуальные и общие умения и навыки Образовательные результаты ФГОС и ИК- компетентность Мировые тенденции Инновационная практика обучения …предполагает: • • • • • личностно-ориентированное • обучение • реализацию активного деятельностного подхода расширение границ учебного • процесса интеграцию ИКТ и • электронных образовательных ресурсов • в преподавание и учение Россия Требования ФГОС, 2010 Навыки 21го века …включают: …включают: Приобретение знаний Сотрудничество Решение проблем и инновационность Использование ИКТ для обучения Развернутая коммуникация Самостоятельное планирование своей работы учащимися, мониторинг индивидуального прогресса в учении • • • • • • • • • Приобретение и интеграция знаний Освоение систематических знаний Сотрудничество Решение творческих и поисковых проблем Использование ИКТ для обучения Коммуникация Самоорганизация и саморегуляция Личностный смысл учения и рефлексия Ценностные установки Цели тестирования ИК - компетентности Цель: обеспечить реалистичную и разностороннюю оценку ИКкомпетентности с помощью тестовых заданий, основанных на реальных ситуациях Тестирование призвано: стать важным инструментом для обсуждения и выработки образовательной политики в области формирования ИКкомпетентности. обеспечить объективную оценку готовности выпускников школы жить и работать в информационном обществе. оценить, в какой мере существующее направление развития образования в стране обеспечивает внедрение ИКТ в учебный процесс образовательного учреждения. Целевая аудитория: учащиеся при переходе из основной школы в старшую (9-классники) 4 Преимущества данной системы тестирования Интерактивность, автоматизированный характер процесса тестирования и оценки его результатов Использование ситуаций из реальной жизни при разработке сценария для тестовых заданий Акцент на оценке НЕ уровня сформированных технологических навыков и навыков владения учащимися определенным программным продуктом или техническими возможностями компьютера, но СПОСОБНОСТИ оперировать информацией, решать практические задачи, используя ИКТ, мыслить и работать в «цифровом» мире Обязательно условие соблюдение этических и правовых норм при использовании цифровых технологий и средств коммуникации. Это важно для формирования социальноответственной личности. Автоматическая обработка результатов тестирования, основанная на использовании сетей Байеса. 5 Что такое ИК-компетентность ИК - компетентность – это способность использовать цифровые технологии, инструменты коммуникации и сети для получения доступа, управления, интеграции, оценивания, создания и передачи информации с соблюдением этических и правовых норм для того, чтобы успешно жить и трудиться в условиях информационного общества . 6 Спецификация теста Тест состоит из 16 заданий, основанных на решении РЕАЛЬНЫХ ЖИЗНЕННЫХ СИТУАЦИЙ (учебных, социокультурных и др.), с которыми учащийся сталкивается в течение своей жизни, с помощью 7 составляющих ИКкомпетенций: Определение Доступ ИКкомпетентность Управление Интеграция Оценка Создание Передача 7 Составляющие ИК -компетентности Определение: умение сформулировать запрос таким образом, чтобы он способствовал поиску информации Доступ: умение/способность найти и собрать (retrieve – восстанавливать, исправлять) информацию из различных источников Управление: умение применить существующую организационную или классификационную схемы (для структурирования, размещения/сохранения информации и быстрого ее поиска в дальнейшем) Интеграция: умение интерпретировать и представлять/осмыслять (representing) информацию - вычленять самое главное, сравнивать или противопоставлять информацию, полученную из нескольких источников Оценка: умение составить мнение о качестве, нужности/релевантности, полезности или эффективности информации Создание: умение создавать или адаптировать информацию с учетом конкретной потребности/задачи, выражать главную мысль и приводить информацию, подтверждающую ее Передача: умение адаптировать информацию для конкретной аудитории. 8 Тест включает задания разные по степени СЛОЖНОСТИ и ПРОДОЛОЖИТЕЛЬНОСТИ выполнения Уровень сложности задания Количество заданий Ожидаемое время выполнения задания Тест включает в себя: 3 тренировочных задания; 16 тестовых заданий различной сложности; Простое (оценка 1-й компетентности) Средней сложности (оценка 2-3 компетентностей) Сложное (оценка 4-5 Компетентностей) 9 13 3-4 2 10 -15 1 20 - 30 социальную анкету для учащегося. Общая продолжительность тестирования - не более 2-х академических часов При выполнении теста используются различные ИНСТРУМЕНТЫ Определение Доступ Управление Интеграция Текстовый редактор Задание 2 Электронные таблицы Базы данных Другие Создание Задание 3 Электронная почта и другие сервисы интернет Социальные сети Оценка Задание 1 Передача Тест, построенный на системе свидетельств Концептуальные подходы к разработке инструмента оценки ИК-компетентности 11 Тест, построенный на системе свидетельств – это набор взаимосвязанных процедур, призванных прояснить два вопроса: 1.Какие свидетельства компетентности (или знаний) учащегося мы можем непосредственно наблюдать? 2.Как структурировать ситуацию, чтобы увидеть эти свидетельства? 12 Метод разработки теста: в центре – свидетельства компетентности (evidence centered design – Mislevy, Levy, 2006) 1. Определения компетенций Что мы измеряем? Определение ИК-компетентности и ее составляющих. 2. Модель сбора свидетельств Как мы можем это измерить? Поиск наблюдаемых свидетельств наличия компетентности 3. Модель тестового задания Где измерять? Поиск конкретных индикаторов – результатов выполнения какой-либо задачи. ОЦЕНКА ИНТЕГРАЦИЯ ОПРЕДЕЛЕНИЕ СОЗДАНИЕ ПЕРЕДАЧА ДОСТУП УПРАВЛЕНИЕ Профили, необходимые для классификации компетенций ПРОДВИНУТЫЙ В В В В В В В ВЫШЕ БАЗОВОГО В В В В В С С БАЗОВЫЙ С С С С С С С НИЖЕ БАЗОВОГО С С С С С Н Н РАЗВИВАЮЩИЙСЯ Н Н Н Н Н Н Н 14 Варианты прохождения тестирования 1. Онлайн RDP тестирование - подходит в том случае, если выделенный интернетканал имеет пропускную способность не менее 512 Кб/с на одного тестируемого. 2. Локальное RDP тестирование - подходит при недостаточной пропускной способности интернет-канала или при отсутствии доступа в интернет, но при наличии локальной сети, которая объединяет мобильный сервер тестирования и компьютеры тестируемых. Тестирование проводится силами специалистов НФПК. 3. Локальная WINDOWS сборка - подходит при наличии стабильного интернет канала, который может иметь не самую высокую пропускную способность (для 20 тестируемых достаточно канала в 256 КБ/с). Тестирование проводится силами представителей заказчика, а также может проводится силами НФПК. Сразу после прохождения IC Literacy Test учащийся сможет увидеть свои результаты и получить рекомендации для улучшения своей ИК-компетентности. Результаты всех тестируемых собираются на центральном сервере и могут использоваться для дальнейших исследований и анализа. 15 Результаты тестирования школьников Твой уровень информационно-коммуникационной компетентности такой же как у большинства твоих сверстников Тебе стоит обратить внимание на развитие навыков Анализ информации, оценку ее релевантности; представления информации в приемлемом для других людей виде; определения нехватки информации и формулирования исследовательских вопросов. Спасибо за участие в тестировании т Твой уровень информационно-коммуникационной компетентности ниже, чем у большинства твоих сверстников Тебе стоит обратить внимание на развитие навыков поиска, сбора и сохранения информации; представления информации в приемлемом для других людей виде; самостоятельного создания информационных продуктов на основе заданных требований; навыков оценки надежности и качества различных источников информации. Спасибо за участие в тестировании 16 Психометрические исследования Проверка валидности (конвергентной, дивергентной) Корреляционный анализ Факторный анализ Анализ внутренней согласованности Анализ параметров заданий Анализ DIF (различного функционирования заданий) Анализ функционирования сети Байеса (model criticism) 17 Взятые за основу стандарты Российской Федерации ФЕДЕРАЛЬНЫЙ ГОСУДАРСТВЕННЫЙ ОБРАЗОВАТЕЛЬНЫЙ СТАНДАРТ ОСНОВНОГО ОБЩЕГО ОБРАЗОВАНИЯ (от 17.12.2010 г.) Примерная основная образовательная программа образовательного учреждения Основная школа (Программа подготовлена Институтом стратегических исследований в образовании РАО. Научные руководители — членкорреспондент РАО А. М. Кондаков, академик РАО Л. П. Кезина) Процедура исследования соответствия российским стандартам Специальная процедура связывания тестируемых компетентностей и образовательных ожиданий (Webb, 1999). Необходима для встраивания тестирования в национальные системы образования Соответствие общего измеряемого понятия (structure of knowledge comparability) 19 Результаты процедуры рассмотрения соответствия российским стандартам Соответствие общего измеряемого понятия (structure of knowledge comparability) ПРИЕМЛЕМО В рамках ПООП ОУ, раскрывающей механизм реализации стандарта, рассматривается понятие ИКТ-компетентности, которое включает в себя не только умение учащегося работать с информацией, но и технический аспект, который относится к навыкам работы с определенным оборудованием, программным обеспечением и пр. В связи с тем, что в рамке теста заложено понятие ИК-компетентности и IC Literacy test не направлен на измерение технических навыков учащихся. Соответствие измеряемых категорий (categorical concurrence) ПРИЕМЛЕМО ФГОС общего образования (Метапредметные результаты освоения основной образовательной программы основного общего образования, стр.6-7) – 58,3% (IC Literacy test проверяет 7 из 12 тем); ПООП ОУ (метапредметные результаты освоения основной образовательной программы основного общего образования) – 90% (9 из 10). Учащиеся, чьи знания являются удовлетворительными по результатам оценки, должны продемонстрировать знания практически по всем темам, фигурирующим в стандарте. Исключение составляет тема «Обращение с устройствами ИКТ», в рамках которой учащиеся должны изучить технические аспекты ИК-компетентности. В связи с тем, что IC Literacy test не направлен на измерение технических навыков учащихся, данная тема не представлена. Результаты процедуры рассмотрения соответствия российским стандартам Соответствие знаниевого диапазона (range of knowledge) ПРИЕМЛЕМО Различные варианты теста покрывают от 43% до 48% тем, представленных в ПООП ОУ и ФГОС. Баланс в подаче информации (balance of representation) ПОЛНОЕ В связи с тем, что в стандарте не расставлены акценты или указания на преимущества, которые одни компоненты должны получать перед другими, все компоненты одинаково важны и должны быть представлены в контрольно-измерительных материалах в равной степени. В каждом из вариантов теста охват компетенций, содержания, контекстов и сложности задач представлен равномерно, как и в стандартах. Согласованность по критерию отношения учащихся к предмету (dispositional consonance) ПОЛНОЕ В тест эксплицитно введены наблюдаемые переменные, оценивающие этические аспекты использования информации, тест сопровождается анкетой, включающей вопросы об интересе учащихся к ИКТ и их оценке важности изучения ИКТ. Основные задачи проведения тестирования Оценить уровень ИК-компетентности выпускников основной школы Выявить факторы, которые влияют на формирование ИК-компетентности Выработать рекомендации по результатам тестирования Проверить влияние рекомендаций на повышение уровня ИК-компетентности Изменение уровня ИК-компетентности репрезентативной выборки учащихся 9-го класса % 100 90 80 70 60 50 40 30 20 10 0 13 4 19 3 8 4 Продвинутый 44 53 65 Средний 31 14 16 учащиеся-2010 2010 11 3 учащиеся-2012 2012 Татарстан Выше среднего 13 ICT_LITERACY_LEVEL 2012 Армения (пилот) Ниже среднего Развивающийся Влияние вида работы учащихся над домашним заданием на уровень ИК-компетентности 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 20% 6% 21% 9% 20% 5% 22% 14% Продвинутый Выше среднего 62% да нет 70% Средний Ниже среднего Развивающийся 22% 9% 60% 63% 62% 64% 75% 73% 10% 13% 11% 14% 13% 9% да нет да нет да нет самостоятельный использование создание совместного с поиск компьютера презентаций одноклассниками информации поиска решения Учителя дают домашнюю работу, требующую… На основе ответов на вопрос: «Задают ли ваши учителя ДОМАШНИЕ задания, требующие от Вас:» – «самостоятельного поиска информации (книги, статьи, сайты)», «использования компьютера», «создания презентаций», «совместного поиска решения с Вашими одноклассниками. Влияние различных видов деятельности на ИКТкомпетентность 5% 59% Каждую неделю 31% 14% 7% Каждый Каждую Никогда месяц четверть и реже Каждый день 14% 69% 14% 67% 13% 14% 9% 58% 53% 8% 11% 7% 12% Каждую четверть 60% Каждый месяц 69% Каждый день 69% 11% Никогда 20% дискуссии Средний Каждую неделю 10% 6% 19% Развивающийся Каждый Каждую Никогда месяц четверть и реже работа в малых группах Раз в год и реже 18% Каждую неделю 28% Каждый день 25% Выше среднего Ниже среднего 23% самостоятельная работа 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 67% 49% 21% 10% 67% 70% 21% 22% 14% 55% 62% 3% 73% 61% Продвинутый 68% Выше среднего 20% 11% 5% 18% 34% Средний Ниже среднего практические работы Никогда Каждый день 76% 8% Продвинутый 61% Раз в год и реже 10% 62% 15% 21% 30% 67% 61% 5% Каждую четверть 13% 24% Каждый месяц 19% Каждую неделю 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Развивающийся 25 Спасибо за внимание! Avdeeva@ntf.ru www.ictlit.com