Что должны знать составители и модераторы тестовых заданий? О чём будем говорить? 1. Цели и типы тестов. 2. Требования к создателям тестовых заданий. 3. Что надо знать, составляя тестовые задания по чтению и слушанию. 4. На что обратить внимание во время модерации тестовых заданий. Требования к составителям тестовых заданий 1. Составляющий тестовые задания должен очень хорошо знать свой предмет и быть грамотным специалистом. 2. Составление теста начинается с чёткого понимания цели тестирования. Вопросы «Что проверяем?» и «Зачем проверяем?» должны быть отправной точкой любого теста. 3. К тестированию учеников должны привлекаться не только теоретики, но и учителя-практики, знающие курс школьной программы и возможности учащихся. Иными словами, тестирующий должен быть в курсе положения дел тестируемых. Требования к составителям тестовых заданий 4. Составляющий тестовые задания должен уметь работать в группе. Индивидуально подготовленные для теста задания должны быть вынесены на обсуждение всей группы. Каждый из участников этой группы должен индивидуально выполнить задания и сравнить свои ответы с ответами автора заданий. Тот должен выслушать и учесть все замечания и правильно принять конструктивную критику. Следует помнить, что ответственность за конечный продукт лежит на всей группе, а не на одном человеке. Цели тестовых заданий Цели могут быть разные: • установить уровень владения языком; • выяснить, насколько успешно ученики усвоили курс программы; • определить слабые и сильные стороны знаний учащихся и выяснить, что они знают и чего ещё не знают; • распределить учащихся по уровню их знаний и способностей; В зависимости от целей тестирования выделяют различные типы тестов. Типы тестов 1. Тест, проверяющий умения кандидата. Такой тест не опирается на какую-либо конкретную программу. Основа такого теста – проверка того, что должен уметь тестируемый на этом языке в определённых специфических областях, связанных с родом занятий или профессией. 2. Тест, проверяющий уровень владения языком. Такой тест напрямую связан с пройденной программой обучения и проводится в самом конце курса. Типы тестов 3. Диагностический тест. В процессе изучения конкретной темы каждый учитель хочет знать, чему научились ученики, чего они ещё не знают и почему. Такой тест помогает учителю понять, что надо повторить, объяснить заново, чтобы ликвидировать пробелы в знаниях и совершенствовать выученное. 4. Группирующий тест. Такой тест позволяет распределить тестируемых по группам в зависимости от уровня их знаний. Общие требования к составлению заданий по чтению и слушанию Задание по чтению и слушанию состоит из • формулировки задания • примера / образца выполнения задания • пунктов задания • предполагаемых ответов Перед составлением задания по чтению или слушанию следует обратить внимание на следующее: Текст по чтению или слушанию: • понятна ли тема текста, приемлема ли с позиций культуры (недопустимы темы войны, смерти, политических и религиозных убеждений, развода, т.к. эти темы могут болезненно восприниматься отдельными учениками) • актуален ли текст для учеников данного возраста • подходящий ли уровень сложности текста • не требует ли текст каких-либо специфических знаний • нет ли в тексте слишком сложных слов (количество незнакомых слов не должно превышать 5%) • для какого типа заданий подходит данный текст Пункты в заданиях: • правильно ли подобрано количество пунктов • равномерно ли распределены пункты по тексту • не повторяют ли пункты друг друга • один пункт должен проверять одну конкретную деталь / информацию • не проверяются ли в задании какие-либо несущественные, далёкие от темы детали Формулировка и образец выполнения задания: • чётко ли сформулировано задание (основная часть задания должна формулироваться в виде одного предложения из семи-восьми слов и иметь предельно простую синтаксическую конструкцию) • есть ли пример выполнения задания • понятен ли образец выполнения задания Модерация Модерация – проверка заданий на предмет соответствия правилам и требованиям теста, внесение в задания исправлений и дополнений. Цели и задачи модерирования: Обсудить, • соответствует ли тест спецификации (цели, типы заданий, структуру теста, контингент тестируемых) • уровень сложности теста • ясны ли (не двусмысленные ли) формулировки заданий • хорошо ли смакетирован тест (например, не должен быть текст на одном листе, а задание на другом) • хорошо ли сбалансирован тест (объём теста, наличие заданий по всем видам речевой деятельности) Процедура модерирования: Модераторы должны уделить достаточно времени процессу проверки теста: необходимо для проверки каждого из заданий использовать одинаковое количество времени (как показывает практика модерации, первым заданиям уделяется больше времени, а последние задания проверяются в спешке). Типы заданий Когда нужно выбрать один правильный вариант из нескольких предложенных В объявлении нас приглашают А Б В на экскурсию по Красной площади. в ресторан русской национальной кухни. на один из русских праздников. Основательно проверьте, • соответствует ли формулировка задания уровню знаний учеников; • достаточно ли конкретно и сжато сформулировано предложение, нет ли лишней информации; • нет ли в формулировке задания каких-либо ошибок; • достаточно ли в тексте информации, чтобы ответить на вопрос; • один ли только пункт является безоговорочно правильным, не являются ли другие варианты хотя бы частично правильными; • дистракторы (неправильные варианты) должны выглядеть правдоподобными; • все ли варианты одинаковы по своей структуре и длине, согласованы ли они грамматически с основной частью задания; • нет ли двойных отрицаний и слов «иногда», «часто», «никогда»; • нет ли вариантов, проверяющих не существенную информацию, а случайные детали; • если в вариантах ответа есть числа, они даются по возрастающей; Типы заданий Когда нужно выбрать «Да/Нет» (правильный - неправильный ответ) № 0. 1. Утверждение Спасское-Лутовиново - это музей-усадьба писателя Ивана Тургенева. Тургенев купил усадьбу Спасское-Лутовиново, когда стал известным писателем. 2. 3. 4. 5. Усадьба Спасское-Лутовиново стала музеем в 20 веке. Последний раз Тургенев посетил усадьбу в 1881 году. Из подлинных вещей в усадьбе сохранились только книги Тургенева. Раньше на месте усадьбы был уникальный парк, в котором росли 2000 деревьев. Да X Проверьте, • нет ли утверждений, ответ на которые мы знаем и без текста; • нет ли легко угадываемых утверждений; Нет Типы заданий Когда нужно заполнить пропуски Эрмитаж - (0) главный музей России. Он (1) ________________________ на Дворцовой площади СанктПетербурга, в Зимнем дворце, и занимает шесть зданий. Зимний дворец был построен в 1762 году итальянским архитектором Растрелли на берегу реки Невы как резиденция русских царей. История Эрмитажа как музея (2) __________________________ в 1764 году, когда русская императрица Екатерина Вторая решила открыть в Зимнем дворце музей и закупила для него в Германии первые 225 картин знаменитых (3) __________________________ . К концу XVIII века в коллекции Эрмитажа уже находились картины Рембрандта, Рафаэля, Рубенса, Ван-Дейка и других известных живописцев. Екатерина приобретала не только живопись, но и скульптуры, изделия из камня, медали и монеты. В 1852 году музей Эрмитаж (4) __________________________ свои двери для широкой публики. Сейчас в Эрмитаже собрано около трёх миллионов произведений (5) ____________________ и предметов старины. В их числе - множество скульптур и картин известных художников, оружие, посуда , царская одежда, ювелирные изделия. Чтобы осмотреть все экспонаты Эрмитажа, надо провести в нём не одну неделю. Говорят, что если посетитель будет стоять около каждого экспоната по одной минуте, то ему понадобится одиннадцать лет, чтобы осмотреть всю коллекцию этого уникального музея. В 1988 году Эрмитаж попал в «Книгу рекордов Гиннесса» как самая большая картинная (6) ________________________ мира. главный находится / / изделия началась / / искусства открыл / / галерея / художников Типы заданий Когда нужно заполнить пропуски • следует иметь в виду, что такое задание подходит для проверки конкретного слова или предложения; • слова (объект проверки) должны быть хорошо знакомы ученикам; • в первом предложении текста не должно быть пропусков; • пропуски должны быть распределены по тексту равномерно; • в одном предложении не должно быть более одного пропуска; • слова в «банке слов» желательно давать в алфавитном порядке; • следует наметить больше вариантов с выбранными словами и решить, какие более удачны; После модерации заданий обязательно следует тщательно проверить: • время, отведённое на выполнение заданий • ясность и чёткость формулировки заданий • шкалу оценивания (количество баллов за каждое задание) • ответы в инструкции (они должны быть точными, ясными для проверяющего) Любой тест должен пройти проверку и испытание! Очень хорошо, если группа тестируемых аналогична той, для которой готовится данный тест. Считается, что объективно оценить, хороший тест или нет, можно только тогда, когда тестовые задания попробуют выполнить не менее 100 человек. Оценивание будет субъективным, если тестируемых менее 100 человек. Первое испытание может провести группа учителей, студентов (20 человек). Такие испытания помогут увидеть степень трудности теста, неожиданные ответы, внести необходимые коррективы в инструкцию. Пожелания группе модераторов: 1. Придирчиво оценивать каждое задание, поставив себя на место ученика, которому придётся это задание выполнять. 2. Критиковать задания коллег обоснованно, с учётом вышеизложенных требований. Пожелания авторам заданий: Прислушиваться к критике, правильно реагировать на замечания коллег, не биться насмерть за своё «творение». Просто иногда нам жаль сил и времени, потраченных на поиск текста и составление задания. Но думать надо не о своих амбициях, а об учениках, которым придётся выполнять тест. Пожелания всем: В процессе продуктивных и творческих споров составить задания, которые принесут удовлетворение и нам, и нашим ученикам. Спасибо за внимание!