Отчет тренера Аббакумова Дмитрия о тренинге 28 сентября - 7 октября 2009 года

Материал из KM-Wiki.

Название тренинга: Основы конструирования тестов достижений

Автор и ведущий тренинга: Дмитрий Аббакумов

Сроки проведения: 28 сентября - 7 октября 2009 года

Основные этапы работы:

Дата и время	Содержание работы
Подготовительный этап	1. Регистрация в КМ-Вики, размещение ссылки на странице тренинга в КМ-wiki в секции «Участники» и заполнение страниц участников. 2. Тренинг проводился в Google-группе "Основы конструирования тестов достижений".
1 день - начало тренинга. 28 сентября	Теоретическая часть - Что такое тесты достижений? - Исторический обзор применения тестов достижений - Обзор основанных этапов конструирования и применения тестов достижений - Знакомство с понятийным аппаратом
2 день 29 сентября	Теоретическая часть - Этап №1. Определение задачи в контексте определенной модели управления учебным процессом - Этап №2. Разработка модели теста: согласование субшкал (субтестов); выбор методического решения; выбор технического решения - Этап №3. Формирование банка заданий: классификация заданий, матричный контроль над сбалансированностью банка Практическая часть Работа над практическим заданием №1. Авторский цикл (конструирование тестовых заданий).
3 день - в течение дня (до 20.00 МСК) 30 сентября	Практическая часть Работа над практическим заданием №1 (продолжение). Авторский цикл (конструирование тестовых заданий).
4 день 01 октября	Практическая часть Работа над практическим заданием №2. Экспертный цикл. Теоретическая часть - Обзор этапа №4. Сборка (компиляция) вариантов на основе банка заданий. - Обзор этапа №5. Пилотаж вариантов. Практическая часть Работа над практическим заданием №3. Проведение тестирования. Сбор выборки (популяризация ссылки среди коллег и дргуих потенциальных респондентов).
5 день - все самое интересное :-) и подведение итогов 07 октября, среда	Практическая часть (обсуждение) Анализ Кейса (задачи). Обзор результатов практических заданий 2,3. Сравнение результатов экспертизы и эмпирических данных. Анализ гистограмм, оценка трудности теста. Skype-конференция "Итоги"

Отчетные материалы:

Практические задания	Отчетность
Практическое задание1. "Авторский цикл"	Конструирование участниками авторских тестовых заданий по предложенной тематике. Файл *.doc или *.docx
Практическое задание2. "Экспертный цикл"	Экспертиза (шкалирование) сконструированных тестовых заданий по 3-м характеристикам: качество, трудность, оригинальность в режиме онлайн
Практическое задание3. "Пилотажное тестирование"	Участие в пилотажном тестировании и обеспечение набора выборки. В режиме онлайн.

Вопросы и мнения участников, материалы Скайп-чата (цитаты, фрагменты полилога):

Светлана Одегова: подбор заданий по программе определенного курса гораздо легче осуществлять нежели социальные вопросы на широкую аудиторию. Оценить трудность своего вопроса при его создании не всегда получалось, пока не увидели результаты пилотажа :)

Светлана Одегова: По вашему отчету, я поняла, что если при пилотажном тестировании в каком –либо из заданий один из ответов имеет маленький процент, то этот ответ можно удалять и оставлять три ответа, ну а можно ли эти ответы оставить? Скажем для количества ответов, либо все-таки нужно его заменить?!

Дмитрий Аббакумов: Все ответы (дистракторы должны работать), и оставлять те, на которые никто не отвечал - нет смысла.

Дмитрий Аббакумов: Пусть будет 3 (но не менее 3-х), но это будут работающие дистракторы.

Светлана Одегова: ясно

Дмитрий Аббакумов: Были и совсем идеальные задания! Видели их?

Дмитрий Аббакумов: Почему идеальные? Трудность 45-55

Дмитрий Аббакумов: Дистракторы распределены равномерно! Отличные задания!

Светлана Одегова: да-да, конечно, я их внимательно просмотрела, абсолютно согласна!

Светлана Одегова: а не приведете пример исправления интересного задания в качественное?!

Светлана Одегова: хочется на примере увидеть...

Дмитрий Аббакумов: ОК, только подберу пример, минуточку. В отчете вопрос 22, если подумать над дистракторами и заменить волейбол и футбол на гольф и какую-нибудь "экзотическую игру", возможно будет работать. Вопрос 35, посмотрите комментарии про гуся и кабаргу.

Елена Березюк: Не совсем понятно как оценены наши тесты: насколько наши вопросы качественные, оригинальные.

Дмитрий Аббакумов: По качеству и оригинальности задания расположены по убыванию значения параметра (среднего арифметического экспертных оценок).

Елена Березюк: Трудность своих вопросов,конечно, трудно оценить самому. Для этого и нужны эксперты. В этом мы полностью согласны со Светланой.

Дмитрий Аббакумов: Елена, трудность заданий лучше определять экспериментально, т.к. даже экспертные данные не дают объективных результатов. Только пилотаж может определить трудность заданий и теста в целом.

Елена Березюк: Не получится ли в этом случае снижения требований к знаниям?

Дмитрий Аббакумов: Поясните пожалуйста, не совсем понял Вас.

Елена Березюк: Например, сейчас на тесты отвечали люди с высшим образованием. Если дать эти же тесты детям на пилотажное тестирование - трудность будет оценена совсем по-другому.

Дмитрий Аббакумов: Елена, это был тренировочный тест, представьте себе, что на тренинге мы делали тест для оценки соцкругозора всего сообщества КМ-школы России (взрослых людей). На выборке взрослых (в 22 человека) мы его и апробировали и оценили трудность теста.

Дмитрий Аббакумов: А когда Вы будете готовить предметные тесты для школьников 9 параллели, то и пилотировать нужно на выборке 9-классников.

Елена Березюк: Мы, как практики, все полученные знания, умения и навыки пытаемся применить в своей профессиональной деятельности. Чтобы ТАК отработать учебные тесты потребуются годы...

Дмитрий Аббакумов: Можно начать, постепенно, на выборках параллелей (небольших выборках) в 1-2 класса создавать и апробировать тестовые задания, а потом, уже качественные задания включать в итоговый общий банк. Это должна быть коллективная работа - например в сетевых методсообществах.

ksv-stv: Банк тестов по предметам? Как вы его "видите"?

Дмитрий Аббакумов: В целом банк - это "тестотека", на мой взгляд должна находиться в одном месте (сервере). У каждого задания есть свой показатель: на ком и когда апробировалось, какие результаты получили (показатели качества). И обязятельно сохранять авторство.

Елена Березюк: У нас создатели ЕГЭ сейчас на нас экспериментируют. Будем надеятся, что их экспертиза придет к токому качеству.

Дмитрий Аббакумов: Спасибо!

ksv-stv: Спасибо всем за общение!

Елена Березюк: Спасибо за интересные теоретические материалы

Дмитрий Аббакумов: До новых встреч, искренне Ваш, А. Д.

Выводы и итоги:

- особое внимание при обсуждении уделено вопросу пополнения банка заданий КМ-Школы новыми качественными тестовыми заданиями, сконструированными по алгоритму, рассмотренному в ходе тренинга.

- при подготовке очередного тренинга необходимо подробно рассмотреть теоретических материалы, изложив их более "популярным языком".

- принято решение изменить платформу проведения тренинга: в ближайшее время будет подготовлен электронный учебник и размещен в Google-документах с открытием доступа участникам тренинга.