Проверим качество тестов, выделим работающие и не работающие вопросы, дадим экспертное заключение и рекомендации по корректировке заданий.
Мы предлагаем
статистический,
экспертный и комплексный аудит тестов профессиональных знаний.
Статистический аудит
Ситуации применения
- Применяется как этап разработки профессионального теста знаний, после создания избыточного банка тестовых заданий авторами и проведения первичной апробации (сбора протоколов тестирования).
- Может применяться изолированно как оценка заданий имеющегося теста, по которому накоплены протоколы с целью проверки работоспособности заданий теста или его модернизации (обновления).
Необходимые материалы
Эксель-выгрузка ответов респондентов на задания теста (в согласованном формате). Оцениваются только те задания, ответы на которые дало
более 30 респондентов. Оцениваются только те шкалы (тематические разделы), в которых
более 10 тестовых заданий.
Оцениваются задания типа
multiple choice, предполагающие выбор одного верного ответа из нескольких.
Анализируется
Взаимосвязь
шкал теста
Дискриминативность
заданий
Трудность заданий
Сила дистракторов
Результат
Таблица, в которой показаны свойства заданий, а также даны рекомендации: какие задания можно использовать в тесте, какие требуют коррекции, а какие необходимо исключить.
Экспертный аудит
Услуга заключается в оценке качества
формулировок тестовых заданий и вариантов ответа. Задания проверяются на соответствие правилам написания текстов тестовых заданий и вариантов ответа. Оценка не касается содержательного, предметного наполнения, поэтому
направление коррекции специалист-психометрист может определить без специальных знаний в предметной области теста. Такими направлениями может быть, например: усиление отдельных дистракторов, прояснение формулировки задания, усложнение/облегчение задания и т.п.
Ситуации применения
- Применяется как этап разработки профессионального теста знаний, для сбора рекомендаций по коррекции тестовых заданий авторами.
- Целесообразно проведение экспертного аудита с заданиями, выделенными в группу "требующих корректировки" по результатам статистического аудита.
- Может применяться изолированно для оценки и определения направлений коррекции всех имеющихся заданий.
Необходимые материалы
Текст тестовых заданий и формулировок вариантов ответа -предоставляется заказчиком в произвольном формате, но обязательно содержит указание ключевого варианта ответа и название шкалы, для которой создан данный вопрос.
Отчет включает в себя
- Оценку формулировок заданий на их соответствие принципам составления заданий
- Рекомендации по модификации тестовых заданий для авторов
Результат
Рекомендации по характеру необходимых изменении для каждого тестового пункта, отнесенного к категории нуждающихся в коррекции.